brandpose:基于监控视频的商店顾客注视点估计与3D重建

Star 200PythonMIT查看 GitHub 仓库

BrandPose 是一个个人开源项目,利用普通安防摄像头视频和开源 AI 模型,估算商店内顾客的注视方向。项目结合 YOLO11 进行人体检测与追踪,使用 Gaze-LLE 估计视线,并通过 Depth Anything V2 生成深度图以构建 3D 点云。最终输出注意力热力图、区域关注度报告,并在 Blender 中重建商店场景以模拟顾客视角,展示了从 2D 视频到 3D 空间分析的完整流程。

能做什么

  • 使用 YOLO11-pose 和 ByteTrack 实现多目标人体检测与连续追踪
  • 集成 Gaze-LLE 模型对头部裁剪区域进行视线方向估计
  • 利用 Depth Anything V2 估算单帧深度并生成约 50 万点的 3D 点云
  • 通过 OpenCV 和 FFmpeg 渲染注意力热力图、排名报告及合成音频视频
  • 在 Blender 中基于校准数据重建商店 3D 模型并渲染顾客第一人称视角

适合谁用

适合计算机视觉研究者、技术美术及开发者,用于探索基于单目视频的视线估计、3D 场景重建及零售数据分析,特别是希望复现或改进类似 CactusXR 注意力热力图技术的团队。

本文由 AI 编译整理,内容以原文为准。来源:GitHub
© 版权声明

相关文章