openreality:手机视频转可查询3D场景的MCP工具

Star 589PythonBSD-2-Clause查看 GitHub 仓库

Open Reality 是一个开源工具链,利用 VGGT-SLAM 技术将手机拍摄的视频重建为持久化的 3D 场景。它提供 MCP 接口,让 Claude、Codex 或 Cursor 等 AI 助手能够直接查询场景中的物体、测量距离、规划路径,并导出机器人训练数据。项目支持自托管部署,包含离线模拟器,允许开发者在无 GPU 环境下进行开发演示,旨在为 AI Agent 提供视觉感知与空间交互能力。

能做什么

  • 基于 VGGT-SLAM 实现从手持视频到 3D 场景的重建
  • 提供 41 个 MCP 工具,支持 AI 助手进行场景测量与物体识别
  • 支持路径规划及 LeRobot、Isaac Sim 等机器人数据格式导出
  • 提供离线模拟器,无需 GPU 即可进行全流程开发测试
  • 支持自托管部署,可运行在本地 GPU 或 Modal 账户上

适合谁用

适合希望让 AI 助手具备空间感知能力的开发者,以及需要快速生成机器人训练数据或进行 3D 场景交互的技术美术和研究人员。

本文由 AI 编译整理,内容以原文为准。来源:GitHub
© 版权声明

相关文章