NVIDIA Nemotron 驱动万圣节互动投影

开发者利用 NVIDIA Nemotron 系列模型构建了一个名为 MonsterHouse 的万圣节互动投影。该系统在单工作站上运行，结合 Nemotron ASR、Bolt E4B 语言模型、Magpie TTS 及 Audio2Face-3D，实现了语音交互与实时面部动画。角色基于 Autodesk Maya 建模并导入 Unreal Engine 5，通过 LoRA 适配器定制“海盗船”性格，支持本地离线运行，展示了生成式 AI 在实时交互内容创作中的应用。

要点

• 使用 Nemotron Voice Agent 协调 ASR、LLM、TTS 和面部动画模块，实现端到端语音交互。
• 采用 Nemotron 3.5 Bolt E4B 4GB 作为本地对话大脑，配合 LoRA 适配器塑造特定角色性格。
• 利用 Audio2Face-3D 将语音转换为 Unreal Engine 5 中的实时口型动画。
• 角色模型在 Autodesk Maya 中制作，结合 YOLO 和 ByteTrack 进行访客追踪。
• 整个系统部署在配备 RTX PRO 6000 Blackwell 的单工作站上，无需云端支持。

为什么值得关注

该案例展示了如何在本地硬件上整合多模态 AI 模型实现实时交互内容，为国内从业者提供了利用开源模型进行创意交互项目开发的参考架构，特别是语音驱动动画与本地 LLM 部署的实践细节。