输入一个动作(“做和平手势,然后张开双手”),稍后几秒,已装配的角色会执行它。

工作原理

  1. 视频模型(FLUX 3 Max on fal)生成一段简短的视频,展示人物根据提示进行表演,始终采用全身、固定摄像头的设置。你也可以使用自已的网络摄像头、真实视频或任何其他视频模型。

  2. 在我的 GPU 上,GVHMR 恢复 3D 身体运动,WiLoR 跟踪两只手(每只手的所有 15 个指节)。

该数据会在浏览器中重新映射到任意 Mixamo 角色上,并可导出 .glb 文件供 Blender/Unity 使用。

同时在 HQ 通道运行时会显示即时 MediaPipe 预览。HQ 通道处理 5 秒视频约需 4–5 秒(在 4090 显卡上),包括手指。

仓库: https://github.com/blendi-remade/prompt2rig

很乐意回答任何问题!