我做了一个可以和你对话的iPhone机器人,所有功能都在手机上运行(Parakeet + Apple Foundation Models(LLM) + Kokoro)

我开发了一个小型iPhone应用,里面有一个放在3D房间里的玩具机器人。你轻点麦克风并告诉它要做什么:“递奶油”“来吧”“把球放在桌子上”。它会计算步骤,走过去,捡起物品并大声回答你。没有服务器或API密钥;所有功能都在手机上运行。

工作原理:

  • 语音转文本: NVIDIA Parakeet TDT 0.6B v3,通过 FluidAudio 的 Core ML 端口运行。
  • 理解与规划: Apple 的本地基础模型。
  • 快速的首次调用决定你是聊天、询问它能完成的任务,还是询问它无法完成的任务(跳、跳舞、吃黄油)。如果无法完成,它会说明而不会做最近的事。
  • 对真实任务,模型读取房间状态(机器人位置、手持物品、可达范围)并生成目标及步骤列表。
  • 计划检查: 小模型不总能正确规划(最初17项测试中只有8项正确)。因此,应用会在机器人移动前通过简单的房间模型运行每个计划。如果计划未达成目标,应用会为模型选择的目标重新计算步骤。因此,我的测试提示从8/17正确提升到17/17。
  • 文本转语音: Kokoro-82M,带有男性声音和轻微金属质感效果。机器人的嘴会随声音的响度同步发光。
  • 3D: 使用 SceneKit 并具备真实物理。球会滚动,机器人可以推动物体并一次只携带一个物品。“来吧”会让它走到你移动相机的位置。

速度: 在 iPhone 17 上,聊天回复约 1.5 秒,行动计划约 4 秒后机器人开始移动。到达过程包括:

  • 提前加载每个模型会话的指令;
  • 在机器人行走时编写它的回复;
  • 取消一次“再试”环节,约耗时 3 秒且效果有限。

已知问题:

  • 首次启动时约下载 600 MB 的模型。
  • FluidAudio 警告:在长时间会话后,Kokoro 可能在 iOS 27 上崩溃。
  • 3B 本地模型有时会在回复中加入一些虚构的色彩。

它需要一台配备 Apple Intelligence 的 iPhone 以及 Xcode 27。代码:https://github.com/sujantr/RobotRoom

我很想收到反馈,尤其是关于加快本地规划的速度。