嗨，我是 Tarpo，行业有六年经验的游戏开发者。我喜欢 AI 角色聊天，并自己开始制作一个。最终演变成 Idle Pixel Maids，我的第一款 Steam 游戏：一个闲置的女仆咖啡厅，玩家可以与角色对话。我将本地语言模型嵌入其中，让玩家无需 API 密钥或额外订阅即可聊天。

选择模型的过程比我预期的要长。良好的基准分数不一定能转化为自然的对话，尤其是在不同语言和角色人格之间。我最终通过实际对话来测试候选模型。在测试的模型中，我偏好 Gemma。

然后我在朋友的游戏电脑上尝试了它。它运行游戏流畅，但初始模型加载仍然导致卡顿。异步加载并没有消除这种卡顿，推迟到第一次聊天才意味着需要更长时间才能得到回复。这对于玩家期望在后台运行的闲置游戏来说是不合适的。

这次经历让我重新考虑在下一款游戏中如何使用 LLM。在聊天方面，我有空间把等待时间融入展示中。我对使用该模型进行实时 NPC 决策会更加犹豫，因此在再次打包整个本地模型之前，我想先探索基于 API 的方案。

如果你在游戏中使用了本地 LLM，我很想听听你是如何处理首次加载的。

Steam: https://store.steampowered.com/app/5017140/