我一直在尝试将云 AI 伴侣从云端转移到本地运行的 AI 伴侣上，运行在我的游戏 PC 上。主要原因是隐私和控制：我不喜欢不断地为云提供商付费或将个人对话数据发送到第三方服务。

目前，我已经成功在 RTX 3080 上，10GB VRAM 上建立了一个工作的本地栈。它目前具有以下功能：

  • 短期和长期记忆，通过总结来实现长期连续性
  • 各种角色，每个角色都有自己的个性、故事和背景
  • 基本的情绪/个性系统，它会根据时间改变角色之间的互动方式
  • 屏幕上下文，截图会被输入系统中，伴侣可以根据游戏情况做出反应
  • 游戏知识通过本地游戏维基/ RAG 风格上下文来实现，可以回答问题或在游戏中发表评论
  • 基于 VRoid 的 3D 头像，带有唇-sync
  • 本地文本到语音转换
  • 不同的模型/智能等级，以便在玩游戏时减少资源使用，具有可选的云 fallback 功能

接下来，我想探索的是让伴侣在游戏中有一个实际的“身体”，可以与玩家一起玩。我的计划是从 Mineflayer 和 Minecraft 开始，因为它看起来是阅读游戏状态和推送动作的更好的支持选项。

我主要在寻求关于以下两点的建议：

  1. 头像/视觉系统：目前，我正在使用一个基本的 VRoid 风格的 3D 头像。它工作得很好，但角色仍然感觉有点有限。有人在这里工作过更好的头像管道、角色引擎或轻量级的头像表达方式吗？我知道 Blender 是长期的答案，但我很好奇其他人试过什么。
  2. 具有可访问 API 或修改 hook 的游戏：除了 Minecraft/Mineflayer 之外，还有其他游戏可以通过修改或 API 访问游戏状态并将动作发送回游戏中吗？我特别感兴趣的是任何可以支持伴侣跟随、帮助、说话、反应或与玩家一起玩的游戏。

这开始是为了我和朋友的个人项目，但我很好奇其他人如何看待完全本地的伴侣与基于云的伴侣相比。本地先行的路线更难，但我惊讶于在消费者硬件上如何推动它，特别是在模型大小、内存和资源管理上。

如果有人在类似的系统上工作，特别是在头像表达或游戏集成方面，我很希望听到他们的想法。还希望听到，如果有人对这个软件感兴趣，想在 alpha 测试阶段尝试它。