在移动设备上,这通常不足以满足需求。推理需求取决于场景——而不是排行榜:分类、概要、离线、在线、2 GB RAM、8 GB、隐私约束、延迟预算。

我们开放了我们在生产中实际使用的内容:实时移动应用的 LLM 笔记(Android、iOS、Flutter、React Native)。

我们将继续在这里发布生产经验和场景。请在 GitHub 讨论中分享您的内容——问题、实验和真实世界流程都受欢迎。

🔗 https://github.com/Data-Sapien/awesome-on-device-mobile-llms