大家好,最近我开始使用Gemini的免费版进行编码。虽然我不确定具体的模型是什么,但我通常会前往google.com并切换到AI模式。这一直以来都很顺利,直到现在我已经成功地在我的游戏中实现了一些酷的功能。但是,如果可能的话,我想在本地运行一个LLM。
问题是,我不知道如何在本地运行一个LLM。 我尝试使用LM Studio,但我无法运行某些LLM,因为我遇到了错误消息。另外,我也不知道哪个LLM适合编码。我的研究表明,某些Qwen模型,如3.5或3.6,或者Gemma 4 31b或12b变体,都是不错的选择。有人也提到Ternary Bonsai模型,但这个模型的评价有些矛盾。
我的配置如下:
AMD Ryzen 9 5900X 12-Core - 32GB RAM
AMD Radeon RX 6700-XT 12GB VRAM
虽然我知道12GB VRAM对于本地运行LLM来说是较低的配置,但我想知道是否有哪些LLM可以在这些配置下运行,并且比Gemini更好。如果有的话,哪一个模型推荐,并且需要使用哪个软件来运行它?如上所述,LM Studio对我来说是一种试错。 我还听说过Ollama,但我对它的看法还不确定。
任何帮助都是感激的。
评论 (0)