专门为游戏NPC对话建立了Google的Gemma 4 12B的微调模型。它在实时输出结构化的JSON中（通过llama-cpp语法约束强制执行），这样游戏UI可以动态响应——价格会更新，恶魔会对你的说法做出反应，你可以通过交易物品来误导对手获得更好的交易。

  • 实时演示环境 → [恶魔市场在HF空间]：https://www.huggingface.co/spaces/spy5er/Gemma4NPC-IT-Playground
  • 模型 → https://www.huggingface.co/spy5er/Gemma4NPC-it : Q4_K_M GGUF可用，支持本地运行
  • 数据集 → https://huggingface.co/datasets/spy5er/Gemma4NPC-Quest-Dataset :基于Chimbiwide的开源NPC数据集建立

难点在于驯服Gemma 4的思考模式。它会在回应之前生成内部推理令牌，这会在句子中打断JSON流。通过将响应模式编译成LlamaGrammar并物理性地控制解码器——它只能输出有效的JSON，减少了思考的膨胀。