我非常高兴地宣布SuperSLM-Unreal;这是我的确定性小语言模型推理运行时在Unreal Engine 5中的集成。SuperSLM从头开始构建,以便在游戏引擎中正常工作。Unreal引擎将工作从游戏线程中分离出来,运行在后台核心或GPU上,协同渲染。SuperSLM完全基于整数,不使用浮点运算,因此是可序列化的,并且在不同CPU、GPU、编译器和平台上为相同的提示返回相同的结果。

Schema约束解码允许您指定一个JSON模式,结果不能违反模式。运行时LORA适配器允许您快速在不同特殊化之间切换,而无需卸载核心模型。Qwen2.5 0.5/1.5b-Instruct是主要支持的模型,但引擎也支持3b & 7b以及Qwen3-Embedding-0.6b(在其他Qwen3模型上未测试)。

开发仍在进行中,正在开发的功能包括JSON数组类型支持和预计算前缀KV交换。*认证仅限可用测试硬件,我没有Mac来编译和测试在Metal上。