你好,

我正在寻找支持在 iOS 设备上加载自定义本地 GGUF 模型,并在模型推理时设置 GBNF 语法约束输出的应用程序。

我知道 llama.cpp 本身支持此功能,但没有找到任何 iOS 应用程序暴露了(grammar)参数。这两个LLMFarm和PocketPal似乎不支持这种功能。

是否有哪里的朋友知道这样做?