最近与几位SaaS的CTO谈过话。模式总是相同:AI先作为聊天界面或者一几次LLM的调用开始。快速上线,容易演示。

但是,一旦你超越了这一阶段就变得混乱了。

一个会在用户行动触发的代理,读取数据库信息,调用LLM,等待批准,接着触发下游事件并且有必要恢复如果其中任何一步在运行为中打断。

一下子你就不再只是在构建APP功能了。你正在构建执行基础设施了。可那是完全不同的一个问题。

好奇其他人如何处理这个问题?是否在自己推倒或者使用什么来管理执行层?