我们一直在发展[https://github.com/definableai/definable.ai]，这是一款基于fastapi的开源Python框架，用于构建AI代理。我们开发时遇到的一个问题是：你无法debug什么你看不到。大多数代理框架将可观测性作为一种额外的思路——只是将你的指标发送到LangSmith/Arize，然后自己查找问题。

[https://youtu.be/WbmNBprJFzg]

我们想要omething不同的：将可观测性集成到执行管道中本身，而不是堆载在顶部

下面是我们带来的内容：

只需一根旗子。

从定义代理（definable.agent） import Agent
Agent（
model="openai/gpt-4o",
tools=[get_weather， calculate],
observability=True <- 这一行
）
Agent.serve(启用服务器=True，端口=8002)
#控制台实时http://localhost:8002/obs/

没有API密钥。没有云帐户。没有docker-compose来进行一个metrics堆栈。只是一个自包含控制台与您的代理服务在一起。

你会得到

- 实时事件流：使用SSE的实时流，每次模型调用，每次工具调用，每次知识检索，内存回想—all 60 + 事件类型实时流出。

- 令牌成本评分：按次运行和汇总。您将精确地看到您的预算去向。

- 延迟百分位数：p50，p95，p99跨所有运行。您能够快速识别退化。

- 每工具分析：哪些工具获得最多调用？哪些工具发生错误？平均执行时间？

- 运行回放：单击任何历史运行并步步为蓝。

- 运行比较：两个运行的侧面差异。原始询问？不同工具调用？您能够立即看到它。

- 时间条图：TOKEN 消耗，成本以及错误率（5分钟，30分钟，小时，天时间间隔）。

为什么不仅仅使用LangSmith/Phoenix？

- 自托管 — 你的数据从未离开你的机器。没有供应商锁定。

- 零配置 — 不需要各自的基础架构。没有采集进程。只有一根Python标志。

- 集成到管道 — 事件被发出自管道中的8阶段执行管道中，非被monkey-patching或OTEL中断强化。

- 协议开源：编写3个方法以将任何后端导出—无需安装任何SDK。

我们不试图取代企业级APM系统。如果您需要企业级仪表板，RBAC和保留策略，请使用它们。但是，如果您是一位开发者，这些就是针对代理，并且您只想看到了发生什么时候——这些是您的。