核心导读与中文摘要
告别上线后“盲人摸象”:用开源的 Langfuse 为多轮 Agent、RAG 与 Prompt 迭代加上全链路 Trace、每次请求精准美元成本核算与自动化评分。
为什么 AI 应用必须单独做 LLM 可观测性?
传统 APM(如 Sentry / Datadog)只能告诉你接口返回了 HTTP 200,但无法回答三个致命问题:
- 用户那次复杂 Agent 对话内部调用了 6 次模型与 4 次 RAG,究竟是哪一步耗时 12 秒?
- 昨天修改 Prompt 后,回答准确率到底变好了还是变差了?
- 哪个用户或哪个功能悄悄烧掉了 60% 的月度 API 预算?
Langfuse 核心能力清单
- 全链路嵌套 Trace:按树状时间轴清晰展示
Agent -> Retrieval -> Rerank -> LLM Generation每一步的输入、输出、TTFT(首字延迟)与 Token 账单。 - Prompt 版本管理:把 Prompt 从硬编码代码里抽出来,在线微调灰度版本并关联对应 Trace 对比效果,无需重新部署代码。
- LLM-as-a-Judge 自动打分:抽样 10% 线上对话自动检测“是否答非所问 / 是否漏引资料”。
5 行代码接入 OpenAI / Vercel AI SDK 链路追踪
typescript
import { Langfuse } from 'langfuse';
const langfuse = new Langfuse();
const trace = langfuse.trace({ name: 'rag-chat', userId: 'user_123' });
const span = trace.span({ name: 'vector-search', input: { query: 'MCP server' } });
// ...执行检索后记录结果与耗时
span.end({ output: { hitCount: 5 } });
Langfuse 支持 MIT/开源方式通过 Docker Compose 一键私有化部署到自有服务器,数据完全不出内网。
