JUPITER'S LAB · RESEARCH TRACK

Agent 观测

从统一观测模型、OpenTelemetry 埋点与生产故障诊断，逐步走到 Langfuse、Agent 评测、数据集构造和后训练数据闭环。

公开文章: 9
阅读顺序: 按发布时间 · 早→晚
上一级: Agent 技术

Agent 观测

从统一观测模型、OpenTelemetry 埋点与生产故障诊断，逐步走到 Langfuse、Agent 评测、数据集构造和后训练数据闭环。

9 篇

AgentObservability 第 1 篇：Agent 可观测性全景与统一数据模型 从 Agent 执行链、四类核心证据、统一对象模型、标识符关系到环境副作用，建立可追踪、可评估、可审计的观测数据底座。 2026/08/05

AgentObservability 第 2 篇：Agent 埋点实现——OpenTelemetry、异步上下文与流式调用 围绕 Agent Loop 埋点、Span 类型、Trace Context 传播、流式模型调用、并行重试以及 Collector 治理，给出可落地的 OpenTelemetry 实现。 2026/08/05

AgentObservability 第 3 篇：Agent 内部组件应该记录什么——模型、工具、RAG、记忆与 MCP 逐层梳理模型、工具、RAG、Memory、MCP、上下文压缩、多 Agent 与 HITL 所需观测字段，并把字段连接为可解释的因果证据链。 2026/08/05

AgentObservability 第 4 篇：Agent 生产故障诊断——网络恢复、循环检测、回放与 SLO 从生产故障分类、网络与流式恢复、循环和振荡检测，到 Replay、故障注入、SLI/SLO 与事故复盘，构建 Agent 诊断闭环。 2026/08/05

AgentObservability 第 5 篇：Claude Code 与 Codex 可观测性设计拆解 对照 Claude Code 与 Codex CLI 的本地记录、流式事件、工具审计、任务恢复和 OpenTelemetry 导出机制，提炼 Coding Agent 可复用的观测设计。 2026/08/06

AgentObservability 第 6 篇：Langfuse 实战——从 Trace 接入到 Score、Dataset 和 Experiment 从 Langfuse 的定位、数据模型与接入方式出发，贯通 Trace、Score、Annotation、Dataset、Experiment、自托管架构及生产治理。 2026/08/06

AgentObservability 第 7 篇：Agent 评测体系设计——从任务、轨迹、环境结果到回归门禁 围绕 Task、Trial、Trace、Artifact、Environment Outcome 与 Grader，建立五层评测、隔离环境、故障恢复统计和发布回归门禁。 2026/08/06

AgentObservability 第 8 篇：从生产 Trace 构造 Agent 评测数据集 从生产 Trace 的候选发现、准入门槛、Failure Taxonomy 与样本重建，走到去重切分、血缘版本和持续更新的评测数据流水线。 2026/08/06

AgentObservability 第 9 篇：从评测数据桥接到 Agent 后训练数据 判断失败是否适合训练解决，重建模型可见上下文，把成功与修正轨迹转成 Target/Mask，并用 Provenance 防止训练与评测污染。 2026/08/06