前言¶
在智能体开发中，控制台日志难以可靠地区分重试与步骤、取消的回合与错误，或表面重写与第二次工具结果。DeepSeek Harness 的社区插件 dsh-agent-observability 提供基于事件、隐私优先的智能体可观测性和可靠性分析。
核心功能¶
- 轨迹重构：从已提交的会话证据重构 Session → Turn → Step → Model settlement → Tool call/result 轨迹。
- 可靠性分析：计算可靠性指标，检测有界可观察模式，并引用确切的事件序列号。
- 导出与评估：导出失败用例以供后续评估。
- 隐私优先：默认仅收集元数据；插件本身不发送任何遥测数据。
安装与启用¶
安装前需准备 Node.js (^22.19.0 || >=24)、pnpm 以及已测试版本的 DeepSeek Harness。
使用官方提供的预构建 tarball 安装：
dsh plugin --profile web add ./beibeihk-dsh-agent-observability-0.1.0.tgz
安装后确认插件已启用：
dsh --profile web --dump-config
典型用法¶
- 运行 Harness Web 界面：
dsh web。 - 在会话中提交命令
/observe。该命令会返回指标和发现，不会消耗模型回合。 - 报告会自动导出。默认路径为
$DSH_HOME/profiles/web/observability/<hashed-session-id>/。 - 本地打开该目录下的
report.html查看结果。文件包括trace.json、summary.json、eval.jsonl等。
演示与验证¶
运行无密钥、可复现的演示：
npm run demo
适用场景与注意¶
该插件适合需要对智能体运行轨迹进行结构化分析的开发者。使用时请注意：
- 权限：插件以当前 DSH 进程权限运行。
- 隐私配置：默认为元数据模式。如需捕获内容，需设置
captureContent: true。推理块和嵌入式助手流始终被排除。 - 资源限制：内存受
maxSessions(64)、maxEvents(100,000) 和maxContentBytes(16 KiB) 限制。 - 无官方隶属关系：插件由社区维护，无官方隶属或背书。
总结¶
该插件通过重构事件轨迹和检测可靠性模式，解决了日志难以区分复杂交互状态的问题。配合无遥测设计，它为智能体可靠性分析提供了一个轻量、隐私友好的工具。
