前言¶
在智能體開發中，控制台日誌難以可靠地區分重試與步驟、取消的回合與錯誤，或表面重寫與第二次工具結果。DeepSeek Harness 的社區插件 dsh-agent-observability 提供基於事件、隱私優先的智能體可觀測性和可靠性分析。
核心功能¶
- 軌跡重構：從已提交的會話證據重構 Session → Turn → Step → Model settlement → Tool call/result 軌跡。
- 可靠性分析：計算可靠性指標，檢測有界可觀察模式，並引用確切的事件序列號。
- 導出與評估：導出失敗用例以供後續評估。
- 隱私優先：默認僅收集元數據；插件本身不發送任何遙測數據。
安裝與啓用¶
安裝前需準備 Node.js (^22.19.0 || >=24)、pnpm 以及已測試版本的 DeepSeek Harness。
使用官方提供的預構建 tarball 安裝：
dsh plugin --profile web add ./beibeihk-dsh-agent-observability-0.1.0.tgz
安裝後確認插件已啓用：
dsh --profile web --dump-config
典型用法¶
- 運行 Harness Web 界面：
dsh web。 - 在會話中提交命令
/observe。該命令會返回指標和發現，不會消耗模型回合。 - 報告會自動導出。默認路徑爲
$DSH_HOME/profiles/web/observability/<hashed-session-id>/。 - 本地打開該目錄下的
report.html查看結果。文件包括trace.json、summary.json、eval.jsonl等。
演示與驗證¶
運行無密鑰、可復現的演示：
npm run demo
適用場景與注意¶
該插件適合需要對智能體運行軌跡進行結構化分析的開發者。使用時請注意：
- 權限：插件以當前 DSH 進程權限運行。
- 隱私配置：默認爲元數據模式。如需捕獲內容，需設置
captureContent: true。推理塊和嵌入式助手流始終被排除。 - 資源限制：內存受
maxSessions(64)、maxEvents(100,000) 和maxContentBytes(16 KiB) 限制。 - 無官方隸屬關係：插件由社區維護，無官方隸屬或背書。
總結¶
該插件通過重構事件軌跡和檢測可靠性模式，解決了日誌難以區分複雜交互狀態的問題。配合無遙測設計，它爲智能體可靠性分析提供了一個輕量、隱私友好的工具。
