DSH-Plugin: structural observability layer

前言

在 DeepSeek Harness (DSH) 環境中,瞭解模型實際做了什麼通常依賴於模型對自身行爲的自報告。這種方式容易產生偏差。該插件旨在提供一種結構化的觀測層,通過記錄平臺實際捕獲的工具/技能使用情況 (tools/result)、技能目錄審計以及帶健康/錯誤事件的 watchdog,替代模型自報告。

核心能力

該插件提供以下核心功能:

  • tools/result 監聽器:平臺將每一個真實的工具執行(名稱 + 結果)記錄到環緩衝區中,並生成按日聚合的數據。
  • agent/error / agent/status:提供錯誤總計和實時代理狀態跟蹤。
  • Watchdog:基於定時器的警報機制,當代理錯誤數量在 5 分鐘內激增至閾值(≥ N)時觸發。
  • 瀏覽器儀表板:在客戶端註冊一個「觀測」視圖標籤頁(位於聊天/軌跡右側),渲染來自 infraView 會話投影的實時儀表板,包括回合計數、失敗計數、工具/技能排行榜及最近執行記錄。

提供的工具

該插件向模型和人類提供三個查詢工具:

  1. usage_report:提供按日的工具/技能聚合數據(調用次數 / 成功 / 錯誤)以及最近的執行記錄。
  2. audit_skills:提供技能目錄總數、提供商分佈、警告信息(如描述缺失、非 kebab 命名),以及今日技能使用情況。
  3. infra_health:提供運行時間、保留記錄數、錯誤計數、運行中的代理、目錄大小和 watchdog 狀態。

安裝與啓用

安裝該插件需要將包添加到 DSH 的配置中。

方法 A:Host Composition(推薦)

在 package.json 的 dsh.profile.bundles 中添加包名。該包會自動注入插件行:

{
  "dsh": {
    "profile": {
      "bundles": ["@bryan-cmf/dsh-infra-observability"]
    }
  }
}

方法 B:Agent Preset Row

在 Agent 的預設配置中指定包名:

- id: infra-observability
  name: '@bryan-cmf/dsh-infra-observability'

注意事項與依賴

  • 依賴要求:該插件需要 DSH 版本 >= 0.1.0-rc.6。
  • 數據生命週期:聚合數據基於進程生命週期(與 dsh-skill-trail 一致)。
  • 持久化計劃:跨重啓的持久化功能計劃中。
  • 配套包:@bryan-cmf/dsh-skill-trail 是配套的後端層,用於渲染每條回覆的徽章行。
  • 項目狀態:此套件已於 2026-08-17 合併入 @bryan-cmf/dsh-insights,當前倉庫僅保留合併前的歷史記錄,後續迭代請前往 dsh-insights。

生態背景

DSH 採用“一切皆插件”的理念。該插件可在技能目錄中查找到:dsh-infra-observability。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜