前言¶
DeepSeek Harness (DSH) 會記錄所有內容,但人工閱讀 50,000 行日誌並不是工作流。現有工具(如 dsh-replay 或 dsh-eval-harness)通常用於調試或斷言,回答“發生了什麼?”或“是否符合規則?”。dsh-driftwatch 專門回答:這次運行與上次相比,路徑有什麼不同? 它生成結構化的行爲變化報告,無需斷言或軌跡渲染。
核心功能¶
會話對比與報告
對比兩個會話日誌以查看行爲變化。生成帶有分數和閾值的漂移報告,幫助判斷運行狀態是否穩定。
智能體工具
安裝後,智能體獲得兩個工具:
- drift_compare:對比兩個會話並在行內報告漂移。
- drift_list:列出可用會話以選擇基線。
行爲測量
插件測量具體的行爲指標:
- 工具序列與混合(使用 LCS 對齊)
- 文件目標
- 推理量
- 重試與計時
- 記錄數、輪次、步驟等指標
技術特性
- 零依賴(僅運行時依賴 @edge-echo/dsh-ledger)
- CI 就緒
- 防禦性日誌讀取(忽略未知類型,容忍缺失字段)
安裝與啓用¶
使用官方安裝命令添加插件。
dsh plugin --profile web add dsh-driftwatch
典型用法¶
- 列出可用會話
npx dsh-driftwatch list
- 對比兩個運行
npx dsh-driftwatch compare session-b6c2dcf3 session-b130e75b
- CI 門控與導出
在 CI 流水線中,當漂移達到閾值(如 35/100)時失敗,並生成 Markdown 報告。
npx dsh-driftwatch compare before after --fail-on-drift 35 --markdown drift.md
實現細節¶
日誌解析
Session-log 記錄類型通過防禦性讀取處理:未知類型被忽略,缺失字段被容忍。這確保了格式變化時報告不會崩潰。
序列對齊
序列對齊使用精確的 LCS(最長公共子序列)算法,支持高達 4M 單元對。超過此限制時,會回退到多重集重疊並報告。
對比維度
DriftWatch 對比的是行爲,而非正確性。一個穩定的運行可能是錯誤的,一個漂移的運行可能是更好的。
適用場景¶
- 需要對比當前運行與已知良好運行時。
- 需要 CI 門控來檢測行爲迴歸,而不是先寫斷言。
- 需要量化“感覺不同”的具體變化(工具調用、文件操作、推理時間)。
結尾¶
dsh-driftwatch 提供了一種結構化的方式來觀察智能體行爲的變化。它不決定漂移是否可接受,而是提供分數和閾值,讓你來做判斷。
- 插件目錄:https://www.skillhub.cn/plugins/Edge-Echo/dsh-driftwatch
- GitHub:https://github.com/Edge-Echo/dsh-driftwatch