dsh-driftwatch:DeepSeek Harness 行爲漂移對比工具

前言

DeepSeek Harness (DSH) 會記錄所有內容,但人工閱讀 50,000 行日誌並不是工作流。現有工具(如 dsh-replay 或 dsh-eval-harness)通常用於調試或斷言,回答“發生了什麼?”或“是否符合規則?”。dsh-driftwatch 專門回答:這次運行與上次相比,路徑有什麼不同? 它生成結構化的行爲變化報告,無需斷言或軌跡渲染。

核心功能

會話對比與報告
對比兩個會話日誌以查看行爲變化。生成帶有分數和閾值的漂移報告,幫助判斷運行狀態是否穩定。

智能體工具
安裝後,智能體獲得兩個工具:
- drift_compare:對比兩個會話並在行內報告漂移。
- drift_list:列出可用會話以選擇基線。

行爲測量
插件測量具體的行爲指標:
- 工具序列與混合(使用 LCS 對齊)
- 文件目標
- 推理量
- 重試與計時
- 記錄數、輪次、步驟等指標

技術特性
- 零依賴(僅運行時依賴 @edge-echo/dsh-ledger)
- CI 就緒
- 防禦性日誌讀取(忽略未知類型,容忍缺失字段)

安裝與啓用

使用官方安裝命令添加插件。

dsh plugin --profile web add dsh-driftwatch

典型用法

  1. 列出可用會話
   npx dsh-driftwatch list
  1. 對比兩個運行
   npx dsh-driftwatch compare session-b6c2dcf3 session-b130e75b
  1. CI 門控與導出
    在 CI 流水線中,當漂移達到閾值(如 35/100)時失敗,並生成 Markdown 報告。
   npx dsh-driftwatch compare before after --fail-on-drift 35 --markdown drift.md

實現細節

日誌解析
Session-log 記錄類型通過防禦性讀取處理:未知類型被忽略,缺失字段被容忍。這確保了格式變化時報告不會崩潰。

序列對齊
序列對齊使用精確的 LCS(最長公共子序列)算法,支持高達 4M 單元對。超過此限制時,會回退到多重集重疊並報告。

對比維度
DriftWatch 對比的是行爲,而非正確性。一個穩定的運行可能是錯誤的,一個漂移的運行可能是更好的。

適用場景

  • 需要對比當前運行與已知良好運行時。
  • 需要 CI 門控來檢測行爲迴歸,而不是先寫斷言。
  • 需要量化“感覺不同”的具體變化(工具調用、文件操作、推理時間)。

結尾

dsh-driftwatch 提供了一種結構化的方式來觀察智能體行爲的變化。它不決定漂移是否可接受,而是提供分數和閾值,讓你來做判斷。

  • 插件目錄:https://www.skillhub.cn/plugins/Edge-Echo/dsh-driftwatch
  • GitHub:https://github.com/Edge-Echo/dsh-driftwatch
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜