dsh-driftwatch:DeepSeek Harness 行为漂移对比工具

前言

DeepSeek Harness (DSH) 会记录所有内容,但人工阅读 50,000 行日志并不是工作流。现有工具(如 dsh-replay 或 dsh-eval-harness)通常用于调试或断言,回答“发生了什么?”或“是否符合规则?”。dsh-driftwatch 专门回答:这次运行与上次相比,路径有什么不同? 它生成结构化的行为变化报告,无需断言或轨迹渲染。

核心功能

会话对比与报告
对比两个会话日志以查看行为变化。生成带有分数和阈值的漂移报告,帮助判断运行状态是否稳定。

智能体工具
安装后,智能体获得两个工具:
- drift_compare:对比两个会话并在行内报告漂移。
- drift_list:列出可用会话以选择基线。

行为测量
插件测量具体的行为指标:
- 工具序列与混合(使用 LCS 对齐)
- 文件目标
- 推理量
- 重试与计时
- 记录数、轮次、步骤等指标

技术特性
- 零依赖(仅运行时依赖 @edge-echo/dsh-ledger)
- CI 就绪
- 防御性日志读取(忽略未知类型,容忍缺失字段)

安装与启用

使用官方安装命令添加插件。

dsh plugin --profile web add dsh-driftwatch

典型用法

  1. 列出可用会话
   npx dsh-driftwatch list
  1. 对比两个运行
   npx dsh-driftwatch compare session-b6c2dcf3 session-b130e75b
  1. CI 门控与导出
    在 CI 流水线中,当漂移达到阈值(如 35/100)时失败,并生成 Markdown 报告。
   npx dsh-driftwatch compare before after --fail-on-drift 35 --markdown drift.md

实现细节

日志解析
Session-log 记录类型通过防御性读取处理:未知类型被忽略,缺失字段被容忍。这确保了格式变化时报告不会崩溃。

序列对齐
序列对齐使用精确的 LCS(最长公共子序列)算法,支持高达 4M 单元对。超过此限制时,会回退到多重集重叠并报告。

对比维度
DriftWatch 对比的是行为,而非正确性。一个稳定的运行可能是错误的,一个漂移的运行可能是更好的。

适用场景

  • 需要对比当前运行与已知良好运行时。
  • 需要 CI 门控来检测行为回归,而不是先写断言。
  • 需要量化“感觉不同”的具体变化(工具调用、文件操作、推理时间)。

结尾

dsh-driftwatch 提供了一种结构化的方式来观察智能体行为的变化。它不决定漂移是否可接受,而是提供分数和阈值,让你来做判断。

  • 插件目录:https://www.skillhub.cn/plugins/Edge-Echo/dsh-driftwatch
  • GitHub:https://github.com/Edge-Echo/dsh-driftwatch
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye