前言¶
DeepSeek Harness (DSH) 是一个以插件为中心的生态系统。开发者在使用本地模型时,常需验证其是否为官方版本还是灰度调试版本。官方模型通常使用标准的 Let me 结构,而部分灰度版本可能使用 I'm/I'll + 动词ing 的句式。dsh-gray-test 插件通过并发测试和流式监听思维链,解决了这一验证需求。
介绍¶
dsh-gray-test 是由 LiLiLi-Zi 维护的插件,定位为灰度模型检测工具。它支持一键开测 N 个并发 DSH 会话,并实时流式监听思维链进行判定。
安装与启用¶
- 将本目录放到 DSH 的 plugins 目录(如
~/.dsh/plugins/dsh-gray-test或 DSH 配置的 plugins 目录)。 - 安装依赖:
npm install
- 构建前端:
npm run build
- 重启 DSH。设置页将出现「灰度测试」入口。
配置 API Key¶
本插件不内置任何 API Key,它使用 DSH 宿主的 deepseek-official provider(官方路由)。
方法一:dsh 设置页(推荐)
1. 打开 DSH 的 Settings → Models / Credentials。
2. 找到 deepseek-official provider。
3. 填入 DeepSeek API Key(格式:sk-...)。
4. 保存后重启 DSH。
方法二:配置文件
1. 编辑 DSH 的配置文件(~/.dsh/ 下的 credentials 或 config)。
2. 在 deepseek-official provider 下添加:
{ "apiKey": "sk-你的key" }
- 保存后重启 DSH。
核心功能¶
- 并发测试:配置并发数(1-100),决定同时开多少个测试会话。
- 流式监听:实时监听思维链内容。
- 判定逻辑:
- 灰度神模型:
I'm/I'll + 动词ing计数 >Let me计数 × 5。 - 正常模型:
Let me出现 ≥ 3 次且未达灰度比例。 - 异常模型:未出现任何特征(如中文思维链)。
- 吐字速率检测:< 40 token/s 标记为慢。
- 预设支持:支持标准/PTC/极简/创造预设。
使用¶
- 进入设置页 → 灰度测试。
- 配置并发数、模型(deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp)、思考强度(off ~ max)和预设。
- 点击「开始测试」。
- 查看灰度出现率。
判定说明¶
插件每 2 秒刷新一次判定:
1. 灰度判定(优先,不掐断):I'm/I'll + 动词ing(排除 going to)计数 > Let me 计数 × 5。标记灰度,完整跑完并计入灰度数。
2. 正常判定:Let me ≥ 3 次且未达灰度比例。判定正常,立即掐断会话。
3. 异常判定:全程未出现任何特征(既无 Let me 也无 I'm+动词ing)。完整跑完,视为异常。
输出位置¶
测试结果写入 ~/gray-test-runs/。每个会话有独立子目录,可在工作区查看完整产出。
预设¶
测试会话可选用以下 Agent 预设:
- 标准模式:功能完整的编码 Agent(默认)。
- PTC 模式:标准全部能力 + Code Mode SDK 呈现工具。
- 极简模式:仅持久 bash 与 str_replace_editor 的双工具编码 Agent。
- 创造模式:用于创建自定义 Agent preset。
注意¶
- 本插件以当前 DSH 进程权限运行。
- License: MIT。
- 生态背景:DSH 生态独立于 DeepSeek / 幻方,插件目录为社区站点。