dsh-gray-test:灰度模型检测工具

前言

DeepSeek Harness (DSH) 是一个以插件为中心的生态系统。开发者在使用本地模型时,常需验证其是否为官方版本还是灰度调试版本。官方模型通常使用标准的 Let me 结构,而部分灰度版本可能使用 I'm/I'll + 动词ing 的句式。dsh-gray-test 插件通过并发测试和流式监听思维链,解决了这一验证需求。

介绍

dsh-gray-test 是由 LiLiLi-Zi 维护的插件,定位为灰度模型检测工具。它支持一键开测 N 个并发 DSH 会话,并实时流式监听思维链进行判定。

安装与启用

  1. 将本目录放到 DSH 的 plugins 目录(如 ~/.dsh/plugins/dsh-gray-test 或 DSH 配置的 plugins 目录)。
  2. 安装依赖:
   npm install
  1. 构建前端:
   npm run build
  1. 重启 DSH。设置页将出现「灰度测试」入口。

配置 API Key

本插件不内置任何 API Key,它使用 DSH 宿主的 deepseek-official provider(官方路由)。

方法一:dsh 设置页(推荐)
1. 打开 DSH 的 Settings → Models / Credentials。
2. 找到 deepseek-official provider。
3. 填入 DeepSeek API Key(格式:sk-...)。
4. 保存后重启 DSH。

方法二:配置文件
1. 编辑 DSH 的配置文件(~/.dsh/ 下的 credentials 或 config)。
2. 在 deepseek-official provider 下添加:

   { "apiKey": "sk-你的key" }
  1. 保存后重启 DSH。

核心功能

  • 并发测试:配置并发数(1-100),决定同时开多少个测试会话。
  • 流式监听:实时监听思维链内容。
  • 判定逻辑:
  • 灰度神模型:I'm/I'll + 动词ing 计数 > Let me 计数 × 5。
  • 正常模型:Let me 出现 ≥ 3 次且未达灰度比例。
  • 异常模型:未出现任何特征(如中文思维链)。
  • 吐字速率检测:< 40 token/s 标记为慢。
  • 预设支持:支持标准/PTC/极简/创造预设。

使用

  1. 进入设置页 → 灰度测试。
  2. 配置并发数、模型(deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp)、思考强度(off ~ max)和预设。
  3. 点击「开始测试」。
  4. 查看灰度出现率。

判定说明

插件每 2 秒刷新一次判定:
1. 灰度判定(优先,不掐断):I'm/I'll + 动词ing(排除 going to)计数 > Let me 计数 × 5。标记灰度,完整跑完并计入灰度数。
2. 正常判定:Let me ≥ 3 次且未达灰度比例。判定正常,立即掐断会话。
3. 异常判定:全程未出现任何特征(既无 Let me 也无 I'm+动词ing)。完整跑完,视为异常。

输出位置

测试结果写入 ~/gray-test-runs/。每个会话有独立子目录,可在工作区查看完整产出。

预设

测试会话可选用以下 Agent 预设:
- 标准模式:功能完整的编码 Agent(默认)。
- PTC 模式:标准全部能力 + Code Mode SDK 呈现工具。
- 极简模式:仅持久 bash 与 str_replace_editor 的双工具编码 Agent。
- 创造模式:用于创建自定义 Agent preset。

注意

  • 本插件以当前 DSH 进程权限运行。
  • License: MIT。
  • 生态背景:DSH 生态独立于 DeepSeek / 幻方,插件目录为社区站点。

结尾

该工具通过流式监听思维链特征,帮助开发者快速识别模型版本。更多详情可访问 GitHub 或 社区目录。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜