dsh-gray-test:灰度模型檢測工具

前言

DeepSeek Harness (DSH) 是一個以插件爲中心的生態系統。開發者在使用本地模型時,常需驗證其是否爲官方版本還是灰度調試版本。官方模型通常使用標準的 Let me 結構,而部分灰度版本可能使用 I'm/I'll + 動詞ing 的句式。dsh-gray-test 插件通過併發測試和流式監聽思維鏈,解決了這一驗證需求。

介紹

dsh-gray-test 是由 LiLiLi-Zi 維護的插件,定位爲灰度模型檢測工具。它支持一鍵開測 N 個併發 DSH 會話,並實時流式監聽思維鏈進行判定。

安裝與啓用

  1. 將本目錄放到 DSH 的 plugins 目錄(如 ~/.dsh/plugins/dsh-gray-test 或 DSH 配置的 plugins 目錄)。
  2. 安裝依賴:
   npm install
  1. 構建前端:
   npm run build
  1. 重啓 DSH。設置頁將出現「灰度測試」入口。

配置 API Key

本插件不內置任何 API Key,它使用 DSH 宿主的 deepseek-official provider(官方路由)。

方法一:dsh 設置頁(推薦)
1. 打開 DSH 的 Settings → Models / Credentials。
2. 找到 deepseek-official provider。
3. 填入 DeepSeek API Key(格式:sk-...)。
4. 保存後重啓 DSH。

方法二:配置文件
1. 編輯 DSH 的配置文件(~/.dsh/ 下的 credentials 或 config)。
2. 在 deepseek-official provider 下添加:

   { "apiKey": "sk-你的key" }
  1. 保存後重啓 DSH。

核心功能

  • 併發測試:配置併發數(1-100),決定同時開多少個測試會話。
  • 流式監聽:實時監聽思維鏈內容。
  • 判定邏輯:
  • 灰度神模型:I'm/I'll + 動詞ing 計數 > Let me 計數 × 5。
  • 正常模型:Let me 出現 ≥ 3 次且未達灰度比例。
  • 異常模型:未出現任何特徵(如中文思維鏈)。
  • 吐字速率檢測:< 40 token/s 標記爲慢。
  • 預設支持:支持標準/PTC/極簡/創造預設。

使用

  1. 進入設置頁 → 灰度測試。
  2. 配置併發數、模型(deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp)、思考強度(off ~ max)和預設。
  3. 點擊「開始測試」。
  4. 查看灰度出現率。

判定說明

插件每 2 秒刷新一次判定:
1. 灰度判定(優先,不掐斷):I'm/I'll + 動詞ing(排除 going to)計數 > Let me 計數 × 5。標記灰度,完整跑完並計入灰度數。
2. 正常判定:Let me ≥ 3 次且未達灰度比例。判定正常,立即掐斷會話。
3. 異常判定:全程未出現任何特徵(既無 Let me 也無 I'm+動詞ing)。完整跑完,視爲異常。

輸出位置

測試結果寫入 ~/gray-test-runs/。每個會話有獨立子目錄,可在工作區查看完整產出。

預設

測試會話可選用以下 Agent 預設:
- 標準模式:功能完整的編碼 Agent(默認)。
- PTC 模式:標準全部能力 + Code Mode SDK 呈現工具。
- 極簡模式:僅持久 bash 與 str_replace_editor 的雙工具編碼 Agent。
- 創造模式:用於創建自定義 Agent preset。

注意

  • 本插件以當前 DSH 進程權限運行。
  • License: MIT。
  • 生態背景:DSH 生態獨立於 DeepSeek / 幻方,插件目錄爲社區站點。

結尾

該工具通過流式監聽思維鏈特徵,幫助開發者快速識別模型版本。更多詳情可訪問 GitHub 或 社區目錄。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜