前言¶
DeepSeek Harness (DSH) 是一個以插件爲中心的生態系統。開發者在使用本地模型時,常需驗證其是否爲官方版本還是灰度調試版本。官方模型通常使用標準的 Let me 結構,而部分灰度版本可能使用 I'm/I'll + 動詞ing 的句式。dsh-gray-test 插件通過併發測試和流式監聽思維鏈,解決了這一驗證需求。
介紹¶
dsh-gray-test 是由 LiLiLi-Zi 維護的插件,定位爲灰度模型檢測工具。它支持一鍵開測 N 個併發 DSH 會話,並實時流式監聽思維鏈進行判定。
安裝與啓用¶
- 將本目錄放到 DSH 的 plugins 目錄(如
~/.dsh/plugins/dsh-gray-test或 DSH 配置的 plugins 目錄)。 - 安裝依賴:
npm install
- 構建前端:
npm run build
- 重啓 DSH。設置頁將出現「灰度測試」入口。
配置 API Key¶
本插件不內置任何 API Key,它使用 DSH 宿主的 deepseek-official provider(官方路由)。
方法一:dsh 設置頁(推薦)
1. 打開 DSH 的 Settings → Models / Credentials。
2. 找到 deepseek-official provider。
3. 填入 DeepSeek API Key(格式:sk-...)。
4. 保存後重啓 DSH。
方法二:配置文件
1. 編輯 DSH 的配置文件(~/.dsh/ 下的 credentials 或 config)。
2. 在 deepseek-official provider 下添加:
{ "apiKey": "sk-你的key" }
- 保存後重啓 DSH。
核心功能¶
- 併發測試:配置併發數(1-100),決定同時開多少個測試會話。
- 流式監聽:實時監聽思維鏈內容。
- 判定邏輯:
- 灰度神模型:
I'm/I'll + 動詞ing計數 >Let me計數 × 5。 - 正常模型:
Let me出現 ≥ 3 次且未達灰度比例。 - 異常模型:未出現任何特徵(如中文思維鏈)。
- 吐字速率檢測:< 40 token/s 標記爲慢。
- 預設支持:支持標準/PTC/極簡/創造預設。
使用¶
- 進入設置頁 → 灰度測試。
- 配置併發數、模型(deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp)、思考強度(off ~ max)和預設。
- 點擊「開始測試」。
- 查看灰度出現率。
判定說明¶
插件每 2 秒刷新一次判定:
1. 灰度判定(優先,不掐斷):I'm/I'll + 動詞ing(排除 going to)計數 > Let me 計數 × 5。標記灰度,完整跑完並計入灰度數。
2. 正常判定:Let me ≥ 3 次且未達灰度比例。判定正常,立即掐斷會話。
3. 異常判定:全程未出現任何特徵(既無 Let me 也無 I'm+動詞ing)。完整跑完,視爲異常。
輸出位置¶
測試結果寫入 ~/gray-test-runs/。每個會話有獨立子目錄,可在工作區查看完整產出。
預設¶
測試會話可選用以下 Agent 預設:
- 標準模式:功能完整的編碼 Agent(默認)。
- PTC 模式:標準全部能力 + Code Mode SDK 呈現工具。
- 極簡模式:僅持久 bash 與 str_replace_editor 的雙工具編碼 Agent。
- 創造模式:用於創建自定義 Agent preset。
注意¶
- 本插件以當前 DSH 進程權限運行。
- License: MIT。
- 生態背景:DSH 生態獨立於 DeepSeek / 幻方,插件目錄爲社區站點。