前言¶

DSH 強調「一切皆插件」。在智能體開發裏，候選輸出是否滿足期望片段，常常需要在 CI 中得到可重複判斷。aryswisnu/dsh-eval-regression 提供一個確定性、CI-safe 的 golden-output 評估工具，用於比較候選輸出中的 required fragments 與 forbidden fragments。

它不是模型質量評審，也不判斷語義正確性。它的目標更窄：給出可重複的 pass/fail 證據。

這是什麼¶

aryswisnu/dsh-eval-regression 是一個 DeepSeek Harness（DSH）插件，定位爲 deterministic, CI-safe golden-output evaluation。倉庫 owner 是 aryswisnu，許可證爲 MIT。

它註冊一個模型可調用的工具：

evaluate_golden_output

該工具用於比較候選輸出與 required fragments、forbidden fragments。插件不調用模型、不持久化數據，也不聲稱語義正確。

它作爲 DSH bundle 發佈。package.json 中的 dsh.bundle.patch 指向 ./cordis.patch.yml，cordis.patch.yml 會在 profile 的基礎工具運行時後自動註冊工具。

核心功能¶

片段級檢查¶

插件支持兩類檢查：

• required fragments：候選輸出中必須出現的片段
• forbidden fragments：候選輸出中不應出現的片段

這使失敗可以落到具體片段，而不是隻給一個不可複覈的整體判斷。

確定性報告¶

評估結果包含：

• total passed 和 failed cases
• 0..1 score
• 逐用例 missing 或 forbidden fragments

這類輸出適合放入 CI 日誌，也適合作爲閾值判斷的證據。

CLI¶

插件附帶 CLI：

• 讀取 JSON suite
• 向 stdout 打印報告
• 全部通過時退出 0
• 任一失敗時退出 1
• 輸入或用法錯誤時退出 2

退出碼使 CI 能直接根據結果成功或失敗。

安裝與啓用¶

將插件加入指定 profile：

dsh plugin --profile <profile> add github:aryswisnu/dsh-eval-regression

插件作爲 DSH bundle 發佈，註冊動作發生在 profile 的基礎工具運行時之後。

如果要在本地開發或從源碼啓用，按下面的步驟做：

1、克隆倉庫。

git clone https://github.com/aryswisnu/dsh-eval-regression.git

2、進入目錄並安裝依賴。

cd dsh-eval-regression
npm install

3、構建產物。

npm run build

4、從當前目錄添加到 DSH profile。

dsh plugin --profile <profile> add .

典型用法¶

準備 JSON suite¶

CLI 讀取 JSON suite。下面是一個示例，includes 對應 required fragments，excludes 對應 forbidden fragments：

{
  "suite": "release-smoke",
  "cases": [
    {
      "id": "grounded-answer",
      "actual": "The result is 42. Source: benchmark.csv",
      "includes": ["42", "Source:"],
      "excludes": ["I cannot verify"]
    }
  ]
}

運行評估¶

在可執行該 CLI 的環境中運行：

npx dsh-eval-regression suites/release-smoke.json

如果已經在插件倉庫中，也可以使用：

npm run evaluate -- suites/release-smoke.json

運行後，CLI 會向 stdout 打印報告。報告包含 total passed 和 failed cases、0..1 score，以及逐用例 missing 或 forbidden fragments。

本地開發檢查¶

倉庫提供以下常用命令：

npm test
npm run typecheck

這些命令用於本地驗證插件代碼。

適用場景與注意¶

這個插件適合以下場景：

• 需要檢查 DSH 候選輸出是否包含 required fragments
• 需要檢查候選輸出是否出現 forbidden fragments
• 需要在 CI 中保留可重複的 pass/fail 證據
• 需要把 JSON suite 作爲可維護的文件管理

使用它時，要注意邊界。它有意保持爲狹窄的確定性評估器，不替代模型質量評審、事實依據、工具執行檢查或快照重放。

插件以當前 dsh 進程權限運行，安裝前應檢查源碼與許可證。當前已覈實許可證爲 MIT。

依賴與集成信息如下：

{
  "peerDependencies": {
    "@deepseek-ai/cordis": "^4.0.1",
    "@deepseek-ai/dsh-tools": "^0.1.0-rc.6"
  }
}

package.json 中的 dsh.bundle.patch 指向 ./cordis.patch.yml。

鏈接¶

目錄頁：

https://www.skillhub.cn/plugins/aryswisnu/dsh-eval-regression

GitHub：

https://github.com/aryswisnu/dsh-eval-regression