前言¶
DeepSeek Harness (DSH) 的核心設計理念是“一切皆插件”。在開發或迭代 DSH 插件時，如何在不影響現有流程的前提下驗證變更，是一個實際痛點。直接上線容易引入不可預期的迴歸。dsh-plugin-abtest 提供了一種通過隔離環境進行配對實驗的方案，幫助團隊在發佈前評估變更對任務成功率、Token 消耗、延遲及工具錯誤率的影響。
是什麼¶
dsh-plugin-abtest 是一個 DeepSeek Harness 插件，用於在 DSH 插件變更前進行可復現的配對 A/B 實驗。它提供隔離的運行環境、可審計的證據以及確定性的發佈門禁。
- 維護者：Morriaty-The-Murderer
- 類別：工作流
- 許可證：MIT
核心功能¶
- 配對 A/B 實驗：Control（當前插件）與 Candidate（變更插件）在同一環境、相同任務下配對運行。
- 隔離運行環境：每個實驗分支擁有獨立的 DSH_HOME、配置和插件構建產物，互不干擾。
- 可審計的證據：記錄原始會話、斷言結果、配對級差異及報告，支持 Markdown 和 HTML 格式。
- 確定性發佈門禁：基於 manifest 配置的規則，自動生成
PROMOTE、REVIEW、REJECT或INCONCLUSIVE四種決策結果。 - 可復現的真實案例：內置 Toolshrink 上下文預算案例，演示如何通過固定 DSH 版本、模型參數和插件提交來復現實驗。
- 基於清單的配置：所有閾值、重複次數、併發數等參數通過 manifest 管理。
安裝與啓用¶
該插件需要運行在 Node.js ^22.19.0 || >=24.0.0 和 pnpm 11.19.0 環境下。
使用以下命令安裝到指定 DSH profile（例如 web）：
# 方式一：使用 Git commit SHA（推薦，確保穩定性）
dsh plugin --profile web add 'github:Morriaty-The-Murderer/dsh-plugin-abtest#<full-commit-sha>'
# 方式二：使用 npm 版本號（需確認已發佈的版本）
dsh plugin --profile web add dsh-plugin-abtest@0.1.0
安裝後需重啓對應 profile 以使配置生效。
典型用法¶
插件當前爲 MVP 版本，需從源碼運行，主要包含五個步驟：
# 1. 初始化實驗配置
node --import tsx src/cli/bin.ts init --output ./my-experiment --json
# 2. 凍結當前狀態（生成 Control 和 Candidate 的 Artifact）
node --import tsx src/cli/bin.ts freeze --manifest ./my-experiment/experiment.yml --output ./evidence --json
# 3. 運行配對實驗
node --import tsx src/cli/bin.ts run --manifest ./my-experiment/experiment.yml --output ./evidence --json
# 4. 生成決策（基於規則判斷）
node --import tsx src/cli/bin.ts decision --manifest ./my-experiment/experiment.yml --output ./evidence --json
# 5. 生成報告
node --import tsx src/cli/bin.ts report --manifest ./my-experiment/experiment.yml --output ./evidence --json
完成實驗後，在 <output>/<experiment-id>/ 目錄下會生成詳細的證據文件，其中 report.html 提供了靜態報告視圖。
結果解讀¶
實驗結束時會輸出四種確定性結果之一，具體含義如下：
| Outcome | 含義 | 後續步驟 |
|---|---|---|
PROMOTE |
證據充分，質量達標，且守門規則通過 | 進入人工發佈流程 |
REVIEW |
結果有所改善，但在成本、延遲或錯誤率上需要人工判斷 | 查看配對級證據 |
REJECT |
嚴格門禁失敗，關鍵用例迴歸，或收益過小 | 修復 Candidate 後重跑 |
INCONCLUSIVE |
有效配對過少，或環境不可比 | 補充證據而非視爲失敗 |
默認主要指標爲任務成功率，同時也支持對 Token 使用量、P95 延遲和工具錯誤率設置門禁。
適用場景與注意¶
- 適用對象：DSH 插件開發者，需要驗證變更對現有任務影響的情況。
- 運行方式：當前版本爲 MVP，需從源碼運行（需要 Node.js 和 pnpm）。
- 權限與安全：插件以當前 DSH 進程的權限運行，安裝前請檢查源碼與許可證（MIT）。
- 重要說明：該插件僅生成離線建議（如
PROMOTE），不會自動修改真實的 DSH profile 或發佈插件。它是一個本地驗證工具。
結尾¶
dsh-plugin-abtest 通過隔離環境和確定性規則，解決了 DSH 插件變更前的驗證難題，幫助團隊在不破壞現有業務的前提下進行迭代。
