前言¶

做 DSH profile 或 patch 調整時，常見的問題不是“能不能跑一次”，而是能不能重複比較多個組合，並把質量、Token、費用、時延和穩定性放進同一份可審計結果裏。young-tim/dsh-profile-lab 是 DeepSeek Harness 的本地實驗與發佈門禁工具，許可證爲 MIT。下面介紹它的核心能力、安裝命令、典型用法和需要注意的邊界。

這是什麼¶

DSH Profile Lab 是 young-tim 維護的 DSH 插件。它在隔離 workspace 中重複運行多個 DSH profile/patch 組合，基於官方持久化 session 事件計算質量、Token、費用、時延和穩定性，並輸出可審計報告。

核心功能¶

它的能力包括：

• 在隔離 workspace 中重複運行多個 DSH profile/patch 組合。
• 基於官方持久化 session 事件計算質量、Token、費用、時延和穩定性。
• 輸出 report.json、report.md、report.html 可審計報告。
• 提供 profile_lab_run、profile_lab_compare、profile_lab_gate 三個 DSH 工具。
• 在 Web profile 會話中提供“Profile 組合對比”頁籤。
• 提供 profile-lab-author-cases Skill，協助規劃評測用例。
• 支持 schema --check、run、compare、gate CLI 命令。
• 支持發佈門禁策略 min_candidate_pass_rate、max_pass_rate_drop_pp、max_median_token_increase_pct、max_error_rate。
• 結果目錄包含 manifest.json、journal.json、run-state.json，並支持可恢復執行。

運行環境¶

已覈實資料給出的依賴要求如下：

• Node.js：^22.19.0 || >=24.0.0
• pnpm：11
• @deepseek-ai/dsh：0.1.0-rc.7

安裝與啓用¶

已覈實資料給出的安裝命令如下：

dsh plugin --profile headless add github:young-tim/dsh-profile-lab

安裝後，DSH 中可使用 profile_lab_run、profile_lab_compare、profile_lab_gate 三個 DSH 工具。Web profile 會話中還會提供“Profile 組合對比”頁籤。

典型用法¶

先校驗，再運行，再對比和門禁¶

真實運行可能調用模型併產生費用。建議先做 schema --check 校驗配置，再做 run 生成結果，然後用 compare 查看差異，最後用 gate 判斷是否滿足發佈門禁。

node dist/cli.js schema --check examples/experiment.yml
node dist/cli.js run examples/experiment.yml --output .profile-lab/real-run
node dist/cli.js compare .profile-lab/real-run
node dist/cli.js gate .profile-lab/real-run --policy examples/policy-pass.yml

經過上面的步驟，會得到對比結果，並基於策略文件執行發佈門禁判斷。

讓 AI 協助設計用例¶

已覈實資料中的示例指令如下：

幫我爲支付重試功能設計一套 Profile Lab 用例。先檢查現有 experiment 和 cases，和我確認測試範圍、關鍵風險、斷言和預算，然後給出用例矩陣建議；暫時不要創建或運行。

這個示例的重點是先確認範圍、斷言和預算，不立即創建或運行文件。

運行全部用例或 smoke 用例¶

運行完整實驗的示例如下：

運行 experiments/payment/experiment.yml 中的全部用例，結果保存到新的 .profile-lab/payment-2026-08-20。運行前先告訴我方案數、用例數、重複次數和預計模型調用總數，得到我確認後再開始。

只運行 smoke 標籤用例的示例如下：

使用 experiments/payment/experiment.yml 只運行帶 smoke 標籤的用例，輸出到新的 .profile-lab/payment-smoke-001。不要複用舊結果目錄。

執行發佈門禁¶

已覈實資料中的門禁示例如下：

對 .profile-lab/payment-2026-08-20 執行發佈門禁：候選通過率至少 95%，相對基線下降不超過 2 個百分點，錯誤率不超過 1%，中位 Token 增長不超過 15%。解釋每個未通過原因。

這個示例覆蓋的門禁策略項包括候選通過率、相對基線的通過率下降、錯誤率和中位 Token 增長。

結果與安全邊界¶

結果目錄會包含以下文件：

• manifest.json
• journal.json
• run-state.json
• report.json
• report.md
• report.html

資料說明，默認會臨時複用當前 DSH 登錄憑證，子進程結束後立即清理；憑證不會進入 manifest.json、journal.json 或報告。

環境變量默認不繼承，僅保留 PATH、HOME、隔離 DSH_HOME 和顯式 allowlist 名稱。運行環境會拒絕 workspace 中的 symlink、socket、device、FIFO 等特殊文件。

適用場景與注意¶

DSH Profile Lab 適合需要比較 DSH profile/patch 組合、需要審計 Token、費用、時延和穩定性，以及需要基於策略判斷髮布門禁的 DSH 開發者。

需要注意：

1. 真實運行可能調用模型併產生費用。
2. 第三方 DSH 插件以當前用戶權限運行；安裝前應檢查源碼。
3. 許可證爲 MIT。
4. 雲託管、賬號系統和自動安裝插件不屬於本產品邊界。

鏈接¶

• GitHub：https://github.com/young-tim/dsh-profile-lab
• 目錄頁：當前已覈實資料未給出目錄頁 URL。