前言¶
DeepSeek Harness(DSH)的插件化設計讓 Agent 開發更靈活,但單個 Harness 難以在執行過程中持續自我優化。本文介紹 dsh-plugin-harness2,它爲 DSH 注入 Harness² 遞歸自化能力,在模型權重不變的前提下,通過 Base → INV/DOM 候選 → Probe → Compose 的流程比較行爲差異,將更有執行證據的經驗納入後續任務。
插件定位¶
dsh-plugin-harness2 是一個面向 DeepSeek Harness 0.2.1-alpha.4 的第三方插件,由社區開發者 WangHaiLongWang 維護。它參考 Google Research 的 Harness² 研究設計,在 DSH 基礎上增加遞歸執行框架,支持並行與順序兩種模式,內置 Web 可視化面板與自動化評估工具。
核心能力¶
- 內置 DSH Web 可視化面板,展示 Base → INV/DOM → Compose 流程與文件/行級 Harness Diff。
- Parallel 和 Sequential 兩種遞歸模式;一種模式約執行 4k 個 rollout 和 3k 個編輯/合成階段。
- INV(通用執行能力)與 DOM(領域能力)分工、匹配 Probe、選擇性 Compose、匿名最終選擇。
- C1–C7 Harness 組件:system prompt、guardrails、memory、tool guidance、subagents、skills、scripts。
- Token/顯式價格預算、超時、取消、失敗回退、運行狀態和脫敏生命週期事件。
- 按 tenant/project/domain 隔離的經驗庫,以及 Base 配對評估和 CI 發佈門檻。
- 32 項自動化測試、真實 DSH AgentLoop 集成測試和 k=1 實機冒煙。
安全默認值¶
- 普通任務不會自動觸發,只有顯式調用 harness2_run 才執行遞歸。
- Bundle 默認禁用,安裝本身不產生模型調用。
- k=1、libraryMode=off、enableScripts=false。
- C8 middleware plugin 禁止自動生成或加載。
- C7 只支持固定的 scripts/
.py 工具,且默認關閉。DSH 當前 sandbox 不承諾網絡隔離,不應把 C7 當作運行不可信 Python 的完整安全邊界。
依賴要求¶
| 依賴 | 支持範圍 |
|---|---|
| Node.js | ^22.19.0 或 >=24.0.0 |
| DeepSeek Harness | 0.2.1-alpha.4,源碼 commit 86a402200d95fecef4529d969836f1fe13c6cb0d |
| Cordis | 4.0.5-alpha.2 |
| Python | 僅開啓 C7 時需要,命令名爲 python |
DSH API 尚未穩定。其他 DSH 版本需要先更新 peer dependency、重新構建並運行原生 AgentLoop 契約測試。
安裝與啓用¶
從本地源碼安裝¶
git clone https://github.com/WangHaiLongWang/dsh-harness2.git
git clone https://github.com/deepseek-ai/deepseek-harness.git
cd dsh-harness2
npm install
npm run link:dsh -- ../deepseek-harness
npm test
cd ../deepseek-harness
pnpm dsh plugin --profile web add "link:$(cd ../dsh-harness2 && pwd)"
Windows PowerShell 可以直接傳絕對目錄:
npm run link:dsh -- C:\src\deepseek-harness
cd C:\src\deepseek-harness
pnpm dsh plugin --profile web add "link:C:\src\dsh-harness2"
安裝後在 DSH Plugins 頁面啓用 harness2,或在 profile 的 cordis.patch.yml 中添加:
- id: harness2
name: dsh-plugin-harness2
disabled: false
npm 安裝¶
本倉庫已經包含 npm 發佈元數據,但只有發佈到 registry 後下列命令纔可使用:
pnpm dsh plugin --profile web add dsh-plugin-harness2
典型用法¶
預檢預算¶
首先運行零成本預檢,查看調用拓撲和預算:
harness2_plan
mode: parallel
k: 1
執行遞歸 Harness 改進¶
確認預算後執行:
harness2_run
domain: office
mode: parallel
k: 1
task: <完整任務描述>
運維工具¶
| 工具 | 作用 | 模型調用 |
|---|---|---|
| harness2_plan | 預覽調用拓撲和預算 | 無 |
| harness2_run | 執行遞歸 Harness 改進 | 有 |
| harness2_status | 查詢活躍運行 | 無 |
| harness2_cancel | 按精確 run ID 取消 | 無 |
配置示例¶
完整字段和風險說明見配置參考。推薦起點:
- id: harness2
name: dsh-plugin-harness2
disabled: false
config:
mode: parallel
k: 1
timeoutMs: 3600000
maxParallelProposals: 2
maxParallelRollouts: 2
maxTotalTokens: 100000
libraryMode: off
enableScripts: false
tenant: default
project: default
dataDir: !!js dshHomePath('harness2')
設置貨幣預算時必須同時填寫真實 provider 費率。插件不會猜測價格:
maxCost: 1.0
pricing:
inputPerMillion: 1.0
outputPerMillion: 4.0
cacheReadPerMillion: 0.2
cacheWritePerMillion: 1.0
以上數字只是字段示例,不是任何供應商報價。
數據與審計¶
默認數據目錄位於 $DSH_HOME/harness2/:
harness2/
├── runs/<run-id>/summary.json
├── runs/<run-id>-<stage>/run.json
├── library/<tenant>/<project>/<domain>/entries.json
└── assets/ # C7 臨時目錄,正常結束後刪除
harness2/event 只廣播 run/stage 標識、狀態和 usage,不廣播任務正文、軌跡或交付物。詳細內容只寫入 Run Store;部署者應自行設置目錄權限、備份和保留週期。
評估¶
輸入 Base 和候選方法的配對 observation JSON,可生成 Win/Tie/Loss、交付率、回退率、工具錯誤率、Token/費用/時延、Gain-per-Cost、bootstrap 95% CI 和上線門檻:
npm run eval:report -- observations.json harness2-k1
門檻不通過時命令返回非零退出碼。格式示例見 examples/evaluation-observations.json,方法詳見評估指南。
開發與文檔¶
開發環境搭建:
npm install
npm run link:dsh -- ../deepseek-harness
npm run build
npm test
npm run demo
npm run check
link:dsh 只在本項目的 node_modules 中建立開發鏈接,不修改 DSH 源碼。CI 會檢出固定 DSH commit 後運行相同測試。
文檔包括:
- DSH 可視化面板與 Web Harness Diff
- 架構說明
- 配置參考
- 部署與運維
- 安全模型
- 評估指南
- 實施狀態
- 完整開發計劃
- 貢獻指南
- 變更日誌
適用場景與注意¶
dsh-plugin-harness2 適合希望在 DSH 中實現 Harness² 遞歸自化能力的開發者,尤其是需要比較 Base 與候選方法行爲差異、積累領域經驗、在 CI 中評估上線門檻的場景。
使用時請注意:
- 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。
- 依賴 DeepSeek Harness 0.2.1-alpha.4,其他版本需先更新 peer dependency、重新構建並運行原生 AgentLoop 契約測試。
- DSH API 尚未穩定,其他 DSH 版本需要先更新 peer dependency、重新構建並運行原生 AgentLoop 契約測試。
結尾¶
dsh-plugin-harness2 在不修改模型權重的前提下,爲 DeepSeek Harness 提供遞歸自化能力與可視化調整工具,適合需要持續優化 Harness 行爲、積累領域經驗的 Agent 開發場景。
目錄頁:https://www.skillhub.cn/plugins/WangHaiLongWang/dsh-harness2
GitHub:https://github.com/WangHaiLongWang/dsh-harness2