前言¶
DeepSeek Harness(DSH)採用「一切皆插件」的理念。在長期維護多個項目時,SKILL.md 的迭代容易引入迴歸或丟失原有特性。手動評估和升級成本高且風險大。DSH Evolution Lab 插件通過自動化的隔離評估流程,將重複的項目經驗轉化爲可驗證的候選技能,解決技能維護中的安全性與一致性難題。
插件定位¶
DSH Evolution Lab 是一個用於 Proof-carrying Skill 自我演進的插件。它由 JayDong9130 維護,屬於工作流類工具。核心功能是將重複的項目經驗轉化爲隔離的 SKILL.md 候選文件,在隔離的 DSH 進程中對比基線與候選,運行保留測試用例,並實現原子的技能提升或回滾,無需人工審批隊列介入。
安裝¶
該插件目前兼容 DSH 0.1.0-rc.6 和 Node.js 22/24,支持 web 和 headless 兩種配置文件。安裝時需指定版本號。
在終端中執行以下命令安裝到對應的配置文件(例如 web):
npx @deepseek-ai/dsh@0.1.0-rc.6 plugin --profile web add dsh-evolution-lab@0.3.1
安裝完成後,重啓 DSH Web 服務並刷新頁面即可生效。
核心功能¶
插件 V1 版本專注於單一 Markdown 技能的演進,具有以下特性:
- 隔離評估:在獨立的 DSH 進程中評估基線技能與候選技能,互不干擾。
- 金絲雀測試:運行保留的測試用例(held-out canaries),確保候選技能在未見數據上的表現。
- 原子化操作:技能的晉升或回滾是原子的,且沒有人工審批隊列。不合格的候選會被自動拒絕。
- 安全邊界:插件無法生成 Cordis 插件、腳本、工具、工作流、沙箱規則、審批策略或 DSH 源碼變更,僅限於 Markdown 技能。
- 隱私保護:敏感標識符使用 HMAC 簽名進行脫敏處理,數據存儲在本地
.dsh/evolution目錄,並經過二次泄漏掃描。
啓用項目¶
在已安裝插件的配置文件中,打開一個屬於 Git 項目的對話。在對話頭部會出現一個「Enable auto evolution」控制項(通過 DSH 的 additive slot 注入)。
點擊該控制項一次,插件會原子化地創建 .dsh/evolution/config.yaml 配置文件並啓用該項目。如果配置文件已存在且無效,插件將拒絕覆蓋並提示錯誤。對於 Headless 模式或需要手動審查配置的用戶,可以手動創建該文件,內容示例如下:
version: 1
enabled: true
engine:
kind: native
provider: deepseek
model: deepseek-chat
collection:
includeSubagents: false
maxTrajectoryBytes: 131072
minClusterSize: 3
minEvidenceWeight: 20
evaluation:
minTasks: 3
maxParallel: 2
timeoutMs: 600000
requiredPassRateDelta: 0.05
maxCostRatio: 1.20
maxDurationRatio: 1.50
canary:
minTasks: 2
requiredPassRateDelta: 0
promotion:
automatic: true
monitorIntervalMs: 86400000
rollbackAfterConsecutiveFailures: 2
典型用法¶
插件通過命令行指令管理技能演進流程:
/evolution status:查看配置、當前版本、隊列狀態、評估就緒情況及監控健康度。/evolution run:將一個演進週期加入隊列。此命令無法跳過證據收集或安全檢查。/evolution eval init:在.dsh/evolution/evals/下生成可運行的初始任務包及 README 說明。/evolution history [skill]:查看不可變的候選記錄、晉升和回滾記錄。/evolution rollback <skill>:將指定技能恢復到最新的已驗證的先前版本。/evolution enable//evolution disable:切換項目的本地啓用狀態。
生命週期與安全邊界¶
演進流程遵循嚴格的順序,確保每一跳都是可驗證的:
- 提交會話事件。
- 本地雙重過濾(紅帽)。
- 提取意圖原子與證據加權聚類。
- 生成隔離的技能候選。
- 不可變的安全掃描。
- 基線與候選的隔離驗證。
- 運行保留測試用例。
- 在原子激活前寫入證明。
- 定期探針監控。
- 迴歸時自動回滾。
無人工審批意味着沒有掛起的審批隊列,也不代表無限制的修改。不安全的、未充分評估的、過時的或導致隱私失敗的候選會被自動拒絕,且不存在強制覆蓋的標誌。
數據隱私¶
原始 DSH 會話日誌仍由 DSH 主程序擁有。Evolution Lab 僅在 .dsh/evolution 下存儲有界、脫敏的信封數據。敏感標識符使用 HMAC 算法生成僞名。在持久化或提交給引擎之前,會執行二次泄漏掃描。HMAC 密鑰以 0600 模式存儲在 $DSH_HOME/evolution-lab 目錄中,絕不存儲在項目代碼倉庫內。
適用場景與注意¶
- 適用場景:需要在 DSH 環境中維護大量 SKILL.md 並希望自動化質量保證的開發者。
- 注意:DSH 處於開發者預覽階段。插件目前僅演進單個 Markdown 技能(V1),不涉及 DSH 核心配置或源碼的修改。安裝前應確認源碼與許可證符合項目要求。