dsh-evolution-lab:DeepSeek Harness 的 Proof-carrying Skill 自我演進

前言

DeepSeek Harness(DSH)採用「一切皆插件」的理念。在長期維護多個項目時,SKILL.md 的迭代容易引入迴歸或丟失原有特性。手動評估和升級成本高且風險大。DSH Evolution Lab 插件通過自動化的隔離評估流程,將重複的項目經驗轉化爲可驗證的候選技能,解決技能維護中的安全性與一致性難題。

插件定位

DSH Evolution Lab 是一個用於 Proof-carrying Skill 自我演進的插件。它由 JayDong9130 維護,屬於工作流類工具。核心功能是將重複的項目經驗轉化爲隔離的 SKILL.md 候選文件,在隔離的 DSH 進程中對比基線與候選,運行保留測試用例,並實現原子的技能提升或回滾,無需人工審批隊列介入。

安裝

該插件目前兼容 DSH 0.1.0-rc.6 和 Node.js 22/24,支持 web 和 headless 兩種配置文件。安裝時需指定版本號。

在終端中執行以下命令安裝到對應的配置文件(例如 web):

npx @deepseek-ai/dsh@0.1.0-rc.6 plugin --profile web add dsh-evolution-lab@0.3.1

安裝完成後,重啓 DSH Web 服務並刷新頁面即可生效。

核心功能

插件 V1 版本專注於單一 Markdown 技能的演進,具有以下特性:

  1. 隔離評估:在獨立的 DSH 進程中評估基線技能與候選技能,互不干擾。
  2. 金絲雀測試:運行保留的測試用例(held-out canaries),確保候選技能在未見數據上的表現。
  3. 原子化操作:技能的晉升或回滾是原子的,且沒有人工審批隊列。不合格的候選會被自動拒絕。
  4. 安全邊界:插件無法生成 Cordis 插件、腳本、工具、工作流、沙箱規則、審批策略或 DSH 源碼變更,僅限於 Markdown 技能。
  5. 隱私保護:敏感標識符使用 HMAC 簽名進行脫敏處理,數據存儲在本地 .dsh/evolution 目錄,並經過二次泄漏掃描。

啓用項目

在已安裝插件的配置文件中,打開一個屬於 Git 項目的對話。在對話頭部會出現一個「Enable auto evolution」控制項(通過 DSH 的 additive slot 注入)。

點擊該控制項一次,插件會原子化地創建 .dsh/evolution/config.yaml 配置文件並啓用該項目。如果配置文件已存在且無效,插件將拒絕覆蓋並提示錯誤。對於 Headless 模式或需要手動審查配置的用戶,可以手動創建該文件,內容示例如下:

version: 1
enabled: true
engine:
  kind: native
  provider: deepseek
  model: deepseek-chat
collection:
  includeSubagents: false
  maxTrajectoryBytes: 131072
  minClusterSize: 3
  minEvidenceWeight: 20
evaluation:
  minTasks: 3
  maxParallel: 2
  timeoutMs: 600000
  requiredPassRateDelta: 0.05
  maxCostRatio: 1.20
  maxDurationRatio: 1.50
canary:
  minTasks: 2
  requiredPassRateDelta: 0
promotion:
  automatic: true
  monitorIntervalMs: 86400000
  rollbackAfterConsecutiveFailures: 2

典型用法

插件通過命令行指令管理技能演進流程:

  • /evolution status:查看配置、當前版本、隊列狀態、評估就緒情況及監控健康度。
  • /evolution run:將一個演進週期加入隊列。此命令無法跳過證據收集或安全檢查。
  • /evolution eval init:在 .dsh/evolution/evals/ 下生成可運行的初始任務包及 README 說明。
  • /evolution history [skill]:查看不可變的候選記錄、晉升和回滾記錄。
  • /evolution rollback <skill>:將指定技能恢復到最新的已驗證的先前版本。
  • /evolution enable / /evolution disable:切換項目的本地啓用狀態。

生命週期與安全邊界

演進流程遵循嚴格的順序,確保每一跳都是可驗證的:

  1. 提交會話事件。
  2. 本地雙重過濾(紅帽)。
  3. 提取意圖原子與證據加權聚類。
  4. 生成隔離的技能候選。
  5. 不可變的安全掃描。
  6. 基線與候選的隔離驗證。
  7. 運行保留測試用例。
  8. 在原子激活前寫入證明。
  9. 定期探針監控。
  10. 迴歸時自動回滾。

無人工審批意味着沒有掛起的審批隊列,也不代表無限制的修改。不安全的、未充分評估的、過時的或導致隱私失敗的候選會被自動拒絕,且不存在強制覆蓋的標誌。

數據隱私

原始 DSH 會話日誌仍由 DSH 主程序擁有。Evolution Lab 僅在 .dsh/evolution 下存儲有界、脫敏的信封數據。敏感標識符使用 HMAC 算法生成僞名。在持久化或提交給引擎之前,會執行二次泄漏掃描。HMAC 密鑰以 0600 模式存儲在 $DSH_HOME/evolution-lab 目錄中,絕不存儲在項目代碼倉庫內。

適用場景與注意

  • 適用場景:需要在 DSH 環境中維護大量 SKILL.md 並希望自動化質量保證的開發者。
  • 注意:DSH 處於開發者預覽階段。插件目前僅演進單個 Markdown 技能(V1),不涉及 DSH 核心配置或源碼的修改。安裝前應確認源碼與許可證符合項目要求。

更多細節可參考 SkillHub 或 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜