前言¶
在 DeepSeek Harness (DSH) 的插件化架構下，針對智能體推理運行時 的對比實驗和消融研究，通常面臨運行時切換困難、實驗配置難以固定復現等問題。harzva/dsh-research-lab 是一個獨立的 DSH 插件包，旨在在 DSH Web 界面內提供多推理 Runtime 的管理、Baseline 協議固定以及實驗 Manifest 的凍結與復現。
插件定位¶
- 維護者: Harzva
- 類型: 工作流插件
- 核心價值: 提供一個 Manifest-first 的控制面，用於管理和固定實驗參數，生成消融矩陣，並確保實驗結果的可復現性。
核心功能¶
該插件提供以下能力：
-
Runtime 管理
在 DSH Web 內管理多推理 Runtime，支持以下類型：- 已實現: ReAct Default、Plan Guided、Code Orchestration
- 設計態: Plan-and-Execute、Tree of Thoughts (ToT)、Reflexion
-
Baseline 協議
通過固定一系列參數來確保實驗的可復現性：- DSH 版本
- Profile、Preset
- 模型、數據、預算
- 指標與種子
-
消融矩陣
生成 Runtime × repetitions 的組合矩陣，最多支持 64 個計劃的運行。 -
確定性 Manifest
輸出標準化的 JSON 格式 Manifest，並計算 SHA-256 校驗和，結合 DSH Home 的私有存儲，確保實驗記錄的原子性和冪等性。
安裝與啓用¶
在安裝前，請確保已安裝 Node.js 22+、pnpm 11，以及當前已驗證的 DSH 版本 0.1.0-rc.6。
- 構建插件包（如已有
.tgz文件可跳過此步）：
pnpm pack:plugin
- 將生成的
.tgz文件安裝到 DSH Web Profile：
dsh plugin --profile web add .\artifacts\harness-flow-dsh-research-lab-0.1.0-m0.tgz --save-exact --ignore-scripts
- 安裝完成後，通過 DSH Web 界面啓用插件：
路徑：Settings→Plugins→Research Lab
典型用法¶
啓用插件後，可以在 DSH Web 界面中完成以下操作：
- 創建 Baseline: 在控制面配置固定的參數組合。
- 生成矩陣: 基於固定的 Baseline，指定不同的 Runtime 和重複次數，生成消融矩陣。
- 凍結 Manifest: 將實驗配置導出爲 JSON 並生成 SHA-256 校驗，鎖定實驗過程。
注意事項與邊界¶
- M0 邊界: 當前版本爲 Manifest-first 控制面。它不會直接調用模型，不會產生 API 費用，也不宣稱 Plan-and-Execute、ToT 或 Reflexion 已經具備完全的運行能力。
- 權限: 插件以當前 DSH 進程的權限運行，安裝前建議檢查源碼與許可證。
- 社區項目: 本項目爲社區項目，不代表 DeepSeek 官方背書。
總結¶
harzva/dsh-research-lab 爲 DSH 用戶提供了一個在 Web 端管理複雜推理實驗的基礎設施。通過固定 Baseline 和生成確定性 Manifest，它解決了實驗配置難以復現的痛點，適合需要嚴謹對比不同推理策略的開發者和研究人員。
- 項目主頁: https://github.com/Harzva/dsh-research-lab
- 插件目錄: https://www.skillhub.cn/plugins/Harzva/dsh-research-lab
