DeepSeek Harness(DSH)採用「一切皆插件」的架構,這使得擴展其功能變得非常直接。在智能體開發中,一個常見的需求是對比不同模型在同一個代碼任務上的表現,包括工具調用軌跡、代碼變更量和最終回覆質量。
dsh-dual-model-eval 插件正是爲此設計。它允許你在 DSH 的模型選擇器中開啓「Comparison test」模式,併發運行多個配置好的模型路由。每個模型都會在隔離的 Git Worktree 中獨立工作,並提供可展開的實時工具調用軌跡、行變更統計,以及將選定結果採納爲基線的功能。
核心功能¶
該插件主要解決多模型併發的評估與落地問題:
- Comparison test 模式:在現有的模型選擇器中增加開關,開啓後支持併發對比。
- 多選併發:支持同時選擇 2 到 4 個已配置的模型路由進行測試。
- 隔離執行:從同一個共享 Git 提交點出發,爲每個模型創建獨立的 Worktree,互不干擾。
- 實時軌跡:每個模型的工具調用軌跡獨立展開,支持流式查看。
- 統計摘要:提供緊湊的耗時、工具調用次數統計;展開後可查看 Token、緩存、TTFT 等詳細指標。
- 代碼對比:並在展示最終回覆的同時,顯示行變更統計(
+added、-deleted、百分比)和變更文件數。 - 文件預覽與下載:支持預覽單個修改文件或下載完整候選 Worktree。
- 結果採納:提供「Adopt this result」動作,將選中的補丁提交到本地,並快進當前工作區,作爲下一輪的基線。
安裝與啓用¶
在安裝前,請確保你的 DeepSeek Harness 版本爲 0.1.0-rc.7。該插件需要安裝到內置的 web profile 中:
npx @deepseek-ai/dsh@0.1.0-rc.7 plugin --profile web add github:huangdaxianer/dsh-dual-model-eval#v0.1.1
安裝完成後,需要重啓 Web 進程才能生效:
npx @deepseek-ai/dsh@0.1.0-rc.7 web
典型用法¶
- 打開標準模型選擇菜單,開啓 Comparison test 開關。
- 選擇至少兩個已在 Harness 中配置好的模型路由。
- 提交一個編程請求。結果卡片會立即出現,並在兩個模型運行時顯示流式進度。
- 檢查每個回答及其可展開的工具調用軌跡。
- 在心儀的候選結果下選擇 Adopt this result。下一輪對比將從該提交的代碼基線開始,並繼承已接受的對話上下文。
工作區與 Git 行爲¶
- 權限:插件以本地用戶權限執行,而非系統級權限。
- Worktree 管理:每個候選模型會從同一基礎提交點創建新的 detached worktree。運行結束後,臨時 worktree 默認會被移除,私有的證據數據保留在
~/.dsh/dual-model-eval/目錄下。 - 提交與推送:插件可以創建本地工作區和提交,但不會推送到遠程倉庫,也不會修改全局 Git 身份。
- 非 Git 工作區:如果工作區沒有初始化 Git 倉庫,插件會自動初始化,並根據
.gitignore階段化文件。 - 採納流程:採納操作會重構選中的完整補丁,創建一個帶命令作用域身份的本地提交,並快進源工作區。
安全與注意事項¶
由於插件以本地用戶權限運行,它在工作區中擁有創建 Worktree 和本地提交的能力。在安裝第三方插件前,請務必檢查源碼和許可證。
該插件適用於需要驗證不同模型在真實代碼環境中的行爲差異、或需要將最佳模型結果快速集成到項目中的場景。通過本地提交而非遠程推送,開發者可以在發佈前仔細審查生成的補丁和證據。