DeepSeek Harness 插件:dsh-dual-model-eval

DeepSeek Harness(DSH)採用「一切皆插件」的架構,這使得擴展其功能變得非常直接。在智能體開發中,一個常見的需求是對比不同模型在同一個代碼任務上的表現,包括工具調用軌跡、代碼變更量和最終回覆質量。

dsh-dual-model-eval 插件正是爲此設計。它允許你在 DSH 的模型選擇器中開啓「Comparison test」模式,併發運行多個配置好的模型路由。每個模型都會在隔離的 Git Worktree 中獨立工作,並提供可展開的實時工具調用軌跡、行變更統計,以及將選定結果採納爲基線的功能。

核心功能

該插件主要解決多模型併發的評估與落地問題:

  • Comparison test 模式:在現有的模型選擇器中增加開關,開啓後支持併發對比。
  • 多選併發:支持同時選擇 2 到 4 個已配置的模型路由進行測試。
  • 隔離執行:從同一個共享 Git 提交點出發,爲每個模型創建獨立的 Worktree,互不干擾。
  • 實時軌跡:每個模型的工具調用軌跡獨立展開,支持流式查看。
  • 統計摘要:提供緊湊的耗時、工具調用次數統計;展開後可查看 Token、緩存、TTFT 等詳細指標。
  • 代碼對比:並在展示最終回覆的同時,顯示行變更統計(+added、-deleted、百分比)和變更文件數。
  • 文件預覽與下載:支持預覽單個修改文件或下載完整候選 Worktree。
  • 結果採納:提供「Adopt this result」動作,將選中的補丁提交到本地,並快進當前工作區,作爲下一輪的基線。

安裝與啓用

在安裝前,請確保你的 DeepSeek Harness 版本爲 0.1.0-rc.7。該插件需要安裝到內置的 web profile 中:

npx @deepseek-ai/dsh@0.1.0-rc.7 plugin --profile web add github:huangdaxianer/dsh-dual-model-eval#v0.1.1

安裝完成後,需要重啓 Web 進程才能生效:

npx @deepseek-ai/dsh@0.1.0-rc.7 web

典型用法

  1. 打開標準模型選擇菜單,開啓 Comparison test 開關。
  2. 選擇至少兩個已在 Harness 中配置好的模型路由。
  3. 提交一個編程請求。結果卡片會立即出現,並在兩個模型運行時顯示流式進度。
  4. 檢查每個回答及其可展開的工具調用軌跡。
  5. 在心儀的候選結果下選擇 Adopt this result。下一輪對比將從該提交的代碼基線開始,並繼承已接受的對話上下文。

工作區與 Git 行爲

  • 權限:插件以本地用戶權限執行,而非系統級權限。
  • Worktree 管理:每個候選模型會從同一基礎提交點創建新的 detached worktree。運行結束後,臨時 worktree 默認會被移除,私有的證據數據保留在 ~/.dsh/dual-model-eval/ 目錄下。
  • 提交與推送:插件可以創建本地工作區和提交,但不會推送到遠程倉庫,也不會修改全局 Git 身份。
  • 非 Git 工作區:如果工作區沒有初始化 Git 倉庫,插件會自動初始化,並根據 .gitignore 階段化文件。
  • 採納流程:採納操作會重構選中的完整補丁,創建一個帶命令作用域身份的本地提交,並快進源工作區。

安全與注意事項

由於插件以本地用戶權限運行,它在工作區中擁有創建 Worktree 和本地提交的能力。在安裝第三方插件前,請務必檢查源碼和許可證。

該插件適用於需要驗證不同模型在真實代碼環境中的行爲差異、或需要將最佳模型結果快速集成到項目中的場景。通過本地提交而非遠程推送,開發者可以在發佈前仔細審查生成的補丁和證據。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜