DeepSeek Harness 插件:dsh-dual-model-eval

DeepSeek Harness(DSH)采用「一切皆插件」的架构,这使得扩展其功能变得非常直接。在智能体开发中,一个常见的需求是对比不同模型在同一个代码任务上的表现,包括工具调用轨迹、代码变更量和最终回复质量。

dsh-dual-model-eval 插件正是为此设计。它允许你在 DSH 的模型选择器中开启「Comparison test」模式,并发运行多个配置好的模型路由。每个模型都会在隔离的 Git Worktree 中独立工作,并提供可展开的实时工具调用轨迹、行变更统计,以及将选定结果采纳为基线的功能。

核心功能

该插件主要解决多模型并发的评估与落地问题:

  • Comparison test 模式:在现有的模型选择器中增加开关,开启后支持并发对比。
  • 多选并发:支持同时选择 2 到 4 个已配置的模型路由进行测试。
  • 隔离执行:从同一个共享 Git 提交点出发,为每个模型创建独立的 Worktree,互不干扰。
  • 实时轨迹:每个模型的工具调用轨迹独立展开,支持流式查看。
  • 统计摘要:提供紧凑的耗时、工具调用次数统计;展开后可查看 Token、缓存、TTFT 等详细指标。
  • 代码对比:并在展示最终回复的同时,显示行变更统计(+added、-deleted、百分比)和变更文件数。
  • 文件预览与下载:支持预览单个修改文件或下载完整候选 Worktree。
  • 结果采纳:提供「Adopt this result」动作,将选中的补丁提交到本地,并快进当前工作区,作为下一轮的基线。

安装与启用

在安装前,请确保你的 DeepSeek Harness 版本为 0.1.0-rc.7。该插件需要安装到内置的 web profile 中:

npx @deepseek-ai/dsh@0.1.0-rc.7 plugin --profile web add github:huangdaxianer/dsh-dual-model-eval#v0.1.1

安装完成后,需要重启 Web 进程才能生效:

npx @deepseek-ai/dsh@0.1.0-rc.7 web

典型用法

  1. 打开标准模型选择菜单,开启 Comparison test 开关。
  2. 选择至少两个已在 Harness 中配置好的模型路由。
  3. 提交一个编程请求。结果卡片会立即出现,并在两个模型运行时显示流式进度。
  4. 检查每个回答及其可展开的工具调用轨迹。
  5. 在心仪的候选结果下选择 Adopt this result。下一轮对比将从该提交的代码基线开始,并继承已接受的对话上下文。

工作区与 Git 行为

  • 权限:插件以本地用户权限执行,而非系统级权限。
  • Worktree 管理:每个候选模型会从同一基础提交点创建新的 detached worktree。运行结束后,临时 worktree 默认会被移除,私有的证据数据保留在 ~/.dsh/dual-model-eval/ 目录下。
  • 提交与推送:插件可以创建本地工作区和提交,但不会推送到远程仓库,也不会修改全局 Git 身份。
  • 非 Git 工作区:如果工作区没有初始化 Git 仓库,插件会自动初始化,并根据 .gitignore 阶段化文件。
  • 采纳流程:采纳操作会重构选中的完整补丁,创建一个带命令作用域身份的本地提交,并快进源工作区。

安全与注意事项

由于插件以本地用户权限运行,它在工作区中拥有创建 Worktree 和本地提交的能力。在安装第三方插件前,请务必检查源码和许可证。

该插件适用于需要验证不同模型在真实代码环境中的行为差异、或需要将最佳模型结果快速集成到项目中的场景。通过本地提交而非远程推送,开发者可以在发布前仔细审查生成的补丁和证据。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜