DeepSeek Harness(DSH)采用「一切皆插件」的架构,这使得扩展其功能变得非常直接。在智能体开发中,一个常见的需求是对比不同模型在同一个代码任务上的表现,包括工具调用轨迹、代码变更量和最终回复质量。
dsh-dual-model-eval 插件正是为此设计。它允许你在 DSH 的模型选择器中开启「Comparison test」模式,并发运行多个配置好的模型路由。每个模型都会在隔离的 Git Worktree 中独立工作,并提供可展开的实时工具调用轨迹、行变更统计,以及将选定结果采纳为基线的功能。
核心功能¶
该插件主要解决多模型并发的评估与落地问题:
- Comparison test 模式:在现有的模型选择器中增加开关,开启后支持并发对比。
- 多选并发:支持同时选择 2 到 4 个已配置的模型路由进行测试。
- 隔离执行:从同一个共享 Git 提交点出发,为每个模型创建独立的 Worktree,互不干扰。
- 实时轨迹:每个模型的工具调用轨迹独立展开,支持流式查看。
- 统计摘要:提供紧凑的耗时、工具调用次数统计;展开后可查看 Token、缓存、TTFT 等详细指标。
- 代码对比:并在展示最终回复的同时,显示行变更统计(
+added、-deleted、百分比)和变更文件数。 - 文件预览与下载:支持预览单个修改文件或下载完整候选 Worktree。
- 结果采纳:提供「Adopt this result」动作,将选中的补丁提交到本地,并快进当前工作区,作为下一轮的基线。
安装与启用¶
在安装前,请确保你的 DeepSeek Harness 版本为 0.1.0-rc.7。该插件需要安装到内置的 web profile 中:
npx @deepseek-ai/dsh@0.1.0-rc.7 plugin --profile web add github:huangdaxianer/dsh-dual-model-eval#v0.1.1
安装完成后,需要重启 Web 进程才能生效:
npx @deepseek-ai/dsh@0.1.0-rc.7 web
典型用法¶
- 打开标准模型选择菜单,开启 Comparison test 开关。
- 选择至少两个已在 Harness 中配置好的模型路由。
- 提交一个编程请求。结果卡片会立即出现,并在两个模型运行时显示流式进度。
- 检查每个回答及其可展开的工具调用轨迹。
- 在心仪的候选结果下选择 Adopt this result。下一轮对比将从该提交的代码基线开始,并继承已接受的对话上下文。
工作区与 Git 行为¶
- 权限:插件以本地用户权限执行,而非系统级权限。
- Worktree 管理:每个候选模型会从同一基础提交点创建新的 detached worktree。运行结束后,临时 worktree 默认会被移除,私有的证据数据保留在
~/.dsh/dual-model-eval/目录下。 - 提交与推送:插件可以创建本地工作区和提交,但不会推送到远程仓库,也不会修改全局 Git 身份。
- 非 Git 工作区:如果工作区没有初始化 Git 仓库,插件会自动初始化,并根据
.gitignore阶段化文件。 - 采纳流程:采纳操作会重构选中的完整补丁,创建一个带命令作用域身份的本地提交,并快进源工作区。
安全与注意事项¶
由于插件以本地用户权限运行,它在工作区中拥有创建 Worktree 和本地提交的能力。在安装第三方插件前,请务必检查源码和许可证。
该插件适用于需要验证不同模型在真实代码环境中的行为差异、或需要将最佳模型结果快速集成到项目中的场景。通过本地提交而非远程推送,开发者可以在发布前仔细审查生成的补丁和证据。