前言¶

在 DeepSeek Harness（DSH）里接入多个模型后，常见做法是逐个切换模型、重复粘贴同一段提示词，再凭印象判断谁更合适。这种方式难以保证参数一致，也不方便留存每次输出。若你希望在同一套提示与参数下批量跑模型、做行级 diff、打分并汇总排行榜，下面介绍社区插件 dsh-model-arena 的定位与用法。

这是什么¶

dsh-model-arena 由维护者 hj01857655 发布，npm 包描述为：对当前可用的每个模型跑同一条 prompt，并排查看差异（Run the same prompt through every model you have, and see the difference without squinting）。

插件面向 DSH web profile：安装命令带 --profile web，并在 Settings 中提供 Model arena 面板（依赖宿主注册 GET /api/model-arena.panel；无 Web 界面的 headless 宿主可跳过该路由）。

来源与归档说明（SkillHub 目录页）： 独立仓库 hj01857655/dsh-model-arena 在目录中标注为「已归档」，并说明已合并进 monorepo https://github.com/hj01857655/dsh-plugins。截至核对时，原 GitHub 仓库地址返回 404；monorepo 的 README 亦写明 dsh-model-arena 等 7 个包已从工作区移除，仍通过 npm 发布，安装方式不变。目录页显示可安装版本 v0.5.1（约 5 天前更新）；npm 上最新为 0.6.1（MIT，Node >=20）。

DSH 生态强调「一切皆插件」；SkillHub（skillhub.cn）是社区目录站点，与 DeepSeek / 幻方无官方从属关系，下文不将其表述为官方应用商店。

核心功能¶

以下能力来自 npm 发布包内 README（与 unpkg 上 dsh-model-arena@0.6.1 文档一致）：

1. 多模型同 prompt 运行：相同 prompt、相同参数，收集各模型输出并并排展示。
2. Compare：任意两次运行结果之间做行级 diff（增删行与未改行），并汇总变更行数。
3. Score：自动评分（长度、延迟、reference match）与人工评分（1–5）；分数按 run 持久化，后续补评会更新排行榜。
4. Leaderboard：跨 run 聚合，按胜率、平均分、总 run 数等排序。
5. Benchmark suites：保存命名的一组 prompt + 模型；变更后重跑，得到回归报告（哪些模型变好/变差）。
6. Panel：Settings 中的 Model arena 页，可查看近期 run、对比视图、自动分与用户评分、排行榜与回归报告。
7. CLI：提供 dsh-model-arena 命令，README 写明可在不启动完整 dsh 交互的情况下使用部分能力。

持久化数据目录为 .arena/（README 布局表中的 src/store.ts 说明）。

安装与启用¶

安装前请先阅读 npm 包源码与 MIT 许可证；插件在当前 dsh 进程权限下运行，会读写本地 .arena/ 等路径，并可能通过宿主 Web 连接暴露面板 API。

官方 README 给出的安装方式为从 npm 安装（web profile）：

dsh plugin --profile web add dsh-model-arena

执行后按 DSH 惯例重启或 reload 插件，使 web 客户端注入与 Settings 页生效。

典型用法¶

CLI¶

README 示例：

dsh-model-arena list                              # list recent runs
dsh-model-arena compare <run> <modelA> <modelB>   # diff two models in a run
dsh-model-arena rate <run> --model M --rating 4   # rate a model output

list 用于查看近期 run 标识；compare 对同一 run 内两个模型输出做 diff；rate 为指定模型输出打 1–5 分。

Settings 面板¶

在 DSH Settings 打开 Model arena 页（界面文案支持 zh / en 字典）。面板从 GET /api/model-arena.panel 拉取数据，展示近期 run、并排输出、diff 查看器、分数与排行榜、benchmark 回归报告等。

本地开发（维护者）¶

若需改插件本身，README 建议：

npm ci
npm run typecheck
npm run build
npm test

适用场景与注意¶

适合谁： 已在 DSH web 环境配置多个模型、需要可重复的多模型对比、人工或半自动打分、以及 prompt/模型变更后的回归对比的开发者。

注意：

• 必须使用 --profile web 安装路径；与纯 CLI/headless 场景的契合度取决于宿主是否提供 Web 与面板路由。
• 独立 GitHub 仓库已不可用；后续 issue 指向 monorepo：https://github.com/hj01857655/dsh-plugins/issues（npm bugs.url）。
• 目录页版本（v0.5.1）与 npm latest（0.6.1）可能不一致；需要新功能（如更完整的 Leaderboard / Panel 说明）时可对照 npm 版本 changelog 或包内 README。
• 安装前自行审计插件代码与权限边界，勿在未信任的环境启用。

结尾¶

dsh-model-arena 把「同 prompt、多模型、可对比、可打分、可回归」收拢进 DSH 插件与 Settings 面板，减少手工切换模型带来的不一致。查阅与安装可参考：

• SkillHub 目录页：https://www.skillhub.cn/plugins/hj01857655/dsh-model-arena
• npm：https://www.npmjs.com/package/dsh-model-arena
• 历史 GitHub 标识（目录仍指向，仓库当前 404）：https://github.com/hj01857655/dsh-model-arena
• 归档说明中的 monorepo：https://github.com/hj01857655/dsh-plugins