前言¶
DeepSeek Harness（DSH）把能力拆成可安装的插件，日常开发里常见的问题是：换了一个插件或版本，任务表现、耗时和费用到底变没变，往往只能靠主观感受或零散试跑。公开基准（GSM8K、HumanEval、MMLU-Pro 等）有固定题目与评分规则，但自己搭一套「同一模型、baseline 对插件、可停预算、可复现记录」的流水线，工作量不小。
下面介绍社区插件 dsh-solar-bench（包名 @lisihao/dsh-solar-bench）：在 DSH 桌面应用里，用会话 View 中的「基准测试」页跑公开基准，对比无第三方插件的 baseline 与指定插件组合，并在花费上限内停止；每次实验写入版本化 ledger，在运行记录与对照分析里查看通过率、成本与时间。
这是什么¶
dsh-solar-bench 由维护者 lisihao 发布，在 SkillHub 插件目录 归类为模型推理。当前 package 版本为 0.1.0-dev.0，依赖 dsh 0.2.1-rc.2，许可证 MIT。
README 将其定位为：对 DSH 运行公认公开基准（按类别分组），固定模型配置，比较 baseline（不挂待测第三方插件）与各插件组合；达到花费上限（美元）即停；所有 run 记入版本化 ledger；并跨实验分析插件是否加载、是否带来可测差异、对成本与时间的影响。每次 benchmark item 对应一次独立的 dsh one-shot 子进程。设计与各基准条目来源见仓库内 docs/benchmarks-design.md。
核心功能¶
会话内的 Benchmarks View¶
在已开始的会话中，View 标签栏（与 Chat、Trajectory 并列）会出现 基准测试 / Benchmarks 标签。页面分为四个主区域（窄屏下各自可键盘切换的子标签行）：
- 基准库 / Library：按类别分子页（Agents & tool calling、Programming、General knowledge & reasoning、Mathematics & logic、Multimodal & long context、Human preference & arenas、Long-horizon tasks、Recursive self-improvement、AI for Science、Harness comparison）。每张卡片展示测什么、来源、论文与许可证、题量、协议说明及最新结果；无法在本环境运行的基准会说明原因（Docker、 gated 数据集、需图像、多轮用户模拟等）。
- 运行记录 / Run records：按时间列出实验，可按类别筛选；进行中的实验显示进度与已花费；查看分析可打开单次实验的对照、变体、时间拆分、成本与逐题矩阵。
- 对照分析 / Comparisons：以基准（行，按类别分组）× 组合（列：各 driver 下的 baseline，再各插件）展示 scoreboard，单元格为最近一次实验的通过率 ×100（MT-Bench 为均分 ×100）；同行最新实验内最优加粗；更早实验的单元格淡化并标 †；相对同实验 baseline 的显著升降标 ▲ / ▼；下方附协议说明、评测设置、配对比较区间与结论，以及成本与时间变化。
- 诊断与改进 / Diagnosis & improvement：插件是否加载成功、不可计量 run、超时、各插件版本工具错误率；插件差异随实验与版本的变化。自动多轮改进未内置，该页仅说明现状。
尚无 run 时，运行记录、对照分析与诊断页会引导从库中的 GSM8K 起步；各页会对无法读取的 ledger 计数告警。
可配置的一次实验¶
在可运行的基准卡片上可配置：抽样题数与 seed、重复次数、必填预算（美元）、driver、待对比插件（不选任何插件则只跑 baseline）、是否允许 web 工具、是否包含用户全局 skills（默认不勾选；勾选以贴近日常使用）。计划行显示 run 数；费用估计仅基于该基准、driver 与 global-skills 设置的历史均值，无历史时会说明。开始运行会调用模型并产生费用，需在 Models 设置页已保存 DeepSeek API key。
接受 run 后，页面顶部固定 运行面板：状态（采样、运行中、完成、停止、失败）、进度、相对预算的花费、当前 run、已完成 run 方格、日志与停止。同一时间只允许一个实验；状态保存在 app host。
本插件内可直接跑的基准（节选）¶
数据在实验开始时拉取（Hugging Face datasets-server 抽样行，或 pinned commit 的整文件），不随插件打包；429 / 5xx 最多重试五次并尊重 Retry-After。
| 类别 | 基准 | 评分方式 |
|---|---|---|
| Agents & tool calling | BFCL v3 simple |
末条消息 JSON 调用的 BFCL AST 规则 |
| Programming | HumanEval、HumanEval+、MBPP (sanitized) | 数据集测试对 solution.py，应用内置 Python 3.12 |
| General | MMLU-Pro、ARC-Challenge、BIG-Bench Hard | 末行 ANSWER:（字母或规范化精确匹配） |
| General | SimpleQA | judge 模型 + simple-evals grader 模板 |
| Mathematics | GSM8K、AIME 2024、AIME 2025 | 数值相等 |
| Mathematics | MATH-500 | 规范化字符串或数值相等 |
| Long context | LongBench v2 | 字母；文档写入工作区 context.txt |
| Preference | MT-Bench（首轮） | judge，MT-Bench single 模板，1–10 |
| AI for Science | LAB-Bench、ChemBench、ScienceQA（text-only）等 | 字母 |
| Harness comparison | DSH 内置仓库任务 | 命令退出码、文件内容、工具使用 |
卡片与 scoreboard 上还有编辑分级 保底 / Floor 与 封顶 / Ceiling（README 中 Floor 表示预期接近随机或极低分档，Ceiling 表示接近饱和；完整说明见仓库文档）。
插件是否「真的跑过」¶
对照分析会区分：已加载但在 run 中未留下可计数信号的插件显示 未测到 / Not tested，避免把「挂着但没生效」判成「无差异」。run 会从 session log 记录 surface（根 session 提供给模型的工具及 schema 哈希、system prompt 哈希、首条 assistant 前上下文哈希、若干事件计数等）。诊断表按插件统计有 trace 的 run 数与信号类型。已知限制：若插件仅在首答之后生效且未记录上述事件，可能仍显示为未测到。
安装与启用¶
先退出 DeepSeek Harness 桌面应用，再用应用自带的 CLI 安装到 desktop profile（应用可能在 /Applications 或 ~/Applications）：
"/Applications/DeepSeek Harness.app/Contents/Resources/runtime/cli/bin/dsh" plugin --profile desktop add github:lisihao/dsh-solar-bench
若应用不在默认路径，将命令中的 dsh 路径改为你本机 .app 内 Contents/Resources/runtime/cli/bin/dsh 的实际位置。安装完成后重新打开应用。README 注明：跑实验会调用所选模型提供商并可能收费，表单在开始前列出花费上限。
典型用法¶
- 在 Models 设置中配置并保存 DeepSeek API key。
- 打开任意已开始的会话，切换到 View 栏的 基准测试 / Benchmarks。
- 在 基准库 选一个可运行基准（例如 GSM8K），设置抽样数、seed、重复次数、预算（美元）、driver 与要对比的插件；按需勾选 web 工具与全局 skills。
- 确认计划行与费用估计后，点击 开始运行（会调用模型并产生费用）；在顶部运行面板查看进度与花费，必要时 停止。
- 实验结束后在 运行记录 打开 查看分析，或在 对照分析、诊断与改进 查看跨实验 scoreboard 与插件加载/暴露情况。
适用场景与注意¶
适合：需要在同一模型与 driver 下，用公开基准量化对比 DSH 插件（或版本）对通过率、成本、耗时的影响，并保留可回溯 ledger 的开发者或插件作者。
注意：
- 插件在当前 dsh 进程权限下运行；安装前请自行审阅 GitHub 源码 与 MIT 许可证。
- 实验会产生真实 API 费用；务必在表单中设置预算上限。
- 引擎要求 Node
^22.19 || >=24与 dsh0.2.1-rc.2，需与桌面应用/runtime 版本匹配。 - SkillHub 为社区插件目录，与 DeepSeek / 幻方无官方从属关系；星标与目录信息以站点与仓库为准。
结尾¶
dsh-solar-bench 把「固定模型 + baseline 对插件 + 美元预算 + 版本化记录 + 会话内分析」收进 DSH 的一个 View，减少自建 benchmark 管线的成本。进一步了解可访问 SkillHub 目录页 与 GitHub 仓库。
