前言¶
DeepSeek Harness（DSH）把能力拆成可安裝的插件，日常開發裏常見的問題是：換了一個插件或版本，任務表現、耗時和費用到底變沒變，往往只能靠主觀感受或零散試跑。公開基準（GSM8K、HumanEval、MMLU-Pro 等）有固定題目與評分規則，但自己搭一套「同一模型、baseline 對插件、可停預算、可復現記錄」的流水線，工作量不小。
下面介紹社區插件 dsh-solar-bench（包名 @lisihao/dsh-solar-bench）：在 DSH 桌面應用裏，用會話 View 中的「基準測試」頁跑公開基準，對比無第三方插件的 baseline 與指定插件組合，並在花費上限內停止；每次實驗寫入版本化 ledger，在運行記錄與對照分析裏查看通過率、成本與時間。
這是什麼¶
dsh-solar-bench 由維護者 lisihao 發佈，在 SkillHub 插件目錄 歸類爲模型推理。當前 package 版本爲 0.1.0-dev.0，依賴 dsh 0.2.1-rc.2，許可證 MIT。
README 將其定位爲：對 DSH 運行公認公開基準（按類別分組），固定模型配置，比較 baseline（不掛待測第三方插件）與各插件組合；達到花費上限（美元）即停；所有 run 記入版本化 ledger；並跨實驗分析插件是否加載、是否帶來可測差異、對成本與時間的影響。每次 benchmark item 對應一次獨立的 dsh one-shot 子進程。設計與各基準條目來源見倉庫內 docs/benchmarks-design.md。
核心功能¶
會話內的 Benchmarks View¶
在已開始的會話中，View 標籤欄（與 Chat、Trajectory 並列）會出現 基準測試 / Benchmarks 標籤。頁面分爲四個主區域（窄屏下各自可鍵盤切換的子標籤行）：
- 基準庫 / Library：按類別分子頁（Agents & tool calling、Programming、General knowledge & reasoning、Mathematics & logic、Multimodal & long context、Human preference & arenas、Long-horizon tasks、Recursive self-improvement、AI for Science、Harness comparison）。每張卡片展示測什麼、來源、論文與許可證、題量、協議說明及最新結果；無法在本環境運行的基準會說明原因（Docker、 gated 數據集、需圖像、多輪用戶模擬等）。
- 運行記錄 / Run records：按時間列出實驗，可按類別篩選；進行中的實驗顯示進度與已花費；查看分析可打開單次實驗的對照、變體、時間拆分、成本與逐題矩陣。
- 對照分析 / Comparisons：以基準（行，按類別分組）× 組合（列：各 driver 下的 baseline，再各插件）展示 scoreboard，單元格爲最近一次實驗的通過率 ×100（MT-Bench 爲均分 ×100）；同行最新實驗內最優加粗；更早實驗的單元格淡化並標 †；相對同實驗 baseline 的顯著升降標 ▲ / ▼；下方附協議說明、評測設置、配對比較區間與結論，以及成本與時間變化。
- 診斷與改進 / Diagnosis & improvement：插件是否加載成功、不可計量 run、超時、各插件版本工具錯誤率；插件差異隨實驗與版本的變化。自動多輪改進未內置，該頁僅說明現狀。
尚無 run 時，運行記錄、對照分析與診斷頁會引導從庫中的 GSM8K 起步；各頁會對無法讀取的 ledger 計數告警。
可配置的一次實驗¶
在可運行的基準卡片上可配置：抽樣題數與 seed、重複次數、必填預算（美元）、driver、待對比插件（不選任何插件則只跑 baseline）、是否允許 web 工具、是否包含用戶全局 skills（默認不勾選；勾選以貼近日常使用）。計劃行顯示 run 數；費用估計僅基於該基準、driver 與 global-skills 設置的歷史均值，無歷史時會說明。開始運行會調用模型併產生費用，需在 Models 設置頁已保存 DeepSeek API key。
接受 run 後，頁面頂部固定 運行面板：狀態（採樣、運行中、完成、停止、失敗）、進度、相對預算的花費、當前 run、已完成 run 方格、日誌與停止。同一時間只允許一個實驗；狀態保存在 app host。
本插件內可直接跑的基準（節選）¶
數據在實驗開始時拉取（Hugging Face datasets-server 抽樣行，或 pinned commit 的整文件），不隨插件打包；429 / 5xx 最多重試五次並尊重 Retry-After。
| 類別 | 基準 | 評分方式 |
|---|---|---|
| Agents & tool calling | BFCL v3 simple |
末條消息 JSON 調用的 BFCL AST 規則 |
| Programming | HumanEval、HumanEval+、MBPP (sanitized) | 數據集測試對 solution.py，應用內置 Python 3.12 |
| General | MMLU-Pro、ARC-Challenge、BIG-Bench Hard | 末行 ANSWER:（字母或規範化精確匹配） |
| General | SimpleQA | judge 模型 + simple-evals grader 模板 |
| Mathematics | GSM8K、AIME 2024、AIME 2025 | 數值相等 |
| Mathematics | MATH-500 | 規範化字符串或數值相等 |
| Long context | LongBench v2 | 字母；文檔寫入工作區 context.txt |
| Preference | MT-Bench（首輪） | judge，MT-Bench single 模板，1–10 |
| AI for Science | LAB-Bench、ChemBench、ScienceQA（text-only）等 | 字母 |
| Harness comparison | DSH 內置倉庫任務 | 命令退出碼、文件內容、工具使用 |
卡片與 scoreboard 上還有編輯分級 保底 / Floor 與 封頂 / Ceiling（README 中 Floor 表示預期接近隨機或極低分檔，Ceiling 表示接近飽和；完整說明見倉庫文檔）。
插件是否「真的跑過」¶
對照分析會區分：已加載但在 run 中未留下可計數信號的插件顯示 未測到 / Not tested，避免把「掛着但沒生效」判成「無差異」。run 會從 session log 記錄 surface（根 session 提供給模型的工具及 schema 哈希、system prompt 哈希、首條 assistant 前上下文哈希、若干事件計數等）。診斷表按插件統計有 trace 的 run 數與信號類型。已知限制：若插件僅在首答之後生效且未記錄上述事件，可能仍顯示爲未測到。
安裝與啓用¶
先退出 DeepSeek Harness 桌面應用，再用應用自帶的 CLI 安裝到 desktop profile（應用可能在 /Applications 或 ~/Applications）：
"/Applications/DeepSeek Harness.app/Contents/Resources/runtime/cli/bin/dsh" plugin --profile desktop add github:lisihao/dsh-solar-bench
若應用不在默認路徑，將命令中的 dsh 路徑改爲你本機 .app 內 Contents/Resources/runtime/cli/bin/dsh 的實際位置。安裝完成後重新打開應用。README 註明：跑實驗會調用所選模型提供商並可能收費，表單在開始前列出花費上限。
典型用法¶
- 在 Models 設置中配置並保存 DeepSeek API key。
- 打開任意已開始的會話，切換到 View 欄的 基準測試 / Benchmarks。
- 在 基準庫 選一個可運行基準（例如 GSM8K），設置抽樣數、seed、重複次數、預算（美元）、driver 與要對比的插件；按需勾選 web 工具與全局 skills。
- 確認計劃行與費用估計後，點擊 開始運行（會調用模型併產生費用）；在頂部運行面板查看進度與花費，必要時 停止。
- 實驗結束後在 運行記錄 打開 查看分析，或在 對照分析、診斷與改進 查看跨實驗 scoreboard 與插件加載/暴露情況。
適用場景與注意¶
適合：需要在同一模型與 driver 下，用公開基準量化對比 DSH 插件（或版本）對通過率、成本、耗時的影響，並保留可回溯 ledger 的開發者或插件作者。
注意：
- 插件在當前 dsh 進程權限下運行；安裝前請自行審閱 GitHub 源碼 與 MIT 許可證。
- 實驗會產生真實 API 費用；務必在表單中設置預算上限。
- 引擎要求 Node
^22.19 || >=24與 dsh0.2.1-rc.2，需與桌面應用/runtime 版本匹配。 - SkillHub 爲社區插件目錄，與 DeepSeek / 幻方無官方從屬關係；星標與目錄信息以站點與倉庫爲準。
結尾¶
dsh-solar-bench 把「固定模型 + baseline 對插件 + 美元預算 + 版本化記錄 + 會話內分析」收進 DSH 的一個 View，減少自建 benchmark 管線的成本。進一步瞭解可訪問 SkillHub 目錄頁 與 GitHub 倉庫。
