dsh-solar-bench:在固定模型與預算下對照評測 DSH 插件
dsh-solar-bench(@lisihao/dsh-solar-bench)是 lisihao 維護的 DSH 社區插件,在會話 View 的「基準測試」頁運行 GSM8K、HumanEval、MMLU-Pro 等公開基準。實驗固定模型與 driver,對比無第三方插件的 baseline 與指定插件,以美元預算上限控制花費,並將每次 run 寫入版本化 ledger。界面提供基準庫、運行記錄、對照 scoreboard 與插件加載/暴露診斷。安裝需退出桌面應用後使用 bundled CLI 的 plugin add 命令,運行依賴 DeepSeek API key 並會產生費用。適用於需要量化插件對通過率、成本與時間影響的 DSH 開發者。
閱讀全文