前言¶
智能體開發者經常需要參考外部基準測試來評估模型性能。手動訪問 livebench.ai 查看榜單和導出數據較爲繁瑣。本插件將 LiveBench 的官方榜單數據接入 DeepSeek Harness,提供篩選、對比和導出功能,方便在本地工作流中直接查看模型能力排名。
這是什麼¶
addie-ace 維護的聯網工具類插件。它從 livebench.ai 拉取最新的榜單版本、CSV 和分類 JSON 數據,在 DSH 界面中展示模型評分,支持機構、權重、推理模型等維度的篩選與排序。
核心功能¶
- 自動獲取最新榜單:識別前端發佈的最新榜單版本,讀取官方 CSV 和分類 JSON。
- 定時與手動刷新:默認每 60 秒檢查一次,支持手動刷新;網絡失敗時保留緩存,不會僞造或填充評分。
- 多維度篩選與對比:支持機構、開放權重、推理模型篩選,模型搜索、分項排序、全部變體、微調模型。
- 對比與導出:默認每個模型家族保留綜合得分最高的變體,最多對比 4 個模型;可查看任務級評分並導出 CSV。
安裝與啓用¶
- 環境要求:Node.js >= 20.18.1;Windows 使用系統 curl.exe 訪問 HTTPS 並校驗證書。
- 安裝步驟:在源碼工作區運行安裝腳本。
powershell -ExecutionPolicy Bypass -File .\scripts\install.ps1 -HarnessHome 'G:\deepseek harness'
- 安裝細節:腳本只向
plugins/dsh-livebench-rankings新增文件,註冊前會備份 profile 的 package.json、鎖文件和補丁文件。已有同名安裝會中止,不覆蓋。 - 啓用方式:安裝後刷新 Harness 頁面;如果客戶端入口尚未加載,正常退出並重新打開 Harness。
典型用法¶
- 打開界面:通過 Harness 輸入框左下角的「AI 排行」入口打開。
- 配置刷新間隔:通過 Harness 插件配置編輯器設置
refreshSeconds(範圍 30–3600,默認 60)。 - 訪問預覽:本地預覽地址爲
http://127.0.0.1:4317/dsh-livebench-rankings/。
適用場景與注意¶
- 適用場景:適合需要頻繁查閱外部基準測試數據、進行模型對比和導出 CSV 的開發者。
- 安全與隔離:
- 唯一包名、Cordis 行 ID、客戶端模塊和插槽 ID:
dsh-livebench-rankings。 - 唯一路由前綴:
/dsh-livebench-rankings。 - 不修改全局 fetch、TLS、代理、路由或 localStorage;不讀憑據、賬號數據和聊天記錄。
- 只從 livebench.ai 下載頁面和數據,不執行遠程 JavaScript;使用 Acorn 讀取靜態字面量,Papa Parse 解析 CSV。
- 緩存僅位於插件自身的
.cache/rankings.json;同一實例併發合併,手動刷新至少相隔 5 秒。
- 唯一包名、Cordis 行 ID、客戶端模塊和插槽 ID:
- 卸載:使用命令
dsh plugin --profile web remove dsh-livebench-rankings註銷路由、清理週期任務、終止進行中的請求並移除對話框和事件監聽。
短結尾¶
本插件爲 DeepSeek Harness 提供了原生的 LiveBench 榜單查看能力,數據源來自官方,且具備良好的安全隔離性。通過 CSV 導出功能,可以方便地集成到後續的自動化評測流程中。
- GitHub:https://github.com/addie-ace/dsh-livebench-rankings
- 目錄頁:https://www.skillhub.cn/plugins/addie-ace/dsh-livebench-rankings