dsh-livebench-rankings:DeepSeek Harness 的 LiveBench 能力排行榜插件

前言

智能體開發者經常需要參考外部基準測試來評估模型性能。手動訪問 livebench.ai 查看榜單和導出數據較爲繁瑣。本插件將 LiveBench 的官方榜單數據接入 DeepSeek Harness,提供篩選、對比和導出功能,方便在本地工作流中直接查看模型能力排名。

這是什麼

addie-ace 維護的聯網工具類插件。它從 livebench.ai 拉取最新的榜單版本、CSV 和分類 JSON 數據,在 DSH 界面中展示模型評分,支持機構、權重、推理模型等維度的篩選與排序。

核心功能

  • 自動獲取最新榜單:識別前端發佈的最新榜單版本,讀取官方 CSV 和分類 JSON。
  • 定時與手動刷新:默認每 60 秒檢查一次,支持手動刷新;網絡失敗時保留緩存,不會僞造或填充評分。
  • 多維度篩選與對比:支持機構、開放權重、推理模型篩選,模型搜索、分項排序、全部變體、微調模型。
  • 對比與導出:默認每個模型家族保留綜合得分最高的變體,最多對比 4 個模型;可查看任務級評分並導出 CSV。

安裝與啓用

  • 環境要求:Node.js >= 20.18.1;Windows 使用系統 curl.exe 訪問 HTTPS 並校驗證書。
  • 安裝步驟:在源碼工作區運行安裝腳本。
powershell -ExecutionPolicy Bypass -File .\scripts\install.ps1 -HarnessHome 'G:\deepseek harness'
  • 安裝細節:腳本只向 plugins/dsh-livebench-rankings 新增文件,註冊前會備份 profile 的 package.json、鎖文件和補丁文件。已有同名安裝會中止,不覆蓋。
  • 啓用方式:安裝後刷新 Harness 頁面;如果客戶端入口尚未加載,正常退出並重新打開 Harness。

典型用法

  • 打開界面:通過 Harness 輸入框左下角的「AI 排行」入口打開。
  • 配置刷新間隔:通過 Harness 插件配置編輯器設置 refreshSeconds(範圍 30–3600,默認 60)。
  • 訪問預覽:本地預覽地址爲 http://127.0.0.1:4317/dsh-livebench-rankings/。

適用場景與注意

  • 適用場景:適合需要頻繁查閱外部基準測試數據、進行模型對比和導出 CSV 的開發者。
  • 安全與隔離:
    • 唯一包名、Cordis 行 ID、客戶端模塊和插槽 ID:dsh-livebench-rankings。
    • 唯一路由前綴:/dsh-livebench-rankings。
    • 不修改全局 fetch、TLS、代理、路由或 localStorage;不讀憑據、賬號數據和聊天記錄。
    • 只從 livebench.ai 下載頁面和數據,不執行遠程 JavaScript;使用 Acorn 讀取靜態字面量,Papa Parse 解析 CSV。
    • 緩存僅位於插件自身的 .cache/rankings.json;同一實例併發合併,手動刷新至少相隔 5 秒。
  • 卸載:使用命令 dsh plugin --profile web remove dsh-livebench-rankings 註銷路由、清理週期任務、終止進行中的請求並移除對話框和事件監聽。

短結尾

本插件爲 DeepSeek Harness 提供了原生的 LiveBench 榜單查看能力,數據源來自官方,且具備良好的安全隔離性。通過 CSV 導出功能,可以方便地集成到後續的自動化評測流程中。

  • GitHub:https://github.com/addie-ace/dsh-livebench-rankings
  • 目錄頁:https://www.skillhub.cn/plugins/addie-ace/dsh-livebench-rankings
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜