dsh-livebench-rankings:DeepSeek Harness 的 LiveBench 能力排行榜插件

前言

智能体开发者经常需要参考外部基准测试来评估模型性能。手动访问 livebench.ai 查看榜单和导出数据较为繁琐。本插件将 LiveBench 的官方榜单数据接入 DeepSeek Harness,提供筛选、对比和导出功能,方便在本地工作流中直接查看模型能力排名。

这是什么

addie-ace 维护的联网工具类插件。它从 livebench.ai 拉取最新的榜单版本、CSV 和分类 JSON 数据,在 DSH 界面中展示模型评分,支持机构、权重、推理模型等维度的筛选与排序。

核心功能

  • 自动获取最新榜单:识别前端发布的最新榜单版本,读取官方 CSV 和分类 JSON。
  • 定时与手动刷新:默认每 60 秒检查一次,支持手动刷新;网络失败时保留缓存,不会伪造或填充评分。
  • 多维度筛选与对比:支持机构、开放权重、推理模型筛选,模型搜索、分项排序、全部变体、微调模型。
  • 对比与导出:默认每个模型家族保留综合得分最高的变体,最多对比 4 个模型;可查看任务级评分并导出 CSV。

安装与启用

  • 环境要求:Node.js >= 20.18.1;Windows 使用系统 curl.exe 访问 HTTPS 并校验证书。
  • 安装步骤:在源码工作区运行安装脚本。
powershell -ExecutionPolicy Bypass -File .\scripts\install.ps1 -HarnessHome 'G:\deepseek harness'
  • 安装细节:脚本只向 plugins/dsh-livebench-rankings 新增文件,注册前会备份 profile 的 package.json、锁文件和补丁文件。已有同名安装会中止,不覆盖。
  • 启用方式:安装后刷新 Harness 页面;如果客户端入口尚未加载,正常退出并重新打开 Harness。

典型用法

  • 打开界面:通过 Harness 输入框左下角的「AI 排行」入口打开。
  • 配置刷新间隔:通过 Harness 插件配置编辑器设置 refreshSeconds(范围 30–3600,默认 60)。
  • 访问预览:本地预览地址为 http://127.0.0.1:4317/dsh-livebench-rankings/。

适用场景与注意

  • 适用场景:适合需要频繁查阅外部基准测试数据、进行模型对比和导出 CSV 的开发者。
  • 安全与隔离:
    • 唯一包名、Cordis 行 ID、客户端模块和插槽 ID:dsh-livebench-rankings。
    • 唯一路由前缀:/dsh-livebench-rankings。
    • 不修改全局 fetch、TLS、代理、路由或 localStorage;不读凭据、账号数据和聊天记录。
    • 只从 livebench.ai 下载页面和数据,不执行远程 JavaScript;使用 Acorn 读取静态字面量,Papa Parse 解析 CSV。
    • 缓存仅位于插件自身的 .cache/rankings.json;同一实例并发合并,手动刷新至少相隔 5 秒。
  • 卸载:使用命令 dsh plugin --profile web remove dsh-livebench-rankings 注销路由、清理周期任务、终止进行中的请求并移除对话框和事件监听。

短结尾

本插件为 DeepSeek Harness 提供了原生的 LiveBench 榜单查看能力,数据源来自官方,且具备良好的安全隔离性。通过 CSV 导出功能,可以方便地集成到后续的自动化评测流程中。

  • GitHub:https://github.com/addie-ace/dsh-livebench-rankings
  • 目录页:https://www.skillhub.cn/plugins/addie-ace/dsh-livebench-rankings
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜