DeepSeek Harness (DSH) 采用插件化架构，旨在通过“一切皆插件”的方式扩展功能。对于需要在本地运行 LiveBench 评测的开发者来说，通常需要在命令行中手动管理环境、配置参数。为了解决这个问题，Vithrive 开发了 dsh-livebench-panel 插件。它将 LiveBench 的评测流程集成到了 DSH Web 的 Trajectory 视图 中，允许用户直接在界面中发起评测、监控进度并查看成绩，无需脱离现有的 DSH 生态。
插件定位¶
这是一个 DSH Web 插件，主要解决本地 LiveBench 评测的配置繁琐问题。
- 名称：dsh-livebench-panel
- 维护者：Vithrive
- 许可协议：MIT
- 核心功能：在 Trajectory 视图新增 LiveBench 标签页，支持配置所有模型、自动重试、Baseline 探针及结果实时读取。
安装与启用¶
安装该插件非常直接，只需执行一条命令。
dsh plugin --profile web add dsh-livebench-panel
安装完成后，重启 dsh web，打开任一对话的 Trajectory 视图，即可在“对话 / 轨迹”标签的右侧看到新增的 LiveBench 标签页。
前置依赖说明：本插件仅作为控制台，真正的评测由本机安装的 LiveBench 项目完成。安装插件时，面板底部会显示本地 LiveBench 的安装指引。完整的本地安装步骤（以 Windows 为例）如下：
:: 1) 克隆 LiveBench 到默认路径，或其它路径
:: 装在其它目录需设置环境变量 DSH_LIVEBENCH_HOME
git clone https://github.com/LiveBench/LiveBench V:\PythonProject\C_UtilizeSpace\LiveBench
:: 2) 使用 Python 3.11 建立虚拟环境并安装（3.10 会报错）
cd /d V:\PythonProject\C_UtilizeSpace\LiveBench
py -3.11 -m venv .venv
.venv\Scripts\python -m pip install -e .
:: 3) 仅评测 coding 类需要安装评分依赖
.venv\Scripts\python -m pip install -r livebench\code_runner\requirements_eval.txt
:: 4) 下载题目数据
cd livebench
..\.venv\Scripts\python download_questions.py
:: 5) 重启 dsh web 并在面板点击刷新
核心功能¶
该插件提供了从配置到结果展示的完整闭环：
- 视图集成：在 Trajectory 视图新增 LiveBench 标签页，位于对话和轨迹标签的最右侧。
- 模型支持：支持 Harness 中配置的所有 Provider 及其模型（包含内置的
deepseek-official）。 - 参数配置：提供下拉框配置各项参数，包括推理强度、题集 release、分类、任务、题目序号范围以及
max-tokens。 - Baseline 探针：提供 Baseline 题库功能。用户可以选择一个参考模型（如
zai-coding-cn__glm-5.3-flash@max），并筛选其“做错”或“做对”的题目。这允许用户快速对比不同模型相对于参考模型的强弱。 - 协议路由：支持 Anthropic/Claude 系模型走
anthropic-messages协议，OpenAI 系模型走openai-completions等协议。 - 自动重试：支持自动重试失败的请求，兜底 API 抖动导致的错误。
- 成绩表：自动读取 LiveBench 生成的判分文件并计算平均分，无需等待 LiveBench 自身出榜。
典型用法¶
- 首次验证：建议选择较小的任务（如
language分类下的typos）和便宜的模型，以快速验证流程是否通畅。 - Baseline 探针：在进行模型对比时，默认勾选参考模型的“做错”题。探针的价值在于发现参考模型无法解决的难题，这能有效区分更强或更弱的模型。
- 运行后操作：评测任务结束后，必须重启
dsh web并在面板点击“刷新”，以读取最新的成绩和日志。
注意事项¶
- 本地环境依赖：必须确保本地已安装 LiveBench（Git clone、Python 3.11、venv），并设置环境变量
DSH_LIVEBENCH_HOME指向该目录。 - API Key 机制：插件不直接在界面存储 Key，而是从 Harness provider 的
apiKeyEnv环境变量中解析，经LIVEBENCH_API_KEY传递给 LiveBench。 - 特殊协议处理：Anthropic/Claude 系模型强制使用
anthropic-messages协议，并且会根据推理强度（如medium,high）自动配置thinking字段，不发送temperature。 - 空答案限制：如果模型思考吃满了
max-tokens导致正文为空（返回$ERROR$以外的空结果），插件不会自动重试。这种情况属于配置问题，需手动调整max-tokens后重跑。
总结¶
dsh-livebench-panel 将 LiveBench 的评测能力无缝嵌入到 DSH 的 Web 界面中，通过 Trajectory 视图提供可视化的配置、监控和结果读取功能。配合 Baseline 探针和自动重试机制，它能够显著降低本地模型评测的门槛和复杂度。
- 项目主页：https://github.com/Vithrive/dsh-livebench-panel
- 插件目录：https://www.skillhub.cn/plugins/Vithrive/dsh-livebench-panel
