DeepSeek Harness LiveBench Panel 插件

DeepSeek Harness (DSH) 採用插件化架構，旨在通過“一切皆插件”的方式擴展功能。對於需要在本地運行 LiveBench 評測的開發者來說，通常需要在命令行中手動管理環境、配置參數。爲了解決這個問題，Vithrive 開發了 dsh-livebench-panel 插件。它將 LiveBench 的評測流程集成到了 DSH Web 的 Trajectory 視圖 中，允許用戶直接在界面中發起評測、監控進度並查看成績，無需脫離現有的 DSH 生態。

插件定位¶

這是一個 DSH Web 插件，主要解決本地 LiveBench 評測的配置繁瑣問題。

名稱：dsh-livebench-panel
維護者：Vithrive
許可協議：MIT
核心功能：在 Trajectory 視圖新增 LiveBench 標籤頁，支持配置所有模型、自動重試、Baseline 探針及結果實時讀取。

安裝與啓用¶

安裝該插件非常直接，只需執行一條命令。

dsh plugin --profile web add dsh-livebench-panel

安裝完成後，重啓 dsh web，打開任一對話的 Trajectory 視圖，即可在“對話 / 軌跡”標籤的右側看到新增的 LiveBench 標籤頁。

前置依賴說明：本插件僅作爲控制台，真正的評測由本機安裝的 LiveBench 項目完成。安裝插件時，面板底部會顯示本地 LiveBench 的安裝指引。完整的本地安裝步驟（以 Windows 爲例）如下：

:: 1) 克隆 LiveBench 到默認路徑，或其它路徑
:: 裝在其它目錄需設置環境變量 DSH_LIVEBENCH_HOME
git clone https://github.com/LiveBench/LiveBench V:\PythonProject\C_UtilizeSpace\LiveBench

:: 2) 使用 Python 3.11 建立虛擬環境並安裝（3.10 會報錯）
cd /d V:\PythonProject\C_UtilizeSpace\LiveBench
py -3.11 -m venv .venv
.venv\Scripts\python -m pip install -e .

:: 3) 僅評測 coding 類需要安裝評分依賴
.venv\Scripts\python -m pip install -r livebench\code_runner\requirements_eval.txt

:: 4) 下載題目數據
cd livebench
..\.venv\Scripts\python download_questions.py

:: 5) 重啓 dsh web 並在面板點擊刷新

核心功能¶

該插件提供了從配置到結果展示的完整閉環：

視圖集成：在 Trajectory 視圖新增 LiveBench 標籤頁，位於對話和軌跡標籤的最右側。
模型支持：支持 Harness 中配置的所有 Provider 及其模型（包含內置的 deepseek-official）。
參數配置：提供下拉框配置各項參數，包括推理強度、題集 release、分類、任務、題目序號範圍以及 max-tokens。
Baseline 探針：提供 Baseline 題庫功能。用戶可以選擇一個參考模型（如 zai-coding-cn__glm-5.3-flash@max），並篩選其“做錯”或“做對”的題目。這允許用戶快速對比不同模型相對於參考模型的強弱。
協議路由：支持 Anthropic/Claude 系模型走 anthropic-messages 協議，OpenAI 系模型走 openai-completions 等協議。
自動重試：支持自動重試失敗的請求，兜底 API 抖動導致的錯誤。
成績表：自動讀取 LiveBench 生成的判分文件並計算平均分，無需等待 LiveBench 自身出榜。

典型用法¶

首次驗證：建議選擇較小的任務（如 language 分類下的 typos）和便宜的模型，以快速驗證流程是否通暢。
Baseline 探針：在進行模型對比時，默認勾選參考模型的“做錯”題。探針的價值在於發現參考模型無法解決的難題，這能有效區分更強或更弱的模型。
運行後操作：評測任務結束後，必須重啓 dsh web 並在面板點擊“刷新”，以讀取最新的成績和日誌。

注意事項¶

本地環境依賴：必須確保本地已安裝 LiveBench（Git clone、Python 3.11、venv），並設置環境變量 DSH_LIVEBENCH_HOME 指向該目錄。
API Key 機制：插件不直接在界面存儲 Key，而是從 Harness provider 的 apiKeyEnv 環境變量中解析，經 LIVEBENCH_API_KEY 傳遞給 LiveBench。
特殊協議處理：Anthropic/Claude 系模型強制使用 anthropic-messages 協議，並且會根據推理強度（如 medium, high）自動配置 thinking 字段，不發送 temperature。
空答案限制：如果模型思考喫滿了 max-tokens 導致正文爲空（返回 $ERROR$ 以外的空結果），插件不會自動重試。這種情況屬於配置問題，需手動調整 max-tokens 後重跑。

總結¶

dsh-livebench-panel 將 LiveBench 的評測能力無縫嵌入到 DSH 的 Web 界面中，通過 Trajectory 視圖提供可視化的配置、監控和結果讀取功能。配合 Baseline 探針和自動重試機制，它能夠顯著降低本地模型評測的門檻和複雜度。

項目主頁：https://github.com/Vithrive/dsh-livebench-panel
插件目錄：https://www.skillhub.cn/plugins/Vithrive/dsh-livebench-panel