DeepSeek Harness Flow:爲 DeepSeek Harness 增加可視化工作流與多模型評測

前言

在 DeepSeek Harness 中做智能體開發時,常見需求不只是把 Chat 跑通,還要把節點編排、模型路由對比和評測結果管理放在同一個會話裏。DeepSeek Harness Flow 是一個社區插件,它在現有 Harness 會話中新增 Harness Flow 視圖,並保留原有 Chat、sessions、settings、tools 和已有 workflow records。

下面介紹它的定位、核心能力、安裝方式和需要注意的邊界。

這是什麼

DeepSeek Harness Flow 的倉庫名是 alison-xx/deepseek-harness-flow,定位爲 DeepSeek Harness 的社區可視化工作流與多模型評測插件。它由 alison-xx 維護,許可證爲 MIT;內置 benchmark prompts 是原創項目內容,並按同一許可證發佈。

當前 beta 版本 pinned to DeepSeek Harness commit 47f9438 和 matching RC packages。項目爲 community project,Not affiliated with or endorsed by DeepSeek。

核心能力

在 Harness 會話中新增 Harness Flow 視圖

插件不會替代原有 Harness 體驗。安裝並啓用後,你可以在原 Chat view 旁選擇 Harness Flow。原 Chat、sessions、settings、tools 和已有 workflow records 保持不變。

Studio:編輯和運行工作流節點

Studio 用於編輯和運行以下節點:

  • Input
  • Agent
  • Map Agent
  • Condition
  • Merge
  • Output

Bench:運行預設或導入的評測套件

Bench 用於運行預設或導入套件,並對多個 provider routes 和獨立 judge 進行評測。支持以下模型路由:

  • DeepSeek
  • OpenAI
  • Anthropic
  • Google
  • 自定義 OpenAI-compatible routes

內置評測套件包括:

  • Quick Smoke
  • Comprehensive Agent
  • Coding
  • Safety

默認行爲是重複 3 次,並限制 2 個全局 jobs 和每個 provider route 1 個 job。

Runs:查看結果與導出

Runs 用於查看持久化結果、非正式目標結果、正式排名和脫敏導出。導出器會 redact credential-like fields、absolute workspace paths 和 sensitive environment-variable names。

公共 API

插件暴露 flow 與 benchmark 相關 Typert Remote namespaces 作爲公共 API。

安裝與啓用

下面是已提供的安裝命令:

dsh plugin --profile web add https://github.com/alison-xx/deepseek-harness-flow/releases/download/v0.1.0-beta.2/deepseek-harness-flow-0.1.0-beta.2.tgz

安裝後重啓 web profile,打開任意 session,並在原 Chat view 旁選擇 Harness Flow。

Desktop launcher

倉庫還包含一個 Windows-oriented Tauri desktop launcher。它會啓動隔離的本地 Harness profile,默認端口爲 4181。Desktop beta 使用本地 DeepSeek Harness checkout 和 Node.js runtime,而不是打包 credentials 或第二份 Harness。

啓動 desktop launcher 可以使用:

pnpm install --frozen-lockfile
pnpm desktop:dev

評測與排名規則

正式 100 分質量評分使用以下權重:

  • objective 50%
  • judge 30%
  • safety 10%
  • stability 10%

正式排名需要非競爭獨立 judge。沒有獨立 judge 時,結果保持 objective-only,且不分配正式 rank。

開發與驗證

開發要求 Node.js 22+ 和 pnpm。常用驗證命令:

pnpm install --frozen-lockfile
pnpm verify
pnpm test:browser
pnpm pack:release

如果只想運行 standalone visual test shell,可以使用:

pnpm preview

該 shell 的地址爲 http://127.0.0.1:4178。

隱私與安全

插件無遙測。它不上傳 test prompts、model answers、reports 或 API keys。

密鑰處理上,明文密鑰僅發送到 credentials.set,插件不持久化密鑰。導入的命令在 run 明確授權前保持禁用。

適用場景與注意

適合以下場景:

  • 希望在 DeepSeek Harness 會話中直接編輯和運行 Agent 工作流節點。
  • 需要比較多個 provider routes 的評測結果。
  • 需要查看持久化結果、正式排名和脫敏導出。
  • 使用 DSH 做社區插件開發或本地驗證。

注意:

  • 該插件是 beta,且 pinned to DeepSeek Harness commit 47f9438 和 matching RC packages。
  • 項目爲 community project,Not affiliated with or endorsed by DeepSeek。
  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。
  • 導入第三方評測套件時,應關注導入命令在 run 明確授權前保持禁用這一邊界。

鏈接

GitHub:

https://github.com/alison-xx/deepseek-harness-flow

目錄頁(以插件線索爲準):

https://www.skillhub.cn/plugins/alison-xx/deepseek-harness-flow
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜