DeepSeek Harness Flow:为 DeepSeek Harness 增加可视化工作流与多模型评测

前言

在 DeepSeek Harness 中做智能体开发时,常见需求不只是把 Chat 跑通,还要把节点编排、模型路由对比和评测结果管理放在同一个会话里。DeepSeek Harness Flow 是一个社区插件,它在现有 Harness 会话中新增 Harness Flow 视图,并保留原有 Chat、sessions、settings、tools 和已有 workflow records。

下面介绍它的定位、核心能力、安装方式和需要注意的边界。

这是什么

DeepSeek Harness Flow 的仓库名是 alison-xx/deepseek-harness-flow,定位为 DeepSeek Harness 的社区可视化工作流与多模型评测插件。它由 alison-xx 维护,许可证为 MIT;内置 benchmark prompts 是原创项目内容,并按同一许可证发布。

当前 beta 版本 pinned to DeepSeek Harness commit 47f9438 和 matching RC packages。项目为 community project,Not affiliated with or endorsed by DeepSeek。

核心能力

在 Harness 会话中新增 Harness Flow 视图

插件不会替代原有 Harness 体验。安装并启用后,你可以在原 Chat view 旁选择 Harness Flow。原 Chat、sessions、settings、tools 和已有 workflow records 保持不变。

Studio:编辑和运行工作流节点

Studio 用于编辑和运行以下节点:

  • Input
  • Agent
  • Map Agent
  • Condition
  • Merge
  • Output

Bench:运行预设或导入的评测套件

Bench 用于运行预设或导入套件,并对多个 provider routes 和独立 judge 进行评测。支持以下模型路由:

  • DeepSeek
  • OpenAI
  • Anthropic
  • Google
  • 自定义 OpenAI-compatible routes

内置评测套件包括:

  • Quick Smoke
  • Comprehensive Agent
  • Coding
  • Safety

默认行为是重复 3 次,并限制 2 个全局 jobs 和每个 provider route 1 个 job。

Runs:查看结果与导出

Runs 用于查看持久化结果、非正式目标结果、正式排名和脱敏导出。导出器会 redact credential-like fields、absolute workspace paths 和 sensitive environment-variable names。

公共 API

插件暴露 flow 与 benchmark 相关 Typert Remote namespaces 作为公共 API。

安装与启用

下面是已提供的安装命令:

dsh plugin --profile web add https://github.com/alison-xx/deepseek-harness-flow/releases/download/v0.1.0-beta.2/deepseek-harness-flow-0.1.0-beta.2.tgz

安装后重启 web profile,打开任意 session,并在原 Chat view 旁选择 Harness Flow

Desktop launcher

仓库还包含一个 Windows-oriented Tauri desktop launcher。它会启动隔离的本地 Harness profile,默认端口为 4181。Desktop beta 使用本地 DeepSeek Harness checkout 和 Node.js runtime,而不是打包 credentials 或第二份 Harness。

启动 desktop launcher 可以使用:

pnpm install --frozen-lockfile
pnpm desktop:dev

评测与排名规则

正式 100 分质量评分使用以下权重:

  • objective 50%
  • judge 30%
  • safety 10%
  • stability 10%

正式排名需要非竞争独立 judge。没有独立 judge 时,结果保持 objective-only,且不分配正式 rank。

开发与验证

开发要求 Node.js 22+ 和 pnpm。常用验证命令:

pnpm install --frozen-lockfile
pnpm verify
pnpm test:browser
pnpm pack:release

如果只想运行 standalone visual test shell,可以使用:

pnpm preview

该 shell 的地址为 http://127.0.0.1:4178

隐私与安全

插件无遥测。它不上传 test prompts、model answers、reports 或 API keys。

密钥处理上,明文密钥仅发送到 credentials.set,插件不持久化密钥。导入的命令在 run 明确授权前保持禁用。

适用场景与注意

适合以下场景:

  • 希望在 DeepSeek Harness 会话中直接编辑和运行 Agent 工作流节点。
  • 需要比较多个 provider routes 的评测结果。
  • 需要查看持久化结果、正式排名和脱敏导出。
  • 使用 DSH 做社区插件开发或本地验证。

注意:

  • 该插件是 beta,且 pinned to DeepSeek Harness commit 47f9438 和 matching RC packages。
  • 项目为 community project,Not affiliated with or endorsed by DeepSeek。
  • 插件以当前 dsh 进程权限运行,安装前应检查源码与许可证。
  • 导入第三方评测套件时,应关注导入命令在 run 明确授权前保持禁用这一边界。

链接

GitHub:

https://github.com/alison-xx/deepseek-harness-flow

目录页(以插件线索为准):

https://www.skillhub.cn/plugins/alison-xx/deepseek-harness-flow
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye