review-workflow:给 DeepSeek Harness 加一套多评委盲评工作流

前言

用单个智能体做评审,常见的问题是:准备材料和打分处在同一个上下文里,评分容易被前面的讨论带偏;就算开多个会话,角色之间没有隔离,也没有强制的中断点保证每一步真的做完。对做智能体应用的开发者来说,要让「评审」这件事可复现、可追溯,需要的是固定流程加角色隔离。

review-workflow 把这套东西做成了 DSH(DeepSeek Harness)插件,符合 DSH「一切皆插件」的思路。下面介绍它的流程、安装方式和接入前要准备的配置。

这是什么

review-workflow 是 LeslieWylie 维护的一个工作流类 DSH 插件,package.json 中版本为 0.1.0,MIT 许可证。一句话定位:N 名评委在相互隔离的 subagent 中盲评,chair 负责裁决分歧,独立 Critic 审计整个流程。

按 README 的说法,它从内部协作评审流程脱敏泛化而来,已移除所有内部项目引用,适用于项目评审、论文审稿、代码审查、设计评审等需要结构化评审的场景。

核心流程:6 步 + 6 Checkpoint

整个流程分 6 步,每步有 checkpoint,未通过不进入下一步:

  1. 材料完整性检查
  2. 准备 bundle(评审材料包)
  3. N 评委并行打分
  4. 聚合分歧
  5. Critic 复核
  6. 出最终决定

其中几个环节值得单独说明:

  • 评委隔离盲评:每个评委用独立 subagent 运行,互不可见,防止评委之间的偏见影响。
  • 两阶段分歧处理:聚合阶段做锚定一致性检查,先做锚定匹配,再做 Δ 等级裁决,由 chair 消解评委间的分歧。
  • Critic 独立复核:Critic 同样运行在独立 subagent、独立 session 中,复核流程合规性,挑战理据不足的评分。
  • 增量复评:支持复评场景,只重评修改项相关的维度,不用全部重跑。
  • 可审计:所有中间产物存盘,可追溯。

安装与启用

安装命令:

dsh plugin --profile web add "github:LeslieWylie/review-workflow"

重启后,在任意会话中加载 skill:

load review-workflow

运行环境要求 Node >= 18(package.json 的 engines 字段)。

接入前要准备的配置

注意这个插件只定义流程骨架,不自带评审标准。接入前需要准备项目级配置,放在项目自己的 skill 或配置文件中:

配置项 说明 README 示例
rubric 评审维度与评分标准 5 维度 5 分制,每维度有锚定描述
bundle 模板 评审材料包模板 bundle.md
panelist prompt 评委 prompt 模板 panelist-prompt.md
aggregation 模板 聚合报告模板 aggregation.md
critic 模板 复核报告模板 critic-report.md
checklist 材料完整性检查清单 proposal-checklist.md
panelist 数量 评委人数 2
评分阈值 各维度通过/不通过阈值 ≥3/5

这些配置直接决定评审的质量,接入时值得花时间写细,尤其是 rubric 里的锚定描述和评分阈值。

设计原则

README 列出了四条设计原则:

  • 场景无关:只定义评审流程骨架,具体评审维度、评分标准、模板由项目提供
  • 角色隔离:评委独立运行,Critic 用独立 session,防止偏见
  • Checkpoint 强制:每步有 checkpoint,未过不进入下一步
  • 可审计:所有中间产物存盘,可追溯

适用场景与注意事项

适合的场景是需要多视角、结论要经得起质疑的评审:代码审查、论文审稿、设计评审、项目评审。如果只是让一个模型给点意见,这套流程会显得重;它的价值在于把评委隔离、分歧裁决、流程合规这些容易走形的环节固化成带 checkpoint 的步骤。

安装前注意三点:

  1. 插件以当前 dsh 进程的权限运行,安装前应检查源码与许可证。该插件源码在 GitHub 公开,许可证为 MIT。
  2. 它不自带评审标准,rubric、模板、checklist 都要项目自己提供,接入前留出准备时间。
  3. 确认运行环境满足 Node >= 18。

结尾

review-workflow 解决的是一个具体问题:让智能体参与的评审有隔离的角色、强制的检查点和可追溯的中间产物,而把「评什么、怎么评」留给项目自己定义。如果你的 DSH 项目里需要结构化评审,可以先对照它的 6 步流程和配置清单,看是否匹配你的场景。

  • GitHub 仓库:https://github.com/LeslieWylie/review-workflow
  • 社区插件目录:https://www.skillhub.cn/plugins/LeslieWylie/review-workflow (独立社区站点,与 DeepSeek、幻方无官方从属关系)
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜