review-workflow:多評委獨立評審的 DSH 工作流插件

前言

智能體執行評審類任務時,常見的問題是評審結論受單一視角影響,或者各評委互相看到對方的打分後被帶偏。很多團隊的做法是讓一個 prompt 裏寫「請分角色評審」,但這仍然是同一個上下文裏的自我對話,偏見無法隔離。下面介紹的 review-workflow 插件,把評審拆成「N 個互不可見的評委 + 一臺聚合分歧 + 一個獨立的 Critic」,流程做成固定的 6 步,每步都有 checkpoint。

插件倉庫是 YaoleWu/review-workflow,分類爲工作流,當前 3 個星標、1 個 fork,許可證 MIT,版本 0.1.0。README 裏的安裝命令指向 github:LeslieWylie/review-workflow,倉庫 author 字段也寫的是 LeslieWylie;正文按資料原文記錄,安裝時以 README 命令爲準。SkillsHub 目錄頁爲獨立社區站點,與 DeepSeek / 幻方無官方從屬關係。

這是什麼

一個通用多評委評審工作流 skill。它從內部協作評審流程脫敏泛化而來,只提供評審流程骨架,具體的評審維度、評分標準、模板由使用方提供。適用場景包括項目評審、論文審稿、代碼審查、設計評審等。

核心機制有三點:

  1. 多個評委用獨立 subagent 並行運行,互相看不到對方的打分;
  2. 分歧通過兩階段處理:先做錨定匹配,再做 Δ 等級裁決;
  3. Critic 用獨立 subagent 複覈流程合規性,挑戰理據不足的部分。

核心功能

模塊 內容
6 步流程 + 6 Checkpoint 材料完整性檢查 → 準備 bundle → N 評委並行打分 → 聚合分歧 → Critic 複覈 → 出最終決定
N 評委並行獨立打分 評委用獨立 subagent 運行,互不可見
錨定一致性檢查 錨定匹配 → Δ 等級裁決,兩階段處理分歧
Critic 獨立複覈 獨立 subagent 複覈流程合規性
複評支持 增量複評,只重評與修改項相關的維度
可配置 評審維度、評分標準、模板、評委數量均可配置

設計原則裏比較值得注意的兩條是:Checkpoint 強制,每步未通過就不進入下一步;所有中間產物存盤,可追溯。

安裝與啓用

安裝命令來自 README:

dsh plugin --profile web add "github:LeslieWylie/review-workflow"

重啓後,在任意會話中加載 skill:

load review-workflow

所需配置

這個 skill 需要項目級配置,放在項目自己的 skill 或配置文件中,不能靠插件自帶默認值直接跑(插件只提供流程骨架)。

配置項 說明 示例
rubric 評審維度與評分標準 5 維度 5 分制,每維度有錨定描述
bundle 模板 評審材料包模板 bundle.md
panelist prompt 評委 prompt 模板 panelist-prompt.md
aggregation 模板 聚合報告模板 aggregation.md
critic 模板 複覈報告模板 critic-report.md
checklist 材料完整性檢查清單 proposal-checklist.md
panelist 數量 評委人數 2
評分閾值 各維度通過/不通過閾值 ≥3/5

典型用法

按 README 的流程,一次完整評審走 6 步:

  1. 材料完整性檢查:按 checklist 覈對提交材料,不通過則退回;
  2. 準備 bundle:按 bundle 模板生成評審材料包;
  3. N 評委並行打分:每個評委在獨立 subagent 中按 rubric 打分,互不可見;
  4. 聚合分歧:先做錨定匹配,仍不一致的做 Δ 等級裁決;
  5. Critic 複覈:獨立 subagent 檢查流程合規性,挑戰理據不足的結論;
  6. 出最終決定:通過 checkpoint 後輸出聚合報告。

需要複評時,只讓評委重評與修改項相關的維度,不必整包重審。

適用場景與注意

適合需要結構化、多人、可追溯評審結果的場景,尤其是結論會影響資源分配或發佈決策的時候。如果只是臨時看一眼代碼,直接讓智能體讀一遍更快,不值得搭這套流程。

兩點需要注意。第一,插件以當前 dsh 進程的權限運行,安裝前應檢查源碼,確認其行爲與項目相符。第二,項目級配置必須由使用方自己提供,插件不包含通用的評審維度和標準,指望裝上就能直接評審是誤區。倉庫許可證爲 MIT,授權層面相對寬鬆,但源碼仍需自行審閱。

結尾

review-workflow 的價值不在評審內容本身,而在把評審流程固定下來:角色隔離、Checkpoint 強制、過程留痕。適合已經有結構化評審需求、願意自己定義 rubric 和模板的團隊。

  • 目錄頁:https://www.skillhub.cn/plugins/YaoleWu/review-workflow
  • GitHub:https://github.com/YaoleWu/review-workflow
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜