前言¶
用單個智能體做評審,常見的問題是:準備材料和打分處在同一個上下文裏,評分容易被前面的討論帶偏;就算開多個會話,角色之間沒有隔離,也沒有強制的中斷點保證每一步真的做完。對做智能體應用的開發者來說,要讓「評審」這件事可復現、可追溯,需要的是固定流程加角色隔離。
review-workflow 把這套東西做成了 DSH(DeepSeek Harness)插件,符合 DSH「一切皆插件」的思路。下面介紹它的流程、安裝方式和接入前要準備的配置。
這是什麼¶
review-workflow 是 LeslieWylie 維護的一個工作流類 DSH 插件,package.json 中版本爲 0.1.0,MIT 許可證。一句話定位:N 名評委在相互隔離的 subagent 中盲評,chair 負責裁決分歧,獨立 Critic 審計整個流程。
按 README 的說法,它從內部協作評審流程脫敏泛化而來,已移除所有內部項目引用,適用於項目評審、論文審稿、代碼審查、設計評審等需要結構化評審的場景。
核心流程:6 步 + 6 Checkpoint¶
整個流程分 6 步,每步有 checkpoint,未通過不進入下一步:
- 材料完整性檢查
- 準備 bundle(評審材料包)
- N 評委並行打分
- 聚合分歧
- Critic 複覈
- 出最終決定
其中幾個環節值得單獨說明:
- 評委隔離盲評:每個評委用獨立 subagent 運行,互不可見,防止評委之間的偏見影響。
- 兩階段分歧處理:聚合階段做錨定一致性檢查,先做錨定匹配,再做 Δ 等級裁決,由 chair 消解評委間的分歧。
- Critic 獨立複覈:Critic 同樣運行在獨立 subagent、獨立 session 中,複覈流程合規性,挑戰理據不足的評分。
- 增量複評:支持複評場景,只重評修改項相關的維度,不用全部重跑。
- 可審計:所有中間產物存盤,可追溯。
安裝與啓用¶
安裝命令:
dsh plugin --profile web add "github:LeslieWylie/review-workflow"
重啓後,在任意會話中加載 skill:
load review-workflow
運行環境要求 Node >= 18(package.json 的 engines 字段)。
接入前要準備的配置¶
注意這個插件只定義流程骨架,不自帶評審標準。接入前需要準備項目級配置,放在項目自己的 skill 或配置文件中:
| 配置項 | 說明 | README 示例 |
|---|---|---|
| rubric | 評審維度與評分標準 | 5 維度 5 分制,每維度有錨定描述 |
| bundle 模板 | 評審材料包模板 | bundle.md |
| panelist prompt | 評委 prompt 模板 | panelist-prompt.md |
| aggregation 模板 | 聚合報告模板 | aggregation.md |
| critic 模板 | 複覈報告模板 | critic-report.md |
| checklist | 材料完整性檢查清單 | proposal-checklist.md |
| panelist 數量 | 評委人數 | 2 |
| 評分閾值 | 各維度通過/不通過閾值 | ≥3/5 |
這些配置直接決定評審的質量,接入時值得花時間寫細,尤其是 rubric 裏的錨定描述和評分閾值。
設計原則¶
README 列出了四條設計原則:
- 場景無關:只定義評審流程骨架,具體評審維度、評分標準、模板由項目提供
- 角色隔離:評委獨立運行,Critic 用獨立 session,防止偏見
- Checkpoint 強制:每步有 checkpoint,未過不進入下一步
- 可審計:所有中間產物存盤,可追溯
適用場景與注意事項¶
適合的場景是需要多視角、結論要經得起質疑的評審:代碼審查、論文審稿、設計評審、項目評審。如果只是讓一個模型給點意見,這套流程會顯得重;它的價值在於把評委隔離、分歧裁決、流程合規這些容易走形的環節固化成帶 checkpoint 的步驟。
安裝前注意三點:
- 插件以當前 dsh 進程的權限運行,安裝前應檢查源碼與許可證。該插件源碼在 GitHub 公開,許可證爲 MIT。
- 它不自帶評審標準,rubric、模板、checklist 都要項目自己提供,接入前留出準備時間。
- 確認運行環境滿足 Node >= 18。
結尾¶
review-workflow 解決的是一個具體問題:讓智能體參與的評審有隔離的角色、強制的檢查點和可追溯的中間產物,而把「評什麼、怎麼評」留給項目自己定義。如果你的 DSH 項目裏需要結構化評審,可以先對照它的 6 步流程和配置清單,看是否匹配你的場景。
- GitHub 倉庫:https://github.com/LeslieWylie/review-workflow
- 社區插件目錄:https://www.skillhub.cn/plugins/LeslieWylie/review-workflow (獨立社區站點,與 DeepSeek、幻方無官方從屬關係)