前言¶
在 DeepSeek Harness(DSH)里跑智能体工作流时,模型或工具链常会给出「已完成某操作」的叙述。叙述是否成立,不能只看一句话,还要看结构化记录里有没有对应的事件、前后快照和覆盖范围说明。两者不一致时,开发者需要在依赖叙述之前先看清缺口。
Evidence Check 是 MindForge Guard Labs 面向开发者、强调证据关联的审查工具。它读取结构化的合成 Claim–Evidence 记录,用固定规则引擎给出可追踪、有边界的结论,而不是由语言模型随意裁定「通过 / 不通过」。下面介绍它的定位、能力与在 DSH 中的安装用法。
这是什么¶
插件在 SkillHub 上的标识为 veeduzyl-hue/mindforge-guard-labs-dsh-evidence-check,分类为 admin-security,维护者为 veeduzyl-hue。npm 包名为 dsh-guard-labs-evidence-check,许可证为 MIT(Copyright © 2026 veeduzyl-hue)。
一句话定位:针对 DSH 场景,对合成 AI 智能体声明做确定性、与证据挂钩的审查(Deterministic, evidence-linked review of synthetic AI-agent claims)。它是 MindForge Guard Labs 的独立社区实验,不是正式 MindForge Guard 治理产品的一部分。
核心功能¶
审查流程在 README 中概括为:
Synthetic claims + events + snapshots + coverage
|
v
review_synthetic_evidence_input
|
v
Pinned evaluation engine
|
v
Verdict + reason + evidence references
已核实的能力要点如下。
证据关联的结论。 每条 claim 会得到裁定、文字理由,以及支持或冲突记录的引用。
有边界的判断。 区分 SUPPORTED_LIMITED、UNVERIFIED、CONTRADICTED 等状态,而不是把不确定性压成简单的 pass/fail。
确定性审查。 由 pinned 规则引擎评估证据;语言模型不负责「发明」裁定。
本地工具执行。 插件本身无遥测、无自动上传、无运行时文件系统写入(DSH 仍可能把对话与工具参数发往你配置的模型提供商,见下文边界说明)。
面向实验与教学。 可用结构化虚构用例,测试智能体声明与记录观测之间的关系。示例 A、B 见仓库 examples/unseen-before-after-A.json 与 examples/unseen-before-after-B.json。
DSH 工具接受名为 evidenceJson 的字符串(最大 32 KiB),其中需声明 synthetic:true、带 SYN-* 形式的 case ID 以及 synthetic targets。引擎返回有边界的结论,不重写底层证据。文档举例:缺少 post-state 时,文件创建类 claim 可能为 UNVERIFIED;合成工具事件成功且前后观测有界时,可能为 SUPPORTED_LIMITED——这些仅针对示例情形,不是 universal guarantee。
安装与启用¶
当前 README 将分发标为 experimental community beta。建议使用隔离、无凭据的 DSH 测试 Profile;推荐 Node.js 24、DSH rc.5 与 pnpm。官方 CLI 在 Windows/Linux 上对 rc.5 的安装与配置已通过说明中的测试;live-model rc.5 Agent 与生产级保障仍 未验证。
从 GitHub beta 安装¶
先从 GitHub beta release v0.2.0-beta.1 下载 .tgz 与 .tgz.sha256,校验归档哈希后再安装:
dsh plugin --profile web add ./dsh-guard-labs-evidence-check-0.2.0-beta.1.tgz
dsh --profile web --dump-config
重启该隔离 Profile 后,仅对 synthetic JSON 使用工具 review_synthetic_evidence_input。GitHub beta 是首个分发渠道;npm registry 与社区 listing 为 separate channels。
通过 DSH 自定义插件索引发现¶
在 DSH 中启用实验项 Custom plugin indexes,打开 Discover → Add index source,填入:
https://raw.githubusercontent.com/veeduzyl-hue/mindforge-guard-labs-dsh-evidence-check/main/plugin-index.json
确认安装前请核对 pinned Git commit。这是项目自托管索引,不代表第三方市场背书。
package.json 中声明的引擎约束为 Node >=22,DSH >=0.2.1-rc.2 <0.3.0,peer 依赖 @deepseek-ai/dsh-tools ^0.2.1-rc.2;与 README 推荐的 rc.5 测试环境一并阅读即可。
典型用法¶
- 构造或引用仓库中的 synthetic 用例 JSON(含
synthetic:true与SYN-*case ID)。 - 在已安装插件的 DSH Profile 中,通过 Harness 工具传入
evidenceJson(≤32 KiB)。 - 调用
review_synthetic_evidence_input,读取返回的 verdict、reason 与 evidence references。
若从源码目录做本地验证(需 Node.js 22+),README 给出:
npm test
node scripts/verify-engine.mjs
node scripts/integration-preflight.mjs
项目包含 DSH 工具集成与 npm 包布局;兼容性说明覆盖 DSH rc.2/rc.5 的 npm 工具执行,以及官方 rc.5 Profile CLI 在 Windows/Linux 上的安装配置;Live Agent rc.5 未认证。
适用场景与注意¶
适合: synthetic 智能体工作流实验、开发者教育、claim–evidence 回归测试,以及讨论「什么算可验证」的对话。
不适合当作: 授权引擎、执行门禁、生产日志审计或独立 assurance 认证。
输入边界(必读)。 仅提交 synthetic 输入;不要提交真实 Agent trace、客户数据、专有源码、个人信息或密钥。synthetic:true 由用户提供,插件无法独立证明输入不含敏感内容。裁定受现有证据限制,不建立真实世界因果关系、完整效果覆盖或 formal MindForge Guard admission。详见仓库 docs/PROVENANCE_AND_ASSURANCE.md、docs/PRIVACY.md、docs/SECURITY.md。
权限与信任。 插件以当前 DSH 进程权限运行;安装前应自行审查源码与 MIT 许可证。社区目录 SkillHub(https://www.skillhub.cn/plugins/veeduzyl-hue/mindforge-guard-labs-dsh-evidence-check)与 GitHub 仓库为独立信息源,与 DeepSeek / 幻方无官方从属关系;DSH 生态强调「一切皆插件」,本文安装命令均来自项目 README,勿凭仓库名拼接未文档化的 dsh plugin add github:... 形式。
反馈请用最小、人工审阅的虚构复现;勿附 raw session 或密钥。模板见 .github/ISSUE_TEMPLATE/synthetic-feedback.yml。
结尾¶
Evidence Check 的价值在于:先看证据能支持什么,而不只相信智能体的叙述。需要细节、示例与隐私说明时,请打开 GitHub 仓库 veeduzyl-hue/mindforge-guard-labs-dsh-evidence-check 与 SkillHub 目录页 mindforge-guard-labs-dsh-evidence-check。