AI照妖镜:用五维检查给 AI 输出做可信度评级

前言

大模型回答往往语气笃定,但数据出处、时间范围和逻辑链条未必经得起推敲。人工逐句核对成本高,单靠「感觉不对」又缺少统一标准。下面介绍 SkillHub 社区 Skill「AI照妖镜 - AI输出真实性检查器」:把待检文本交给 Agent,按固定流程做五个维度的系统性检查,并输出 A/B/C/D 可信度评级报告。

这是什么

AI照妖镜(坐标 @user_9e8820a0/ai-truth-mirror,版本 1.0.0)是发布者 user_9e8820a0 在 SkillHub 上架的社区 Skill,分类为 knowledge-management。官方简介是:帮你检查 AI 是否在「一本正经地胡说八道」,对 AI 生成内容做五个维度的系统性检查,并生成可信度评级报告。标签标明 requires_api_key=false,不依赖额外 API Key。

Skill 本体遵循通用 SKILL.md 格式:安装后由 Agent 扮演「AI照妖镜」角色,按文档中的触发条件、检查清单和报告模板执行,而不是外挂独立可执行程序。

核心功能

已核实能力均来自 Skill 包内 SKILL.md。

触发方式

满足以下任一情况时,Agent 应进入检查模式:

  1. 用户直接说「帮我检查一下 XX 内容」。
  2. 话里带关键词:是真的吗?/ 对不对?/ 靠谱吗?/ 帮我看看 / 检查一下。
  3. 用户引用某段 AI 对话并要求验证。

五维度检查

维度 关注点(摘要)
信息完整性 数据来源、时间点、单位、适用范围、前提假设是否齐全
逻辑自洽性 前后矛盾、计算错误、偷换概念、极端表述、常识冲突
数据时效性 是否需要时效、是否标注时间、是否可能过时
来源可信度 权威来源 vs「根据研究」「有人说」等模糊表述
专业领域匹配 判断领域并评估自身能否胜任;超出能力范围时明确说明

各维度有逐项清单与判定规则(例如完整性缺项标为「信息不完整」,逻辑问题标为「逻辑不自洽」)。

鉴定报告与评级

检查结束后按固定结构输出「AI照妖镜 鉴定报告」,包含整体可信度 A/B/C/D、分块列出靠谱部分、存疑部分(问题点、原因、核实建议)以及明显错误部分。评级标准在 Skill 文档中写清:A 为完整且来源可靠;B 为基本可信但偶有缺失;C 为需谨慎核实;D 为建议不要采信。

官方 SKILL.md 内附完整示例:对用户给出的「根据最新研究,每天喝 8 杯水可以预防所有疾病」类回答,示范如何标出来源模糊、时效存疑与极端化表述,并给出 D 级结论。

安装与启用

方式一:让 Agent 按 SkillHub 指引安装

SkillHub 页面给出的提示词为:请 Agent 根据 SkillHub 安装文档 安装 @user_9e8820a0/ai-truth-mirror。

方式二:SkillHub CLI

先确认本机是否已有 CLI:

command -v skillhub && skillhub --version

未安装时,可按官方文档执行完整安装(示例为推荐的一键脚本):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安装 Skill 时必须用 --dir 指向当前 Agent 的 skills 目录;装到错误路径 Agent 可能识别不到。搜索与安装示例:

skillhub search ai-truth-mirror
skillhub install ai-truth-mirror --namespace user_9e8820a0 --dir <你的 skills 目录>

常用客户端 skills 目录(摘自官方安装文档):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/

装好后按各客户端要求刷新或重启 Agent,使 Skill 被加载。

典型用法

  1. 将待检的 AI 输出全文粘贴到对话中(或引用上一轮模型回复)。
  2. 用触发语发起检查,例如:「帮我检查一下下面这段 AI 回答是否靠谱」,并附上正文。
  3. Agent 按 Skill 流程走完五维检查,输出带 A–D 评级的鉴定报告;对存疑项会写明核实方向。

复现官方示例时,可直接使用 Skill 文档中的用户句:

帮我检查一下这个AI回答:根据最新研究,每天喝8杯水可以预防所有疾病

预期行为是生成鉴定报告,指出来源与表述问题,并给出较低可信度等级(文档示例为 D 级)。

适用场景与注意

适合:技术调研草稿、运营文案、模型生成的数据结论等需要「第二道人工化审视」的文本;希望用同一套维度反复核对,而不是每次临时想检查项。

注意:

  • 检查由当前 Agent 按 Prompt 执行,结论依赖模型推理与知识边界,不能替代权威数据库、原始文献或专业审计;Skill 自身也在「专业领域匹配」维度要求超出能力时诚实说明。
  • 报告模板含结构化分段与符号标记,便于扫读,但是否采纳仍需人做最终判断。
  • SkillHub 页面统计(抓取时):评分 100000,下载 882 次;安装计数以平台展示为准。

结尾

AI照妖镜把「这段 AI 输出能不能信」拆成可重复的五维流程和 A–D 评级报告,适合接到 Cursor、Claude Code、Codex 等已支持 Skills 的环境里做内容核实。官方介绍与安装入口:SkillHub - AI照妖镜。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye