前言¶
大模型回答往往语气笃定,但数据出处、时间范围和逻辑链条未必经得起推敲。人工逐句核对成本高,单靠「感觉不对」又缺少统一标准。下面介绍 SkillHub 社区 Skill「AI照妖镜 - AI输出真实性检查器」:把待检文本交给 Agent,按固定流程做五个维度的系统性检查,并输出 A/B/C/D 可信度评级报告。
这是什么¶
AI照妖镜(坐标 @user_9e8820a0/ai-truth-mirror,版本 1.0.0)是发布者 user_9e8820a0 在 SkillHub 上架的社区 Skill,分类为 knowledge-management。官方简介是:帮你检查 AI 是否在「一本正经地胡说八道」,对 AI 生成内容做五个维度的系统性检查,并生成可信度评级报告。标签标明 requires_api_key=false,不依赖额外 API Key。
Skill 本体遵循通用 SKILL.md 格式:安装后由 Agent 扮演「AI照妖镜」角色,按文档中的触发条件、检查清单和报告模板执行,而不是外挂独立可执行程序。
核心功能¶
已核实能力均来自 Skill 包内 SKILL.md。
触发方式¶
满足以下任一情况时,Agent 应进入检查模式:
- 用户直接说「帮我检查一下 XX 内容」。
- 话里带关键词:是真的吗?/ 对不对?/ 靠谱吗?/ 帮我看看 / 检查一下。
- 用户引用某段 AI 对话并要求验证。
五维度检查¶
| 维度 | 关注点(摘要) |
|---|---|
| 信息完整性 | 数据来源、时间点、单位、适用范围、前提假设是否齐全 |
| 逻辑自洽性 | 前后矛盾、计算错误、偷换概念、极端表述、常识冲突 |
| 数据时效性 | 是否需要时效、是否标注时间、是否可能过时 |
| 来源可信度 | 权威来源 vs「根据研究」「有人说」等模糊表述 |
| 专业领域匹配 | 判断领域并评估自身能否胜任;超出能力范围时明确说明 |
各维度有逐项清单与判定规则(例如完整性缺项标为「信息不完整」,逻辑问题标为「逻辑不自洽」)。
鉴定报告与评级¶
检查结束后按固定结构输出「AI照妖镜 鉴定报告」,包含整体可信度 A/B/C/D、分块列出靠谱部分、存疑部分(问题点、原因、核实建议)以及明显错误部分。评级标准在 Skill 文档中写清:A 为完整且来源可靠;B 为基本可信但偶有缺失;C 为需谨慎核实;D 为建议不要采信。
官方 SKILL.md 内附完整示例:对用户给出的「根据最新研究,每天喝 8 杯水可以预防所有疾病」类回答,示范如何标出来源模糊、时效存疑与极端化表述,并给出 D 级结论。
安装与启用¶
方式一:让 Agent 按 SkillHub 指引安装¶
SkillHub 页面给出的提示词为:请 Agent 根据 SkillHub 安装文档 安装 @user_9e8820a0/ai-truth-mirror。
方式二:SkillHub CLI¶
先确认本机是否已有 CLI:
command -v skillhub && skillhub --version
未安装时,可按官方文档执行完整安装(示例为推荐的一键脚本):
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
安装 Skill 时必须用 --dir 指向当前 Agent 的 skills 目录;装到错误路径 Agent 可能识别不到。搜索与安装示例:
skillhub search ai-truth-mirror
skillhub install ai-truth-mirror --namespace user_9e8820a0 --dir <你的 skills 目录>
常用客户端 skills 目录(摘自官方安装文档):
- Cursor:
~/.cursor/skills/ - Claude Code:
~/.claude/skills/ - Codex:
~/.codex/skills/或项目下的.agents/skills/
装好后按各客户端要求刷新或重启 Agent,使 Skill 被加载。
典型用法¶
- 将待检的 AI 输出全文粘贴到对话中(或引用上一轮模型回复)。
- 用触发语发起检查,例如:「帮我检查一下下面这段 AI 回答是否靠谱」,并附上正文。
- Agent 按 Skill 流程走完五维检查,输出带 A–D 评级的鉴定报告;对存疑项会写明核实方向。
复现官方示例时,可直接使用 Skill 文档中的用户句:
帮我检查一下这个AI回答:根据最新研究,每天喝8杯水可以预防所有疾病
预期行为是生成鉴定报告,指出来源与表述问题,并给出较低可信度等级(文档示例为 D 级)。
适用场景与注意¶
适合:技术调研草稿、运营文案、模型生成的数据结论等需要「第二道人工化审视」的文本;希望用同一套维度反复核对,而不是每次临时想检查项。
注意:
- 检查由当前 Agent 按 Prompt 执行,结论依赖模型推理与知识边界,不能替代权威数据库、原始文献或专业审计;Skill 自身也在「专业领域匹配」维度要求超出能力时诚实说明。
- 报告模板含结构化分段与符号标记,便于扫读,但是否采纳仍需人做最终判断。
- SkillHub 页面统计(抓取时):评分 100000,下载 882 次;安装计数以平台展示为准。
结尾¶
AI照妖镜把「这段 AI 输出能不能信」拆成可重复的五维流程和 A–D 评级报告,适合接到 Cursor、Claude Code、Codex 等已支持 Skills 的环境里做内容核实。官方介绍与安装入口:SkillHub - AI照妖镜。