llm-pentest-checklist:把 LLM 渗透测试方法论装进 Agent Skills

前言

大模型应用上线后,测试面往往不止「对话能不能被越狱」。Agent 工具调用、RAG 知识库、MCP 端点、云原生推理环境叠在一起,单靠零散记几条 prompt 很难覆盖完整攻击链。手工翻 OWASP LLM Top 10、MITRE ATLAS 对照表又费时,还容易漏掉「先测绘再动手」的步骤。

下面介绍的 llm-pentest-checklist 是 SkillHub 社区 Skill(坐标 @user_3fd87291/llm-pentest-checklist,当前版本 1.0.1),把 LLM 渗透的思维框架、实战章节和可勾选检查清单写进通用 SKILL.md 包。装到 Cursor、Codex 等支持 Skills 的客户端后,Agent 在授权红队/渗透任务里可以按同一套结构推进,而不是每次从零拼凑话术。

这是什么

llm-pentest-checklist 定位为 LLM / AI 应用渗透测试的知识型 Skill:不依赖外部 API Key(标签 requires_api_key=false),发布来源为 community,分类 it-ops-security,维护者为 user_3fd87291。

安装包内主要是两份 Markdown:

  • SKILL.md:标题为「LLM 渗透测试实战技能手册」,说明 LLM 测试与传统 Web 测试的差异、攻击面测绘、注入与 Agent/RAG/MCP/基础设施/供应链等章节,并附带漏洞定级与阶段检查点。
  • llm-pentest-checklist.md:标题为「LLM 渗透测试检查清单」,按九大模块列出可执行检查项;文档自述基于《AI红队攻防指南》提炼,并声明覆盖 OWASP LLM Top 10、MITRE ATLAS、NVIDIA AI Kill Chain 的交叉映射(文档内版本标注 v1.0,更新日期 2026-05-04)。

适用对象在 Skill 正文中写为:有一定 Web 渗透基础、希望进入 AI 安全领域的测试人员。

核心功能

结合已发布的 Skill 文件,可核实的能力如下。

思维框架与攻击面测绘

SKILL.md 强调 LLM 渗透不等于只测 prompt injection,并给出传统 Web 与 LLM 测试的思维对比。开测前围绕五类问题组织侦察:模型部署位置、可用工具/能力、是否使用 RAG、是否存在 MCP/Agent 协议、供应链依赖形态。文中包含工具枚举思路、RAG/MCP 探测示例,以及按风险分层的漏洞层次(从 Prompt 注入到基础设施与供应链)。

分主题实战 playbook

同一文件按章节展开可复用的测试思路与示例 payload/命令,主要包括:

  1. 提示注入多层绕过(系统指令、语义伪装、编码变形、多轮 Crescendo、上下文淹没等)。
  2. Agent 渗透(工具权限边界、工具输出信任链、二阶注入、函数调用劫持、记忆投毒)。
  3. RAG 渗透(架构类型判断、文档投毒、Embedding 相关攻击思路、成员推断)。
  4. MCP 协议攻击(工具描述注入、参数与路径穿越、Server 注册、SSTI 链路思路)。
  5. 基础设施(K8s、AWS IMDS/SSRF 等路径描述)与供应链(PyPI、Pickle、LoRA、Tokenizer 等)。

文末提供 P0–P3 定级框架、攻击链性价比评估公式,以及分阶段自检清单。

结构化检查清单

llm-pentest-checklist.md 将工作拆成九块,每块为带 - [ ] 的检查项,便于在对话中逐项核对或生成报告骨架:

模块 覆盖方向(摘要)
1. 信息收集与侦察 HTTP/JS 指纹、模型与 RAG 探测、认证与 OSINT
2. 提示注入攻击 OWASP LLM01 类直接注入、多轮与编码绕过
3. AI Agent 攻击 工具描述注入、记忆投毒、Tool Call 劫持、二阶注入
4. 多 Agent 与 A2A 架构分析、Confused Deputy、Agent Card、Rogue 注册
5. RAG 与 Embedding 文档投毒、碰撞与慢 drip、反推与成员推断
6. MCP 与供应链攻击 路径穿越、SSTI、浏览器 Pivot 等
7. 基础设施与云原生 AWS/K8s/GPU 逃逸、MLflow 等检查项
8. 供应链安全测试 PyPI、Pickle、LoRA、Tokenizer
9. 横向贯穿检测 数据泄露、鉴权、输出安全、MITRE ATLAS 映射项

附录列出文中提到的工具名称(如 rogue_agent.py、emb_fin.py 等)及 SIEM 检测规则示例;Skill 安装目录中未包含这些脚本文件,仅作方法论引用。

安装与启用

SkillHub 页面建议:让 Agent 按 SkillHub 安装说明 安装 @user_3fd87291/llm-pentest-checklist。人工操作时,可先确认本机已有 skillhub CLI,再用 --dir 指向当前 Agent 的 skills 目录(装到默认 ./skills/ 可能不会被客户端加载)。

command -v skillhub && skillhub --version

未安装 CLI 时,可按官方文档执行完整安装(示例):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安装本 Skill:

skillhub install llm-pentest-checklist --namespace user_3fd87291 --dir <你的 Agent skills 目录>

常见客户端 skills 路径(来自 SkillHub 安装文档):

  • Cursor:~/.cursor/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/
  • Claude Code:~/.claude/skills/

安装后按各客户端要求重启或刷新 Skills 缓存。本 Skill 无需配置 API Key。

典型用法

在已取得书面授权的靶场或客户范围内,可以把任务描述交给已加载该 Skill 的 Agent,让其对照清单推进。示例对话意图如下(非官方固定命令,仅说明协作方式):

  1. 「对 https://example.com/api/chat 做 LLM 渗透前的攻击面测绘,按 Skill 里情报章节的五个问题输出结论。」
  2. 「根据 llm-pentest-checklist.md 第 2 章,生成提示注入测试用例并标注对应 OWASP LLM01。」
  3. 「目标疑似带 RAG 与 MCP,请按检查清单第 5、6 章列出优先测试项和 curl 探测命令。」
  4. 「完成一轮测试后,用 Skill 中的 P0–P3 框架对发现做定级,并填阶段检查点。」

Skill 内自带的侦察示例可直接复用,例如:

curl -sI https://target.com/api/chat | grep -iE 'server|x-powered|x-ai|x-llm'
curl -s https://target.com/.well-known/agent.json | jq '.'

清单文件中亦提供 embedding 维度探测、SSRF 与路径穿越等命令模板,Agent 可在你的目标 URL 上替换 target.com 后执行(仍须遵守授权范围)。

适用场景与注意

适合谁

  • 有 Web 渗透经验、需要系统化切入 LLM/Agent/RAG 测试的红队或安全工程师。
  • 希望在 Cursor/Codex 等环境里,让 Agent 持续引用同一套检查项,减少漏测 MCP、供应链等「非对话层」攻击面。

限制与注意

  • 内容为进攻向方法论与检查项,仅可用于合法授权测试;未经授权对生产系统尝试文中技术可能违法。
  • 安装包仅为 Markdown 指引,附录中的 Python 工具标注为「文档配套」,当前版本未随 Skill 分发可执行脚本。
  • SkillHub 元数据(截至抓取):评分 100000,下载 900,分类 it-ops-security;社区 Skill,使用前请自行评估内容与本地合规要求。
  • 文档引用的 CVE、框架条目随时间变化,执行前应以目标环境与最新公告为准。

结尾

llm-pentest-checklist 把 LLM 渗透从「只测 prompt」扩展到工具链、RAG、MCP 与基础设施的 playbook,并用九章检查清单对齐主流 AI 安全框架,适合作为 Agent 侧的长期参考 Skill。无需 API Key,通过 SkillHub 安装到对应 skills 目录即可启用。

  • SkillHub 页面:https://www.skillhub.cn/skills/user_3fd87291/llm-pentest-checklist
  • API 坐标页:https://api.skillhub.cn/user_3fd87291/llm-pentest-checklist
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜