前言¶
爬虫失败的常见结局是盯着 403、429 或空白页猜原因：是 IP 被封了，还是 TLS 指纹被识别，还是 JS 挑战没过。逐个试错的成本很高，而且很多方案（比如直接换无头浏览器）本身会被更高层的检测挡住。下面介绍的 Skill「反爬识别·分层绕行」（坐标 @user_283a17af/anti-bot-bypass，版本 1.0.11）解决的就是这个问题：先用探针判定站点用了哪一层防护，再按「最低成本阶梯」逐级升级方案，避免一上来就用最重的手段。
这是什么¶
「反爬识别·分层绕行」是一个社区来源（community）的 dev-programming 分类 Skill，由 user_283a17af 发布维护，当前版本 1.0.11。它把市面上主流反爬应对能力收拢成一套流程：先用探针判定站点的防护层次（IP / TLS 指纹 / JS 挑战 / 浏览器指纹 / 行为分析 / 验证码 / 字体 CSS 加密 / 参数加密），再按最低成本阶梯逐级升级方案：
curl_cffi → patchright/nodriver → camoufox → 真实浏览器 CDP → 商业 API
即能用轻量 HTTP 客户端解决的，不先上浏览器；能用浏览器解决的，不先买商业服务。Skill 标签 requires_api_key=false，即使用本身不需要额外 API key。
核心功能¶
探针分层诊断¶
内置探针用中文编号的 [Exxx] 错误码报告命中了哪一层防护，并带自动重试。诊断结论直接决定后续走哪条路线，而不是无差别地换 UA、换代理。
指纹特征库¶
覆盖海外 Cloudflare、Akamai、DataDome、PerimeterX、Kasada，以及国内瑞数、极验、顶象、腾讯天御、同盾、数美、网易易盾的指纹特征。识别出厂商后，可按对应特征调整请求头、指纹参数和行为节奏。
最低成本阶梯方案¶
阶梯从 curl_cffi（模拟浏览器 TLS/JA4 指纹的 HTTP 客户端）开始，逐步升级到 patchright/nodriver（无头浏览器）、camoufox（反指纹 Firefox 内核）、真实浏览器 CDP，最后才是商业 API。每升一级成本更高、成功率通常也更高，先探针诊断再选级，避免过度投入。
内置工具集¶
- 自家 Chrome CDP 复用（L5）：直接驱动用户本机已登录的 Chrome，省去购买或维护指纹浏览器。
- 指纹池：UA / 分辨率加权，按站点容忍度分配指纹组合。
- 反检测注入清单：通过 addInitScript 在页面加载前注入脚本，抹平自动化痕迹。
- 拟人逐字打字：按重尾分布的延迟逐字输入，替代机械式批量填表。
- 自适应抗改版（auto_save）：站点改版后自动保存并适配选择器变化。
- 选器路由矩阵：同一目标页面多种选择器策略路由，单一选择器失效时切换。
- 合规四查：采集前检查合法性、robots、频率与数据敏感性。
版本演进中补充的检测应对¶
- v1.0.6：JA4+ 完整指纹体系（JA4/JA4S/JA4H/JA4L 四维交叉），打乱扩展顺序绕过已失效；Cloudflare AI 流量按 Search/Agent/Training 分类；DataDome 意图分析与大规模客户模型；Akamai 持续认证；Kasada bytecode VM 与时间绑定 token；设备 DNA 持久化与跨站图关联；第四代 AI 动态风控与边缘前置。
- v1.0.7：Cloudflare Precursor 会话级持续行为验证（均匀随机的「拟人」反而成 bot 指纹）；Web Bot Auth（RFC 9421）、DataDome KYA、HUMAN Verified 等 AI Agent 身份认证趋势；DataDome Agent Trust 与 Priority Protect；Kasada V2；BotBase 与 AI 诱饵页面；拟人延迟统一重尾分布与 replay_track 轨迹回放。
- v1.0.8：Cloudflare Adaptive Intelligence 持续自学习检测引擎（短命轮换规则，固定对策有效期被压向小时级）；Web Bot Auth IETF 正式采纳、2026-09-15 起默认屏蔽 Agent 已生效；PACT 浏览器访问令牌趋势；Precursor 运营实况校准（opt-in、刷新不重置分数、防护洼地）。
- v1.0.9：蒸馏自 Apify 生态的页面提取与 LLM 输出策略（媒体请求阻断、折叠展开、动态等待超时降级、链接绝对化、Markdown 输出收敛、常驻服务化），比对去重仅收增量。
- v1.0.10 / v1.0.11（2026-10 市场增量）：进入「付费墙时代」——Cloudflare Pay Per Crawl / Monetization Gateway（2026-09-30 closed beta，HTTP 402 + x402 按量收费，自定义头 crawler-price/max-price/charged，Cloudflare 作 Merchant of Record，USDC on Base，每请求 \(0.001~\)100）；Web Bot Auth 操作细节（crawltest 验签端点、Signature-Agent 硬规则、不支持的 RFC 9421 参数、Forwarded 信任链、官方 Rust/TS 库）；开源 PoW 算力挑战网关 Anubis（argon2id memory-hard WASM，GNOME/FFmpeg/kernel.org 部署，DENY/CHALLENGE 默认返 200 陷阱）；新工具 pydoll（apply_fingerprint 全栈一致指纹，扛 toString/原型链检查并传导 Web Worker）与 zendriver（nodriver 活跃 fork）；cloudscraper 2026 年已大面积失效；瑞数 AI 安全产品体系（2026-09-08：AI 智能对抗 / BATM / AITM，动态响应码、虚假成功页面、无限深度陷阱）。
其中 v1.0.5 的 R/C/T 短板根治（探针中文编号 + 自动重试、FAQ 31 条、5 分钟上手路径图、国内环境适配）在后续版本中保留。
安装与启用¶
Skill 托管在 SkillHub，官方页面：
https://www.skillhub.cn/skills/user_283a17af/anti-bot-bypass
坐标 @user_283a17af/anti-bot-bypass，分类 dev-programming，社区来源，requires_api_key=false。SkillHub 页面抓取失败时，以 https://api.skillhub.cn/user_283a17af/anti-bot-bypass 的接口返回为准。具体的安装命令和各客户端（Cursor / Codex CLI / Claude Code）的接入方式以官方页面当前说明为准，此处不代写未核实的命令。
典型用法¶
按 Skill 设计，典型流程分三步：
1、先用探针请求目标站点，拿到 [Exxx] 中文编号的诊断结果，确认命中的防护层（IP、TLS 指纹、JS 挑战、浏览器指纹、行为分析、验证码、字体 CSS 加密、参数加密之一或组合）。
2、按诊断结果选阶梯级别：仅 IP/TLS 层问题从 curl_cffi 起步；JS 挑战或浏览器指纹问题升级到 patchright/nodriver 或 camoufox；行为分析、持续验证类问题走真实浏览器 CDP（自家 Chrome 复用）并配合 addInitScript 注入与拟人逐字打字；验证码与付费墙场景直接评估商业 API 或按 x402 规则付费。
3、采集前过合规四查，运行中开启自适应抗改版（auto_save）应对站点改版，页面提取阶段用媒体请求阻断、动态等待超时降级、链接绝对化、Markdown 输出收敛等策略收敛结果。
适用场景与注意¶
适合以下场景：电商价格监控、网页数据采集、公开数据抓取、招聘信息 / 商品价格 / 热点榜单采集，以及 Cloudflare 拦截、验证码过不去、字体反爬、JS 加密参数、TLS 指纹、指纹伪装、拟人化浏览等具体问题。
注意三点：
- 该 Skill 强调「合法绕过」，合规四查是内置环节，采集前应自行确认目标站点条款、robots 与数据敏感性，Skill 不替代法律判断。
- 反爬对抗是动态的：v1.0.6 之后的市场增量（Adaptive Intelligence、Precursor、Web Bot Auth、付费墙、Anubis）都说明固定对策有效期在被压向小时级甚至按请求计费，方案需随版本更新维护。
- 站点改版、验证码策略变更、指纹浏览器内核版本滞后都可能让现有配置失效，auto_save 与选器路由矩阵用来降低这类维护成本。
结尾¶
「反爬识别·分层绕行」的价值在于把反爬应对从「逐个试错」变成「先诊断、再升级」：探针定位防护层，最低成本阶梯选级，指纹库和内置工具集覆盖海外与国内主流厂商。对于经常在 Cloudflare、瑞数、极验这类防护站点上采集数据的开发者，它提供了一个可维护的起点。
官方地址：https://api.skillhub.cn/user_283a17af/anti-bot-bypass（页面：https://www.skillhub.cn/skills/user_283a17af/anti-bot-bypass）
