反爬識別·分層繞行:先診斷防護層,再按最低成本階梯升級方案

前言

爬蟲失敗的常見結局是盯着 403、429 或空白頁猜原因:是 IP 被封了,還是 TLS 指紋被識別,還是 JS 挑戰沒過。逐個試錯的成本很高,而且很多方案(比如直接換無頭瀏覽器)本身會被更高層的檢測擋住。下面介紹的 Skill「反爬識別·分層繞行」(座標 @user_283a17af/anti-bot-bypass,版本 1.0.11)解決的就是這個問題:先用探針判定站點用了哪一層防護,再按「最低成本階梯」逐級升級方案,避免一上來就用最重的手段。

這是什麼

「反爬識別·分層繞行」是一個社區來源(community)的 dev-programming 分類 Skill,由 user_283a17af 發佈維護,當前版本 1.0.11。它把市面上主流反爬應對能力收攏成一套流程:先用探針判定站點的防護層次(IP / TLS 指紋 / JS 挑戰 / 瀏覽器指紋 / 行爲分析 / 驗證碼 / 字體 CSS 加密 / 參數加密),再按最低成本階梯逐級升級方案:

curl_cffi → patchright/nodriver → camoufox → 真實瀏覽器 CDP → 商業 API

即能用輕量 HTTP 客戶端解決的,不先上瀏覽器;能用瀏覽器解決的,不先買商業服務。Skill 標籤 requires_api_key=false,即使用本身不需要額外 API key。

核心功能

探針分層診斷

內置探針用中文編號的 [Exxx] 錯誤碼報告命中了哪一層防護,並帶自動重試。診斷結論直接決定後續走哪條路線,而不是無差別地換 UA、換代理。

指紋特徵庫

覆蓋海外 Cloudflare、Akamai、DataDome、PerimeterX、Kasada,以及國內瑞數、極驗、頂象、騰訊天御、同盾、數美、網易易盾的指紋特徵。識別出廠商後,可按對應特徵調整請求頭、指紋參數和行爲節奏。

最低成本階梯方案

階梯從 curl_cffi(模擬瀏覽器 TLS/JA4 指紋的 HTTP 客戶端)開始,逐步升級到 patchright/nodriver(無頭瀏覽器)、camoufox(反指紋 Firefox 內核)、真實瀏覽器 CDP,最後纔是商業 API。每升一級成本更高、成功率通常也更高,先探針診斷再選級,避免過度投入。

內置工具集

  • 自家 Chrome CDP 複用(L5):直接驅動用戶本機已登錄的 Chrome,省去購買或維護指紋瀏覽器。
  • 指紋池:UA / 分辨率加權,按站點容忍度分配指紋組合。
  • 反檢測注入清單:通過 addInitScript 在頁面加載前注入腳本,抹平自動化痕跡。
  • 擬人逐字打字:按重尾分佈的延遲逐字輸入,替代機械式批量填表。
  • 自適應抗改版(auto_save):站點改版後自動保存並適配選擇器變化。
  • 選器路由矩陣:同一目標頁面多種選擇器策略路由,單一選擇器失效時切換。
  • 合規四查:採集前檢查合法性、robots、頻率與數據敏感性。

版本演進中補充的檢測應對

  • v1.0.6:JA4+ 完整指紋體系(JA4/JA4S/JA4H/JA4L 四維交叉),打亂擴展順序繞過已失效;Cloudflare AI 流量按 Search/Agent/Training 分類;DataDome 意圖分析與大規模客戶模型;Akamai 持續認證;Kasada bytecode VM 與時間綁定 token;設備 DNA 持久化與跨站圖關聯;第四代 AI 動態風控與邊緣前置。
  • v1.0.7:Cloudflare Precursor 會話級持續行爲驗證(均勻隨機的「擬人」反而成 bot 指紋);Web Bot Auth(RFC 9421)、DataDome KYA、HUMAN Verified 等 AI Agent 身份認證趨勢;DataDome Agent Trust 與 Priority Protect;Kasada V2;BotBase 與 AI 誘餌頁面;擬人延遲統一重尾分佈與 replay_track 軌跡回放。
  • v1.0.8:Cloudflare Adaptive Intelligence 持續自學習檢測引擎(短命輪換規則,固定對策有效期被壓向小時級);Web Bot Auth IETF 正式採納、2026-09-15 起默認屏蔽 Agent 已生效;PACT 瀏覽器訪問令牌趨勢;Precursor 運營實況校準(opt-in、刷新不重置分數、防護窪地)。
  • v1.0.9:蒸餾自 Apify 生態的頁面提取與 LLM 輸出策略(媒體請求阻斷、摺疊展開、動態等待超時降級、鏈接絕對化、Markdown 輸出收斂、常駐服務化),比對去重僅收增量。
  • v1.0.10 / v1.0.11(2026-10 市場增量):進入「付費牆時代」——Cloudflare Pay Per Crawl / Monetization Gateway(2026-09-30 closed beta,HTTP 402 + x402 按量收費,自定義頭 crawler-price/max-price/charged,Cloudflare 作 Merchant of Record,USDC on Base,每請求 \(0.001~\)100);Web Bot Auth 操作細節(crawltest 驗籤端點、Signature-Agent 硬規則、不支持的 RFC 9421 參數、Forwarded 信任鏈、官方 Rust/TS 庫);開源 PoW 算力挑戰網關 Anubis(argon2id memory-hard WASM,GNOME/FFmpeg/kernel.org 部署,DENY/CHALLENGE 默認返 200 陷阱);新工具 pydoll(apply_fingerprint 全棧一致指紋,扛 toString/原型鏈檢查並傳導 Web Worker)與 zendriver(nodriver 活躍 fork);cloudscraper 2026 年已大面積失效;瑞數 AI 安全產品體系(2026-09-08:AI 智能對抗 / BATM / AITM,動態響應碼、虛假成功頁面、無限深度陷阱)。

其中 v1.0.5 的 R/C/T 短板根治(探針中文編號 + 自動重試、FAQ 31 條、5 分鐘上手路徑圖、國內環境適配)在後續版本中保留。

安裝與啓用

Skill 託管在 SkillHub,官方頁面:

https://www.skillhub.cn/skills/user_283a17af/anti-bot-bypass

座標 @user_283a17af/anti-bot-bypass,分類 dev-programming,社區來源,requires_api_key=false。SkillHub 頁面抓取失敗時,以 https://api.skillhub.cn/user_283a17af/anti-bot-bypass 的接口返回爲準。具體的安裝命令和各客戶端(Cursor / Codex CLI / Claude Code)的接入方式以官方頁面當前說明爲準,此處不代寫未覈實的命令。

典型用法

按 Skill 設計,典型流程分三步:

1、先用探針請求目標站點,拿到 [Exxx] 中文編號的診斷結果,確認命中的防護層(IP、TLS 指紋、JS 挑戰、瀏覽器指紋、行爲分析、驗證碼、字體 CSS 加密、參數加密之一或組合)。

2、按診斷結果選階梯級別:僅 IP/TLS 層問題從 curl_cffi 起步;JS 挑戰或瀏覽器指紋問題升級到 patchright/nodriver 或 camoufox;行爲分析、持續驗證類問題走真實瀏覽器 CDP(自家 Chrome 複用)並配合 addInitScript 注入與擬人逐字打字;驗證碼與付費牆場景直接評估商業 API 或按 x402 規則付費。

3、採集前過合規四查,運行中開啓自適應抗改版(auto_save)應對站點改版,頁面提取階段用媒體請求阻斷、動態等待超時降級、鏈接絕對化、Markdown 輸出收斂等策略收斂結果。

適用場景與注意

適合以下場景:電商價格監控、網頁數據採集、公開數據抓取、招聘信息 / 商品價格 / 熱點榜單採集,以及 Cloudflare 攔截、驗證碼過不去、字體反爬、JS 加密參數、TLS 指紋、指紋僞裝、擬人化瀏覽等具體問題。

注意三點:

  • 該 Skill 強調「合法繞過」,合規四查是內置環節,採集前應自行確認目標站點條款、robots 與數據敏感性,Skill 不替代法律判斷。
  • 反爬對抗是動態的:v1.0.6 之後的市場增量(Adaptive Intelligence、Precursor、Web Bot Auth、付費牆、Anubis)都說明固定對策有效期在被壓向小時級甚至按請求計費,方案需隨版本更新維護。
  • 站點改版、驗證碼策略變更、指紋瀏覽器內核版本滯後都可能讓現有配置失效,auto_save 與選器路由矩陣用來降低這類維護成本。

結尾

「反爬識別·分層繞行」的價值在於把反爬應對從「逐個試錯」變成「先診斷、再升級」:探針定位防護層,最低成本階梯選級,指紋庫和內置工具集覆蓋海外與國內主流廠商。對於經常在 Cloudflare、瑞數、極驗這類防護站點上採集數據的開發者,它提供了一個可維護的起點。

官方地址:https://api.skillhub.cn/user_283a17af/anti-bot-bypass(頁面:https://www.skillhub.cn/skills/user_283a17af/anti-bot-bypass)

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜