浏览器自动化工具箱:难抓站点的多方案降级 Skill

前言

做网页采集或浏览器自动化时,常见路径是 Playwright 或 Selenium 直连。一旦站点加强反爬、前端是 SPA 无限滚动,或需要维持登录态、人工过验证码,单一路径往往反复改脚本仍不稳定。下面介绍 SkillHub 上的 浏览器自动化工具箱(Browser Automation Toolbox):把多套爬虫与互补自动化能力打包成 Agent Skill,用自动降级思路应对「难抓」页面,而不是在对话里从零拼命令。

这是什么

浏览器自动化工具箱 是社区来源(community)的 Agent Skill,坐标为 @user_7495c5ed/browser-automation-toolbox,当前版本 v2.0.11,分类为 data-analysis,发布者为 user_7495c5ed(SkillHub 页面标注作者为 thomas)。标签 requires_api_key=false,表示按官方说明不依赖额外 API Key 配置。

一句话定位:浏览器自动化兜底工具箱,面向反爬、反检测较强的站点;内含 4 套爬虫方案自动降级(CloakBrowser / browser-act / Kimi WebBridge / Playwright),以及 1 套普通自动化互补工具(BrowserSkill)。

核心功能

以下能力均来自 SkillHub 官方简介,未在资料中出现的细节不展开。

四套爬虫自动降级

按官方描述,遇到抓取失败或环境不匹配时,可在以下方案间自动降级,减少人工换栈:

  1. CloakBrowser
  2. browser-act
  3. Kimi WebBridge
  4. Playwright

具体降级顺序与触发条件以 Skill 包内 SKILL.md 为准;安装后由 Agent 按技能说明调用。

BrowserSkill 互补自动化

除爬虫栈外,还提供 BrowserSkill 作为普通浏览器自动化互补,适合表单、截图、流程类任务,与「专治难抓」的爬虫栈形成搭配。

官方列出的适用方向

  • 网页爬取、表单填写、截图取证
  • SPA 无限滚动、公开舆情采集
  • 登录态维持、验证码人工接管
  • AI 平台自动化(Gemini / 豆包 / GPT)
  • Skill 评估与能力合入

触发词(便于在对话中唤起):浏览器自动化、爬虫、反爬、反检测、小红书、抖音、B站、微博、AI 平台、Skill 评估、降级兜底。

安装与启用

前置:SkillHub CLI

若本机尚未安装 CLI,可先按 SkillHub 安装文档 检查:

command -v skillhub && skillhub --version

未安装时可执行完整安装(文档推荐):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安装本 Skill

安装时必须用 --dir 指向当前 Agent 的 skills 目录,否则默认落在 ./skills/ 可能不被识别。

skillhub install @user_7495c5ed/browser-automation-toolbox --dir <skills 目录>

各客户端常用 skills 路径(摘自官方安装文档):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/

也可将下面提示词发给 AI,让其按安装文档完成安装:

请根据 https://skillhub.cn/install/skillhub.md,安装 `@user_7495c5ed/browser-automation-toolbox`。

安装后需按所用 Agent 的要求刷新或重启,使技能目录被加载。

典型用法

公开页面未提供独立命令行 demo;实际用法遵循通用 Skill 模式:在 Agent 对话中描述目标页面与约束,并带上官方触发词,由 Agent 读取 SKILL.md 后选择降级链或 BrowserSkill。

可复现的起步方式示例:

  1. 确认已通过 skillhub install 装入对应 skills 目录。
  2. 在 Cursor / Claude Code 等环境中发起任务,例如:「用浏览器自动化工具箱抓取某公开列表页,需要处理无限滚动。」
  3. 若遇登录或验证码,在任务中说明需要维持登录态或人工接管验证码,与官方场景描述一致。
  4. 针对 AI 平台或 Skill 评估类需求,在提示中写明平台名(Gemini、豆包、GPT 等)或「Skill 评估 / 能力合入」,便于命中技能设计场景。

具体脚本路径、参数与降级逻辑以安装包内文档为准;本文不臆造配置项。

适用场景与注意

适合谁

  • 需要采集公开网页、舆情或社交平台内容,且单用 Playwright 经常失败的开发者。
  • 要在 Agent 工作流里做截图取证、表单填写、长列表滚动加载。
  • 需要在自动化中保留人工介入点(验证码、登录)。

使用注意

  • 仅采集你有权访问的公开或授权数据;遵守站点服务条款与当地法规。
  • 自动降级会尝试多种后端,资源占用与耗时可能高于单一 Playwright 脚本,属为成功率付出的成本。
  • SkillHub 页面显示评分 100000、下载 36965(统计以 SkillHub 为准,会随时间变化)。
  • 版本与能力以 v2.0.11 及后续更新为准,升级可用 skillhub 对同一坐标 reinstall/update(操作方式见 SkillHub 安装文档第三节)。

结尾

浏览器自动化工具箱 把 CloakBrowser、browser-act、Kimi WebBridge、Playwright 与 BrowserSkill 收进一个 Skill,用降级兜底应对难抓站点,并覆盖登录、验证码与 AI 平台等常见自动化场景。若你已在用 Cursor 等支持 Skills 的 Agent,可按上文安装坐标 @user_7495c5ed/browser-automation-toolbox 启用。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye