网页爬虫开发:静态/动态抓取到存储的完整流程
网页爬虫开发是一个社区维护的 Agent Skill(坐标 @user_3c6cb52e/self-ent-tech-web-scraper,版本 2.0.1,SkillHub 分类 data-analysis)。官方简介称其覆盖爬虫开发全流程:静态页面抓取、动态页面抓取、反爬绕过、数据清洗与存储四个环节,适合需要批量取数并关注抓取稳定性与数据清洗的开发者。该 Skill 基于通用 SKILL.md 格式,标签 requires_api_key=false,不需要额外 API Key。SkillHub 页面未公开文档正文与专用安装命令,文中安装部分仅给出通用约定并建议先通读 SKILL.md 正文再使用;使用反爬环节需遵守目标站点 robots 协议与服务条款。
阅读全文