工程化网页爬虫（Crawlee）：把采集脚本改造成可靠流水线

这个 Skill 给出的是基于 Crawlee 的工程化网页采集方法论，覆盖请求路由、反封禁、数据存储与浏览器自动化四个环节，目标是在 Node.js / Python 里产出能长期运行、数据完整的采集流水线，而不是一次性脚本。出品方为昆仑增长，版本 1.0.0，分类 dev-programming，不依赖 API Key。文章从采集脚本常见的「跑不完、被拦截、数据缺失」三类问题切入，先介绍 Skill 的定位与 SkillHub 上的公开数据，再逐条说明四项核心能力对应的 Crawlee 机制（router 与 default_handler、Browserforge 指纹与请求头生成、Dataset 与 push_data、PlaywrightCrawler 与 BeautifulSoupCrawler）。安装部分给出 Python 侧已核实的官方命令：pip install crawlee[all]、playwright install、Crawlee CLI 模板创建；Node.js 侧对应 Apify 的 Crawlee for JS/TS。用法部分引用官方文档中 BeautifulSoupCrawler 与 PlaywrightCrawler 的最小可运行示例，说明 handler 注册、数据提取、落盘与链接发现流程。最后列出适用场景和五点注意事项，包括 max_requests_per_crawl 的调试上限、静态页面优先选 BeautifulSoupCrawler、按站点拆分路由、反封禁需配合代理与速率策略，以及内网需处理依赖镜像源。