工程化網頁爬蟲（Crawlee）：把採集腳本改造成可靠流水線

這個 Skill 給出的是基於 Crawlee 的工程化網頁採集方法論，覆蓋請求路由、反封禁、數據存儲與瀏覽器自動化四個環節，目標是在 Node.js / Python 裏產出能長期運行、數據完整的採集流水線，而不是一次性腳本。出品方爲崑崙增長，版本 1.0.0，分類 dev-programming，不依賴 API Key。文章從採集腳本常見的「跑不完、被攔截、數據缺失」三類問題切入，先介紹 Skill 的定位與 SkillHub 上的公開數據，再逐條說明四項核心能力對應的 Crawlee 機制（router 與 default_handler、Browserforge 指紋與請求頭生成、Dataset 與 push_data、PlaywrightCrawler 與 BeautifulSoupCrawler）。安裝部分給出 Python 側已覈實的官方命令：pip install crawlee[all]、playwright install、Crawlee CLI 模板創建；Node.js 側對應 Apify 的 Crawlee for JS/TS。用法部分引用官方文檔中 BeautifulSoupCrawler 與 PlaywrightCrawler 的最小可運行示例，說明 handler 註冊、數據提取、落盤與鏈接發現流程。最後列出適用場景和五點注意事項，包括 max_requests_per_crawl 的調試上限、靜態頁面優先選 BeautifulSoupCrawler、按站點拆分路由、反封禁需配合代理與速率策略，以及內網需處理依賴鏡像源。