前言¶
做行業研究或政策跟蹤時，往往需要把分散在部委官網、央媒與新聞門戶上的文章先收攏到本地，再交給模型做摘要或入庫。手工檢索、逐站收藏成本高，也容易漏掉新發文。通用搜索能補一部分缺口，但對「指定來源 + 關鍵詞過濾 + 去重落盤」這類流水線，往往還要自己寫腳本維護。
下面介紹 SkillHub 社區 Skill「文章獲取爬蟲」（@user_6ed3129a/capoocat，v1.0.0）。它把面向中國政府與新聞網站的抓取邏輯、關鍵詞篩選和本地目錄結構寫進 SKILL.md 與 crawler_skill.py，讓 Agent 在對話裏按場景觸發採集，也支持在裝好依賴後直接跑腳本。
這是什麼¶
「文章獲取爬蟲」是發佈者 CAPOOCAT（SkillHub 賬號 user_6ed3129a）提交的社區 Skill，分類爲 data-analysis，子類爲網頁抓取；標籤 requires_api_key=false，無需額外 API Key。
官方簡介（英文，與 SkillHub 頁面一致）：
Crawls Chinese government and news websites for AI, digitalization, and informatization articles. Invoke when user needs to collect articles about artificial intelligence, digital transformation, or technology policy from Chinese official sources.
Skill 包內 name 字段爲 web-crawler，對外展示名爲「文章獲取爬蟲」。當前僅 1.0.0 一個版本；SkillHub 頁面統計（截至頁面展示）爲下載約 2252 次、安裝 39 次。
- SkillHub 頁面：https://www.skillhub.cn/skills/user_6ed3129a/capoocat
- API 座標頁：https://api.skillhub.cn/user_6ed3129a/capoocat
核心功能¶
依據 Skill 包內的 SKILL.md、README.md 與 crawler_skill.py，已覈實能力如下。
多來源抓取¶
政務站點（SKILL.md 列舉，腳本默認啓用子集）包括國家能源局、工業和信息化部、國家互聯網信息辦公室、國家發展改革委、四川省經濟和信息化廳、國家信息化專家諮詢委員會等域名。
新聞站點包括新華網、人民網、央視新聞、觀察者網、澎湃新聞等。crawler_skill.py 的 run() 方法當前默認輪詢：國家能源局、工業和信息化部、新華網、澎湃新聞，並對各源設置不同的單次抓取上限。
關鍵詞包含與排除¶
包含側覆蓋「人工智能、數字化、信息化、智能化、AI、算法、大數據、雲計算、數字經濟、數字轉型」等中英混合詞。
排除側過濾採購招標、公示公告、處罰認定等與政策資訊無關的公文類標題，減少噪聲。
落盤與去重¶
運行後在工作目錄生成：
original_articles/：正文article_links/：鏈接與元數據ai_summaries/：摘要目錄（Skill 文檔中說明；是否寫入取決於後續流程）crawled_links.json：已爬 URL，用於跳過重複
腳本帶 HTTP 重試、發佈日期解析、按序號增量保存；if __name__ == "__main__" 入口默認 target_count=10。
Agent 觸發條件¶
當用戶需要從中國官方或主流媒體來源收集人工智能、數字化轉型、科技信息化政策類文章時，按 SKILL.md 描述由 Agent 加載該 Skill 並執行採集流程（具體步驟由 Agent 讀取 Skill 指令後決定）。
安裝與啓用¶
方式一：SkillHub CLI（推薦）¶
先按 SkillHub 安裝說明 檢查或安裝 skillhub CLI。安裝 Skill 時必須用 --dir 指向當前 Agent 的 skills 目錄，否則默認落在 ./skills/ 可能不會被識別。
command -v skillhub && skillhub --version
未安裝 CLI 時，可用官方腳本（完整安裝含默認 Skill）：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
安裝本 Skill 到對應目錄，例如 Cursor：
skillhub install @user_6ed3129a/capoocat --dir ~/.cursor/skills/
其他客戶端常見路徑（摘自同一安裝文檔）：Claude Code ~/.claude/skills/；Codex ~/.codex/skills/ 或項目下 .agents/skills/。裝好後按各客戶端要求重啓或刷新 Agent，使 Skill 生效。
方式二：頁面提示詞或 Zip¶
SkillHub 詳情頁提供的安裝提示爲：根據 https://skillhub.cn/install/skillhub.md，安裝 @user_6ed3129a/capoocat。也可下載 Zip：
https://api.skillhub.cn/api/v1/download?slug=@user_6ed3129a/capoocat
解壓後將整個 Skill 目錄放入上述 skills 路徑即可。
Python 依賴¶
Skill 文檔聲明依賴 requests、beautifulsoup4、lxml。包內未附帶 requirements.txt，需自行安裝：
pip install requests beautifulsoup4 lxml
典型用法¶
在 Agent 對話中¶
按官方 description，在需要採集中國政務或新聞來源的 AI / 數字化 / 科技政策文章時，可直接說明意圖，例如：
請使用文章獲取爬蟲 Skill，從工信部和新華網抓取最近與「人工智能」「數字化」相關的文章，保存到當前項目目錄。
Agent 加載 @user_6ed3129a/capoocat 後，應依據 SKILL.md 調用 crawler_skill.py 或按 Skill 內步驟組織輸出。
直接運行腳本¶
進入 Skill 安裝目錄後執行（路徑以你 --dir 下的實際位置爲準；README.md 中 Trae 示例爲 .trae/skills/web-crawler/crawler_skill.py）：
python crawler_skill.py
默認抓取 10 篇並打印進度；完成後終端會提示 original_articles/ 與 article_links/ 路徑。若要改來源或關鍵詞，按 README.md 修改 run() 內 sources 列表，或調整類中的 keywords / exclude_keywords。
適用場景與注意¶
適合：政策與行業研究員、需要定期歸檔部委與央媒 AI/數字化報道的團隊；希望把「多站抓取 + 關鍵詞過濾 + 本地 JSON 去重」交給 Agent 統一調度的開發者。
限制與注意：
- 合規與站點規則：目標站點多爲主流媒體與政務網站，請遵守各站 robots 與服務條款，控制頻率；腳本使用固定
User-Agent與重試，生產環境宜再加限速與異常監控。 - 文檔與文件名：
SKILL.md示例命令爲python gov_crawler.py，但 v1.0.0 包內實際入口爲crawler_skill.py，以包內文件爲準。 - 來源列表不一致：
SKILL.md列出的站點多於crawler_skill.py默認sources，擴展來源需改代碼。 - 無 API Key：
requires_api_key=false，但運行環境仍需可訪問外網及 Python 依賴。 - SkillHub 概述爲空：頁面
overviewMd無額外長文，細節以 Zip 內三文件爲準。
SkillHub 安全掃描結果在詳情頁展示爲「安全，無風險」（Keen、叄步等報告鏈接見頁面 JSON），安裝前仍建議自行審閱 crawler_skill.py 網絡請求邏輯。
結尾¶
「文章獲取爬蟲」把政務與新聞站點的 AI、數字化、信息化資訊採集流程封裝成可安裝的 Agent Skill：關鍵詞過濾、去重與目錄結構在包內寫清，既可對話觸發，也可 python crawler_skill.py 直接跑。需要安裝或查看版本時，打開 SkillHub 詳情頁：https://www.skillhub.cn/skills/user_6ed3129a/capoocat 。
