微信公衆號內容爬取 Skill:圖文抓取、多格式導出與知識庫同步

前言

公衆號文章的正文不在開放網頁裏,想批量採集並歸檔到自己的知識庫,通常要自己拼三層東西:搜狗微信入口的發現邏輯、正文解析與格式轉換、以及落到 IMA / Dify / Obsidian 的同步鏈路。每層都要處理限速、驗證頁、去重和增量記賬,屬於重複勞動。

下面介紹的這個 Skill 把這三層打包成一個可調用的能力,輸入關鍵詞或文章 URL,輸出指定格式的文件,並可選同步到知識庫。

這是什麼

微信公衆號內容爬取skill,座標 @user_9d5a2a39/wechat-article-scraper,發佈者 user_9d5a2a39,來源爲 community,分類 data-analysis,標籤 requires_api_key=true。它解決的是公衆號圖文從發現、抓取、去重到多平臺導出的整條鏈路問題。

版本信息在資料裏有兩處:SkillHub 頁面字段記錄的是 1.0.2,而簡介正文標註的是 v1.2.0。兩者並存,實際使用時以安裝到本地的技能包爲準。

SkillHub 上該技能評分 100000,下載 1288 次。

核心功能

下面按資料裏列出的能力分節說明。

爬取模式

三種模式,覆蓋不同入口:

1、搜狗搜索發現:給關鍵詞,從搜狗微信入口發現文章。
2、URL 直接抓取:給文章鏈接,直接抓正文。
3、批量一體化:上面兩種混在一起跑,適合按主題批量歸檔。

輸出格式

四種正文格式:Markdown、Text、HTML、JSON。另外會產出一份純文本的 Markdown 目錄,方便後續檢索。

知識庫同步

三個目標:IMA、Dify、Obsidian,一鍵同步。API Key 優先讀環境變量,不要把密鑰寫進參數或配置文件。

去重

三重判斷:規範鏈接、內容哈希、標題相似度。命中重複時返回重複原因,而不是靜默跳過,便於排查。

過濾與排序

支持日期範圍、關鍵詞、相關性三個維度,在抓取階段就過濾,減少無效請求。

離線分析

抓取之後可以做:抽取式摘要、高頻關鍵詞提取、爬取歷史增量記賬。增量記賬意味着再次運行時可以只處理新出現的文章。

網絡層

限速;只對 429、5xx、超時做重試,並遵守響應頭裏的 Retry-After;帶緩存 TTL;遇到驗證頁或限流狀態時顯式回報,不僞裝成抓取成功。

產物落盤

默認寫入系統臨時目錄。導出子目錄不得越出 vault 或輸出根,技能包內不留二進制文件。

安裝與啓用

已抓取資料裏沒有提供安裝命令和具體配置項,這部分不推測。要確認安裝方式,請打開下方官方地址查看。

可以確定的兩點:

1、該技能標記 requires_api_key=true,使用前需要自行準備並配置對應的 API Key,配置時優先走環境變量。
2、它基於通用 SKILL.md 格式,因此在支持該格式的 Agent 環境裏可以直接掛載。

觸發方式

技能帶一組觸發詞,直接說需求即可觸發,不必記命令。觸發詞包括:

微信公衆號、公衆號文章、微信圖文、爬取公衆號、微信爬取、公衆號搜索、微信文章導出、微信文章下載、公衆號內容、微信知識庫、公衆號批量、微信ZIP、IMA導入、Dify導入、Obsidian同步、微信全文、公衆號爬蟲、微信採集、圖文采集、搜狗微信、微信文章歸檔。

典型用法

以下三種形態來自官方資料的能力描述,具體參數以技能包內說明爲準。

單篇抓取

給一個文章 URL,直接抓取正文並輸出爲 Markdown 或 Text,用於臨時引用。

主題發現

給一組關鍵詞,走搜狗搜索發現路徑,按日期範圍和關鍵詞過濾,輸出排序後的文章列表加正文。適合做某個領域的素材盤點。

批量歸檔

把發現和抓取合併跑,產物落到臨時目錄,同時增量記賬,之後同步到 IMA 或 Obsidian。再次運行時,已抓過的文章會被去重跳過,只處理新增部分。

適用場景與注意

適合需要持續歸檔公衆號內容、並希望內容最終落在自有知識庫裏的開發者,尤其是把公衆號當作信息源做二次整理的團隊。

幾個需要注意的點:

1、限速是硬約束。技能只對 429、5xx 和超時重試,遇到限流要退避,不要繞過。
2、驗證頁會被明確報出來。如果返回的是驗證頁而不是正文,說明入口被攔,此時需要人工介入或換入口,不要反覆重試。
3、去重會返回原因。命中重複時看一下原因字段,區分是鏈接規範化造成的假重複,還是內容確實重複。
4、產物默認在臨時目錄。需要長期保存的內容要自己搬移到 vault 或輸出根,導出路徑越界會被攔。
5、不要提交二進制文件。技能包內不含二進制,導出結果如含圖片等二進制資源,需自行處理。
6、API Key 走環境變量,不要寫進代碼或配置文件裏提交。

結尾

這個 Skill 的價值在於把公衆號圖文采集這條鏈路的重複勞動收掉:發現、抓取、去重、導出、同步一次跑完,同時在網絡層做了限速和顯式狀態回報,不會把失敗僞裝成成功。

官方地址:https://api.skillhub.cn/user_9d5a2a39/wechat-article-scraper
SkillHub 頁面:https://www.skillhub.cn/skills/user_9d5a2a39/wechat-article-scraper

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜