微信公众号内容爬取 Skill:图文抓取、多格式导出与知识库同步

前言

公众号文章的正文不在开放网页里,想批量采集并归档到自己的知识库,通常要自己拼三层东西:搜狗微信入口的发现逻辑、正文解析与格式转换、以及落到 IMA / Dify / Obsidian 的同步链路。每层都要处理限速、验证页、去重和增量记账,属于重复劳动。

下面介绍的这个 Skill 把这三层打包成一个可调用的能力,输入关键词或文章 URL,输出指定格式的文件,并可选同步到知识库。

这是什么

微信公众号内容爬取skill,坐标 @user_9d5a2a39/wechat-article-scraper,发布者 user_9d5a2a39,来源为 community,分类 data-analysis,标签 requires_api_key=true。它解决的是公众号图文从发现、抓取、去重到多平台导出的整条链路问题。

版本信息在资料里有两处:SkillHub 页面字段记录的是 1.0.2,而简介正文标注的是 v1.2.0。两者并存,实际使用时以安装到本地的技能包为准。

SkillHub 上该技能评分 100000,下载 1288 次。

核心功能

下面按资料里列出的能力分节说明。

爬取模式

三种模式,覆盖不同入口:

1、搜狗搜索发现:给关键词,从搜狗微信入口发现文章。
2、URL 直接抓取:给文章链接,直接抓正文。
3、批量一体化:上面两种混在一起跑,适合按主题批量归档。

输出格式

四种正文格式:Markdown、Text、HTML、JSON。另外会产出一份纯文本的 Markdown 目录,方便后续检索。

知识库同步

三个目标:IMA、Dify、Obsidian,一键同步。API Key 优先读环境变量,不要把密钥写进参数或配置文件。

去重

三重判断:规范链接、内容哈希、标题相似度。命中重复时返回重复原因,而不是静默跳过,便于排查。

过滤与排序

支持日期范围、关键词、相关性三个维度,在抓取阶段就过滤,减少无效请求。

离线分析

抓取之后可以做:抽取式摘要、高频关键词提取、爬取历史增量记账。增量记账意味着再次运行时可以只处理新出现的文章。

网络层

限速;只对 429、5xx、超时做重试,并遵守响应头里的 Retry-After;带缓存 TTL;遇到验证页或限流状态时显式回报,不伪装成抓取成功。

产物落盘

默认写入系统临时目录。导出子目录不得越出 vault 或输出根,技能包内不留二进制文件。

安装与启用

已抓取资料里没有提供安装命令和具体配置项,这部分不推测。要确认安装方式,请打开下方官方地址查看。

可以确定的两点:

1、该技能标记 requires_api_key=true,使用前需要自行准备并配置对应的 API Key,配置时优先走环境变量。
2、它基于通用 SKILL.md 格式,因此在支持该格式的 Agent 环境里可以直接挂载。

触发方式

技能带一组触发词,直接说需求即可触发,不必记命令。触发词包括:

微信公众号、公众号文章、微信图文、爬取公众号、微信爬取、公众号搜索、微信文章导出、微信文章下载、公众号内容、微信知识库、公众号批量、微信ZIP、IMA导入、Dify导入、Obsidian同步、微信全文、公众号爬虫、微信采集、图文采集、搜狗微信、微信文章归档。

典型用法

以下三种形态来自官方资料的能力描述,具体参数以技能包内说明为准。

单篇抓取

给一个文章 URL,直接抓取正文并输出为 Markdown 或 Text,用于临时引用。

主题发现

给一组关键词,走搜狗搜索发现路径,按日期范围和关键词过滤,输出排序后的文章列表加正文。适合做某个领域的素材盘点。

批量归档

把发现和抓取合并跑,产物落到临时目录,同时增量记账,之后同步到 IMA 或 Obsidian。再次运行时,已抓过的文章会被去重跳过,只处理新增部分。

适用场景与注意

适合需要持续归档公众号内容、并希望内容最终落在自有知识库里的开发者,尤其是把公众号当作信息源做二次整理的团队。

几个需要注意的点:

1、限速是硬约束。技能只对 429、5xx 和超时重试,遇到限流要退避,不要绕过。
2、验证页会被明确报出来。如果返回的是验证页而不是正文,说明入口被拦,此时需要人工介入或换入口,不要反复重试。
3、去重会返回原因。命中重复时看一下原因字段,区分是链接规范化造成的假重复,还是内容确实重复。
4、产物默认在临时目录。需要长期保存的内容要自己搬移到 vault 或输出根,导出路径越界会被拦。
5、不要提交二进制文件。技能包内不含二进制,导出结果如含图片等二进制资源,需自行处理。
6、API Key 走环境变量,不要写进代码或配置文件里提交。

结尾

这个 Skill 的价值在于把公众号图文采集这条链路的重复劳动收掉:发现、抓取、去重、导出、同步一次跑完,同时在网络层做了限速和显式状态回报,不会把失败伪装成成功。

官方地址:https://api.skillhub.cn/user_9d5a2a39/wechat-article-scraper
SkillHub 页面:https://www.skillhub.cn/skills/user_9d5a2a39/wechat-article-scraper

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye