前言¶
公众号文章的正文不在开放网页里,想批量采集并归档到自己的知识库,通常要自己拼三层东西:搜狗微信入口的发现逻辑、正文解析与格式转换、以及落到 IMA / Dify / Obsidian 的同步链路。每层都要处理限速、验证页、去重和增量记账,属于重复劳动。
下面介绍的这个 Skill 把这三层打包成一个可调用的能力,输入关键词或文章 URL,输出指定格式的文件,并可选同步到知识库。
这是什么¶
微信公众号内容爬取skill,坐标 @user_9d5a2a39/wechat-article-scraper,发布者 user_9d5a2a39,来源为 community,分类 data-analysis,标签 requires_api_key=true。它解决的是公众号图文从发现、抓取、去重到多平台导出的整条链路问题。
版本信息在资料里有两处:SkillHub 页面字段记录的是 1.0.2,而简介正文标注的是 v1.2.0。两者并存,实际使用时以安装到本地的技能包为准。
SkillHub 上该技能评分 100000,下载 1288 次。
核心功能¶
下面按资料里列出的能力分节说明。
爬取模式¶
三种模式,覆盖不同入口:
1、搜狗搜索发现:给关键词,从搜狗微信入口发现文章。
2、URL 直接抓取:给文章链接,直接抓正文。
3、批量一体化:上面两种混在一起跑,适合按主题批量归档。
输出格式¶
四种正文格式:Markdown、Text、HTML、JSON。另外会产出一份纯文本的 Markdown 目录,方便后续检索。
知识库同步¶
三个目标:IMA、Dify、Obsidian,一键同步。API Key 优先读环境变量,不要把密钥写进参数或配置文件。
去重¶
三重判断:规范链接、内容哈希、标题相似度。命中重复时返回重复原因,而不是静默跳过,便于排查。
过滤与排序¶
支持日期范围、关键词、相关性三个维度,在抓取阶段就过滤,减少无效请求。
离线分析¶
抓取之后可以做:抽取式摘要、高频关键词提取、爬取历史增量记账。增量记账意味着再次运行时可以只处理新出现的文章。
网络层¶
限速;只对 429、5xx、超时做重试,并遵守响应头里的 Retry-After;带缓存 TTL;遇到验证页或限流状态时显式回报,不伪装成抓取成功。
产物落盘¶
默认写入系统临时目录。导出子目录不得越出 vault 或输出根,技能包内不留二进制文件。
安装与启用¶
已抓取资料里没有提供安装命令和具体配置项,这部分不推测。要确认安装方式,请打开下方官方地址查看。
可以确定的两点:
1、该技能标记 requires_api_key=true,使用前需要自行准备并配置对应的 API Key,配置时优先走环境变量。
2、它基于通用 SKILL.md 格式,因此在支持该格式的 Agent 环境里可以直接挂载。
触发方式¶
技能带一组触发词,直接说需求即可触发,不必记命令。触发词包括:
微信公众号、公众号文章、微信图文、爬取公众号、微信爬取、公众号搜索、微信文章导出、微信文章下载、公众号内容、微信知识库、公众号批量、微信ZIP、IMA导入、Dify导入、Obsidian同步、微信全文、公众号爬虫、微信采集、图文采集、搜狗微信、微信文章归档。
典型用法¶
以下三种形态来自官方资料的能力描述,具体参数以技能包内说明为准。
单篇抓取¶
给一个文章 URL,直接抓取正文并输出为 Markdown 或 Text,用于临时引用。
主题发现¶
给一组关键词,走搜狗搜索发现路径,按日期范围和关键词过滤,输出排序后的文章列表加正文。适合做某个领域的素材盘点。
批量归档¶
把发现和抓取合并跑,产物落到临时目录,同时增量记账,之后同步到 IMA 或 Obsidian。再次运行时,已抓过的文章会被去重跳过,只处理新增部分。
适用场景与注意¶
适合需要持续归档公众号内容、并希望内容最终落在自有知识库里的开发者,尤其是把公众号当作信息源做二次整理的团队。
几个需要注意的点:
1、限速是硬约束。技能只对 429、5xx 和超时重试,遇到限流要退避,不要绕过。
2、验证页会被明确报出来。如果返回的是验证页而不是正文,说明入口被拦,此时需要人工介入或换入口,不要反复重试。
3、去重会返回原因。命中重复时看一下原因字段,区分是链接规范化造成的假重复,还是内容确实重复。
4、产物默认在临时目录。需要长期保存的内容要自己搬移到 vault 或输出根,导出路径越界会被拦。
5、不要提交二进制文件。技能包内不含二进制,导出结果如含图片等二进制资源,需自行处理。
6、API Key 走环境变量,不要写进代码或配置文件里提交。
结尾¶
这个 Skill 的价值在于把公众号图文采集这条链路的重复劳动收掉:发现、抓取、去重、导出、同步一次跑完,同时在网络层做了限速和显式状态回报,不会把失败伪装成成功。
官方地址:https://api.skillhub.cn/user_9d5a2a39/wechat-article-scraper
SkillHub 页面:https://www.skillhub.cn/skills/user_9d5a2a39/wechat-article-scraper