微信公众号内容爬取 Skill:图文抓取、多格式导出与知识库同步

微信公众号图文内容爬取与多平台知识库导出 Skill,坐标 @user_9d5a2a39/wechat-article-scraper,发布者 user_9d5a2a39,community 来源,分类 data-analysis,标签 requires_api_key=true。提供三种爬取模式:搜狗搜索发现、URL 直接抓取、批量一体化;四种正文输出格式:Markdown / Text / HTML / JSON,并附带纯文本 Markdown 目录。知识库侧支持 IMA、Dify、Obsidian 一键同步,API Key 优先读环境变量。去重采用规范链接、内容哈希、标题相似度三重判断并返回重复原因;过滤排序支持日期范围、关键词、相关性。离线分析包含抽取式摘要、高频关键词和爬取历史增量记账。网络层做了限速,只对 429、5xx、超时重试且遵守 Retry-After,带缓存 TTL,验证页与限流状态显式回报。产物默认写入系统临时目录,导出子目录不得越出 vault 或输出根,技能包内不留二进制文件。SkillHub 评分 100000,下载 1288 次。资料中版本字段记录为 1.0.2,而简介标注 v1.2.0,实际以本地技能包为准。安装命令和配置项在已抓取资料中缺失,文中不作推测。

阅读全文