新闻爬虫工程:把新闻采集做成可上线数据管道
SkillHub 社区 Skill「新闻爬虫工程」(@user_756344a1/news-crawler-engineering,v1.0.2)面向新闻与市场资讯爬虫的工程化交付。它规定先侦察列表 API 与分页再编码,选择 API/静态/逆向等采集模式,并以 get_market_news_info 与 get_market_news_content 双表建模。内容涵盖字段语义、正文抽取优先级、增量回填与按页入库、翻页停止逻辑、事务 upsert、三层监控报警、代理与内存注意点及验收清单。安装可通过 skillhub install 指向 Cursor 等 skills 目录,或按官方 install 文档让 AI 安装。
阅读全文