新闻爬虫工程：把新闻采集做成可上线数据管道
SkillHub 社区 Skill「新闻爬虫工程」（@user_756344a1/news-crawler-engineering，v1.0.2）面向新闻与市场资讯爬虫的工程化交付。它规定先侦察列表 API 与分页再编码，选择 API/静态/逆向等采集模式，并以 get_market_news_info 与 get_market_news_content 双表建模。内容涵盖字段语义、正文抽取优先级、增量回填与按页入库、翻页停止逻辑、事务 upsert、三层监控报警、代理与内存注意点及验收清单。安装可通过 skillhub install 指向 Cursor 等 skills 目录，或按官方 install 文档让 AI 安装。
阅读全文农大门户（cau-portal）：中国农业大学通知公告的 DSH 插件与数据管道
这是一款针对中国农业大学（CAU）场景的 DeepSeek Harness（DSH）插件，提供开源的爬虫与 AI 加工管道。它支持侧边栏面板展示、多系统解析、AI 摘要分类及截止日期提取，并提供 MCP 工具在对话中直接查询。数据完全由用户在私有仓库托管，不依赖托管服务。用户需配置 DeepSeek API Key、GitHub 令牌及数据仓库，通过命令行或 GitHub Actions 定时抓取数据并提交，以实现高效、自主的通知公告管理。
阅读全文