新聞爬蟲工程:把新聞採集做成可上線數據管道
SkillHub 社區 Skill「新聞爬蟲工程」(@user_756344a1/news-crawler-engineering,v1.0.2)面向新聞與市場資訊爬蟲的工程化交付。它規定先偵察列表 API 與分頁再編碼,選擇 API/靜態/逆向等採集模式,並以 get_market_news_info 與 get_market_news_content 雙表建模。內容涵蓋字段語義、正文抽取優先級、增量回填與按頁入庫、翻頁停止邏輯、事務 upsert、三層監控報警、代理與內存注意點及驗收清單。安裝可通過 skillhub install 指向 Cursor 等 skills 目錄,或按官方 install 文檔讓 AI 安裝。
閱讀全文農大門戶(cau-portal):中國農業大學通知公告的 DSH 插件與數據管道
這是一款針對中國農業大學(CAU)場景的 DeepSeek Harness(DSH)插件,提供開源的爬蟲與 AI 加工管道。它支持側邊欄面板展示、多系統解析、AI 摘要分類及截止日期提取,並提供 MCP 工具在對話中直接查詢。數據完全由用戶在私有倉庫託管,不依賴託管服務。用戶需配置 DeepSeek API Key、GitHub 令牌及數據倉庫,通過命令行或 GitHub Actions 定時抓取數據並提交,以實現高效、自主的通知公告管理。
閱讀全文