新聞爬蟲工程:把新聞採集做成可上線數據管道
SkillHub 社區 Skill「新聞爬蟲工程」(@user_756344a1/news-crawler-engineering,v1.0.2)面向新聞與市場資訊爬蟲的工程化交付。它規定先偵察列表 API 與分頁再編碼,選擇 API/靜態/逆向等採集模式,並以 get_market_news_info 與 get_market_news_content 雙表建模。內容涵蓋字段語義、正文抽取優先級、增量回填與按頁入庫、翻頁停止邏輯、事務 upsert、三層監控報警、代理與內存注意點及驗收清單。安裝可通過 skillhub install 指向 Cursor 等 skills 目錄,或按官方 install 文檔讓 AI 安裝。
閱讀全文