前言¶
做商賽分析或實證研究的同學,經常遇到同一個問題:數據分散。A 股公告在巨潮資訊,研報在東方財富,輿情在雪球,宏觀數據在國家統計局,美股財報在 SEC,信用記錄在信用中國,進出口數據在海關,國際宏觀數據又在 IMF、世界銀行、OECD 各自站內。每個站點的頁面結構、字段命名、反爬策略都不同,逐個寫腳本的維護成本很高。
下面介紹的這個 Skill 把這件事收斂成一個入口:輸入一句需求描述,它按內置管道從十三大數據源抓取數據,並輸出結構化文檔。
這是什麼¶
江西財經大學—競賽與科研財經爬蟲助手(全國通用),座標 @user_46970df5/finance-data-crawler,發佈者爲 SkillHub 用戶 user_46970df5,當前版本 1.0.1,來源標記爲 community,分類爲 data-analysis,標籤含 requires_api_key=true。
一句話定位:面向財經類競賽與科研場景的數據爬蟲 Skill,統一採集十三大金融數據源,並做財務指標抽取與杜邦分解。
核心能力¶
1、十三大數據源統一採集。覆蓋東方財富、巨潮資訊、雪球、國家統計局、麥肯錫(MBB)、艾瑞、SEC、交易所、Tushare Pro、信用中國、海關、國際組織(IMF/世界銀行/OECD)。
2、三階段管道。按「索引 → 全文 → 文檔」執行:先定位目標清單,再逐條抓取正文,最後整理爲可用文檔。
3、斷點續傳與軟攔截檢測。長任務中斷後可續跑;遇到站點軟攔截(限流、滑塊等)會識別並處理,而不是直接報錯退出。
4、財務指標抽取與杜邦分解。對財報類數據做比率計算,並將淨資產收益率拆爲三因子,用於橫向比較與歸因。
5、多格式輸出。支持 Excel、Word、Markdown 三種輸出,便於直接進入商賽報告或論文草稿。
6、生態對接。與 bizcomp-lab(商賽分析)和 acct-research-kit(實證研究)兩個工具鏈配合,抓取結果可直接餵給後續分析流程。
安裝與啓用¶
該 Skill 需要 API Key(requires_api_key=true),使用前需先在官方頁面完成授權。官方地址:
https://api.skillhub.cn/user_46970df5/finance-data-crawler
SkillHub 頁面:
https://www.skillhub.cn/skills/user_46970df5/finance-data-crawler
說明:本次寫作時上述兩個地址均抓取失敗,安裝命令、配置文件字段等細節未能覈實,請以官方頁面的最新說明爲準,本文不猜測、不補寫。
典型用法¶
該 Skill 以自然語言觸發,官方列出的觸發詞覆蓋以下需求,可直接作爲指令使用:
1、個股與公告:下載年報、找茅臺財報、巨潮公告、交易所公告、美股 10-K。
2、行業與研究:行業研究數據、東方財富研報、艾瑞研報、麥肯錫白皮書、CPA 備考法規。
3、宏觀與景氣:統計局 GDP/CPI、Tushare 行情/宏觀/基金數據、海關進出口月報、IMF/世界銀行/OECD 國際數據。
4、輿情與信用:雪球輿情、信用中國失信/處罰/紅黑名單。
5、分析與輸出:杜邦分析、財務指標橫評、自建對比表、斷點續爬、Excel/Word/MD 輸出。
按官方說明,觸發方式即把上述需求直接寫成任務描述,Skill 內部按三階段管道執行。
適用場景與限制¶
適合誰:財經類競賽(商賽)團隊、做實證研究的研究生和本科生,需要快速拿到多來源結構化數據的場景。
明確不觸發的情況,官方寫得很具體:
1、非財經領域的爬蟲請求。
2、惡意攻擊、越權行爲。
3、付費牆內容破解。
4、需要登錄態的私域數據,例如 Wind 終端、CSMAR 全量庫。
這意味着它解決的是公開合規數據的採集,Wind、CSMAR 這類需要賬號授權的數據源不在範圍內,規劃任務時不要把它當作替代方案。
結語¶
這個 Skill 的價值在於把十三個財經站點的採集工作收斂成一個帶管道、帶續傳、帶財務分析的入口,對競賽和科研場景是省力的;但它不碰私域數據和付費牆,邊界清晰。適合與否,取決於你的目標數據源是否落在它的覆蓋範圍內。
官方地址:https://api.skillhub.cn/user_46970df5/finance-data-crawler