江西财经大学—竞赛与科研财经爬虫助手:十三大金融数据源的统一采集

前言

做商赛分析或实证研究的同学,经常遇到同一个问题:数据分散。A 股公告在巨潮资讯,研报在东方财富,舆情在雪球,宏观数据在国家统计局,美股财报在 SEC,信用记录在信用中国,进出口数据在海关,国际宏观数据又在 IMF、世界银行、OECD 各自站内。每个站点的页面结构、字段命名、反爬策略都不同,逐个写脚本的维护成本很高。

下面介绍的这个 Skill 把这件事收敛成一个入口:输入一句需求描述,它按内置管道从十三大数据源抓取数据,并输出结构化文档。

这是什么

江西财经大学—竞赛与科研财经爬虫助手(全国通用),坐标 @user_46970df5/finance-data-crawler,发布者为 SkillHub 用户 user_46970df5,当前版本 1.0.1,来源标记为 community,分类为 data-analysis,标签含 requires_api_key=true。

一句话定位:面向财经类竞赛与科研场景的数据爬虫 Skill,统一采集十三大金融数据源,并做财务指标抽取与杜邦分解。

核心能力

1、十三大数据源统一采集。覆盖东方财富、巨潮资讯、雪球、国家统计局、麦肯锡(MBB)、艾瑞、SEC、交易所、Tushare Pro、信用中国、海关、国际组织(IMF/世界银行/OECD)。

2、三阶段管道。按「索引 → 全文 → 文档」执行:先定位目标清单,再逐条抓取正文,最后整理为可用文档。

3、断点续传与软拦截检测。长任务中断后可续跑;遇到站点软拦截(限流、滑块等)会识别并处理,而不是直接报错退出。

4、财务指标抽取与杜邦分解。对财报类数据做比率计算,并将净资产收益率拆为三因子,用于横向比较与归因。

5、多格式输出。支持 Excel、Word、Markdown 三种输出,便于直接进入商赛报告或论文草稿。

6、生态对接。与 bizcomp-lab(商赛分析)和 acct-research-kit(实证研究)两个工具链配合,抓取结果可直接喂给后续分析流程。

安装与启用

该 Skill 需要 API Key(requires_api_key=true),使用前需先在官方页面完成授权。官方地址:

https://api.skillhub.cn/user_46970df5/finance-data-crawler

SkillHub 页面:

https://www.skillhub.cn/skills/user_46970df5/finance-data-crawler

说明:本次写作时上述两个地址均抓取失败,安装命令、配置文件字段等细节未能核实,请以官方页面的最新说明为准,本文不猜测、不补写。

典型用法

该 Skill 以自然语言触发,官方列出的触发词覆盖以下需求,可直接作为指令使用:

1、个股与公告:下载年报、找茅台财报、巨潮公告、交易所公告、美股 10-K。

2、行业与研究:行业研究数据、东方财富研报、艾瑞研报、麦肯锡白皮书、CPA 备考法规。

3、宏观与景气:统计局 GDP/CPI、Tushare 行情/宏观/基金数据、海关进出口月报、IMF/世界银行/OECD 国际数据。

4、舆情与信用:雪球舆情、信用中国失信/处罚/红黑名单。

5、分析与输出:杜邦分析、财务指标横评、自建对比表、断点续爬、Excel/Word/MD 输出。

按官方说明,触发方式即把上述需求直接写成任务描述,Skill 内部按三阶段管道执行。

适用场景与限制

适合谁:财经类竞赛(商赛)团队、做实证研究的研究生和本科生,需要快速拿到多来源结构化数据的场景。

明确不触发的情况,官方写得很具体:

1、非财经领域的爬虫请求。
2、恶意攻击、越权行为。
3、付费墙内容破解。
4、需要登录态的私域数据,例如 Wind 终端、CSMAR 全量库。

这意味着它解决的是公开合规数据的采集,Wind、CSMAR 这类需要账号授权的数据源不在范围内,规划任务时不要把它当作替代方案。

结语

这个 Skill 的价值在于把十三个财经站点的采集工作收敛成一个带管道、带续传、带财务分析的入口,对竞赛和科研场景是省力的;但它不碰私域数据和付费墙,边界清晰。适合与否,取决于你的目标数据源是否落在它的覆盖范围内。

官方地址:https://api.skillhub.cn/user_46970df5/finance-data-crawler

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜