前言¶
做国内金融数据时，常见做法是拆成多套脚本：一份维护机构名录，一份拉公告和研报，舆情再单独接 RSS 或第三方库；遇到反爬或页面结构变化，还要在 HTTP 请求和浏览器自动化之间手工切换。调度、增量和断点往往得自己补一层。下面介绍 SkillHub 上的 全能金融爬虫（新增 MCP 接入）（坐标 @user_9d5a2a39/cnfinancialscraper），它把机构名单、舆情、A 股文档、结构化行情与爬取调度放在同一套 Skill 里，并在 v10.0.0 中强化了调度中心、网页操作链路和 MCP 数据获取。
这是什么¶
全能金融爬虫 是社区发布者 user_9d5a2a39 维护的 data-analysis 类 Agent Skill（SkillHub 包版本 1.0.49，技能自述版本 v10.0.0）。定位是：中国金融机构相关的 爬取、调度、多源查询与分析 综合能力，覆盖全量机构名录、财经媒体舆情、A 股报告/公告/券商研报、期货/宏观/港股美股等结构化数据，并附带类人浏览器爬取、风险指标与定期报告解读。页面标注 requires_api_key=true，部分数据源（如 Tushare 等）需要自行配置密钥。
官方入口：
- API：
https://api.skillhub.cn/user_9d5a2a39/cnfinancialscraper - SkillHub：
https://www.skillhub.cn/skills/user_9d5a2a39/cnfinancialscraper
核心功能¶
以下能力均来自 SkillHub 页面与已抓取简介，按模块归纳。
机构与文档类数据¶
- 机构名单：2334 家、43 大类（自述为全量机构名录体系）。
- 全网舆情：60+ 商业财经媒体源，配合 RSS 等通路；多源查询侧支持 akshare / 东财 / yfinance / RSS 等适配与自动降级。
- A 股材料：报告、公告、券商研报等爬取与相关导出能力。
爬取调度与智能选源（v10.0.0）¶
- CrawlerDispatcher：4 种策略智能选源。
- BaseScraper 协议统一爬取实现。
- 增量爬取、断点续爬，外层带反爬包裹。
网页操作增强（v10.0.0）¶
- Shadow DOM / iframe 穿透。
- Cookie Banner 自动处理。
- 验证码 OCR：
stdlib → ddddocr → tesseract降级链。 - 人类行为轨迹、WebSocket 监听。
- 触发词中还包含类人爬取、Cookie 弹窗、验证码识别等，便于用自然语言唤起对应流程。
MCP 与多源金融数据（v10.0.0）¶
- 79 个 MCP 工具、8 个 Resource、10 个 Prompt。
- 数据侧自述为 60+ 种查询、9 个适配器，含 Tushare / CoinGecko / Alpha Vantage / ExchangeRate 等，配合 LRU + TTL 缓存 与多源自动降级。
- v9.0.0 承接：5 适配器、36 查询，反爬深度（代理 / Header / 指纹 / 节奏）、UA 池 24；v8.0.0 承接反爬管道与数据分析增强（关键词、跨源、趋势、对标、洞察）。
分析与报告¶
- 风险指标分析、组合相关能力（触发词含夏普比率、组合复刻、数据回测等）。
- 定期报告解读：Skill 简介中列为独立能力，具体规则以包内文档为准。
语音与其它触发能力¶
官方触发词列表包含 语音交互、语音爬取 等；具体实现细节以 Skill 包内说明为准，本文不展开未在页面列出的参数。
常用自然语言触发方向还包括：爬取机构、舆情爬取、公告下载、批量/定时爬取、东方财富、龙虎榜、监管动态、结构化数据、期货、宏观经济、港股美股、爬取调度、数据源健康、多源数据、统一查询等（完整列表见 Skill 内 auto_trigger）。
安装与启用¶
1、安装 SkillHub CLI（若尚未安装）¶
command -v skillhub && skillhub --version
未安装时可执行完整安装（CLI + 默认 Skill）：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
仅 CLI：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only
2、安装本 Skill 到当前 Agent 的 skills 目录¶
安装时必须用 --dir 指向当前客户端识别的 skills 目录，否则默认落在 ./skills/ 可能不会被加载。
skillhub install user_9d5a2a39/cnfinancialscraper --dir <你的 skills 目录>
常见路径（以 SkillHub 安装文档为准）：
- Cursor：
~/.cursor/skills/ - Claude Code：
~/.claude/skills/ - Codex：
~/.codex/skills/或项目下.agents/skills/
也可将下面提示交给 Agent，让其按官方安装说明拉取技能：
请根据 https://skillhub.cn/install/skillhub.md，安装 @user_9d5a2a39/cnfinancialscraper。
3、API Key 与依赖¶
Skill 标签为 requires_api_key=true。使用 Tushare、部分商业源或 MCP 适配器时，需在 Skill 文档或环境变量中按发布者要求配置密钥；未配置时相关查询可能降级或失败。
安装或升级后，按你所用客户端规则 重启或刷新 Agent，确保新 Skill 被索引。
典型用法¶
官方页面未给出固定 CLI 子命令示例，实际使用以 对话触发 + Agent 调用 Skill 工具 为主。可按业务意图直接描述任务，并带上上文触发词中的关键词，例如：
- 机构与舆情：「按机构名单爬取某类持牌机构官网信息」「全网舆情：某主题近一周财经媒体汇总」。
- 公告与研报：「下载某公司近期公告与券商研报，导出 PDF/HTML」。
- 调度与增量：「对这批 URL 增量爬取，断点续爬」「爬取调度：检查数据源健康后选源」。
- 结构化行情：「拉取期货/宏观/港股美股等行情，多源自动切换」。
- MCP 数据：在已启用 MCP 的客户端中，通过 Skill 暴露的工具查询 Tushare、CoinGecko、汇率等（受 API Key 与缓存策略约束）。
- 网页难点页：「Shadow DOM 表格识别」「iframe 内公告列表分页抓取」「Cookie 弹窗 + 验证码页面类人爬取」。
经过上面的步骤安装并配置密钥后，由 Agent 根据 Skill 内脚本与 MCP 定义选择具体实现路径；批量、定时类需求可结合触发词「批量爬取」「定时爬取」说明节奏与范围。
适用场景与注意¶
适合谁
- 需要在 Cursor、Claude Code、Codex 等环境中用自然语言完成 国内金融数据采集、归档与粗分析 的开发者或研究员。
- 希望 多源降级、调度与断点 由 Skill 统一处理，而不是为每个站点单独写爬虫链路的团队。
限制与注意
- 数据与页面结构随监管机构和站点改版变化，需遵守目标站点的服务条款与 robots 规则；Skill 提供反爬与类人能力不等于可无视合规边界。
requires_api_key=true：提前准备 Tushare 等密钥，并注意第三方接口配额。- SkillHub 展示为社区来源（community），版本迭代快（当前自述 v10.0.0），升级前建议在测试环境验证关键爬取路径。
- 页面统计（如评分、下载量）会随商店更新变化，以 SkillHub 实时页面为准。
结尾¶
全能金融爬虫 将机构名录、舆情、A 股文档、多适配器行情查询、爬取调度与 MCP 工具集收敛到单一 Skill，适合作为国内金融数据工作的默认爬取与分析入口。安装与详情见 SkillHub：
https://www.skillhub.cn/skills/user_9d5a2a39/cnfinancialscraper
