雪球采集与同步流程:从帖子采集到 IMA 上传的一体化 Skill

前言

把某个雪球用户的帖子采集下来,看似只是”写个爬虫”,实际要处理的事情不少:正文提取、图片下载与 OCR、规则分析、结构化存储、按期导出,最后还要同步到知识库并确认没有遗漏。每一步单独写脚本,等于把坑重新踩一遍。下面介绍的这个 Skill 把采集和同步流程合并成一条链路,适合需要定期把雪球帖子落到本地并同步到 IMA 知识库的场景。

这是什么

雪球采集与同步流程是一个社区来源(community)的 Skill,坐标 @user_7d9a592c/xueqiu-collector,版本 2.0.0,分类 data-analysis,发布者 user_7d9a592c。它由原 xueqiu-collector 与 xueqiu-pipeline 两个 Skill 合并而成,定位是雪球帖子的采集与自动化同步一体化:一端是采集,一端是”采集 → 导出 → IMA 上传 → 一致性校验”的完整流程。标签里 requires_api_key=false,即不要求提供 API key。

核心功能

1、采集能力。支持对任意雪球用户的帖子做全量或增量采集,覆盖正文提取、图片下载与 OCR、V4 规则分析、SQLite 存储,以及 JSON / Markdown 两种导出格式。

2、同步流程。在采集之后衔接导出、上传到 IMA 知识库、一致性校验三个环节:智能同步最新月份,增量上传历史月份,并从四方面做一致性校验(资料未进一步说明是哪四方面)。

3、触发方式。Skill 内置了一组触发词,包括”采集雪球、雪球帖子采集、爬取雪球、雪球全量采集、抓取雪球帖子、同步雪球数据、雪球增量采集、雪球自动化流程、雪球同步上传、雪球月度同步、ima上传雪球”等,以及英文关键词 xueqiu、xueqiu-pipeline 等写法。

安装与启用

已抓取的资料中没有给出具体的安装命令、目录约定或各客户端的差异说明,因此这里不臆造安装步骤。可核实的信息只有:

官方地址:https://api.skillhub.cn/user_7d9a592c/xueqiu-collector
SkillHub 页面:https://www.skillhub.cn/skills/user_7d9a592c/xueqiu-collector
坐标:@user_7d9a592c/xueqiu-collector

这类 Skill 基于通用 SKILL.md 格式,拿到后按你所用客户端的 Skill 加载方式放入即可。启用后,在对话中使用上面的触发词(例如”帮我采集某人的雪球帖子”)即可进入流程。是否需要 API key:资料标注 requires_api_key=false。

典型用法

资料中给出的适用场景是四类对话:

1、”帮我采集某人的雪球帖子”——走全量或增量采集链路;
2、”同步/更新雪球数据”——走采集 + 同步流程;
3、”执行雪球自动化流程 / 同步雪球帖子到IMA”——走完整链路;
4、”雪球有新帖,更新一下”——按增量方式处理新帖。

资料中没有给出命令行示例或参数说明,实际执行方式以安装后的 SKILL.md 为准。

适用场景与注意

适合谁:需要定期采集雪球用户帖子、落到本地数据库(SQLite)并同步到 IMA 知识库,且希望减少脚本维护成本的开发者。

注意事项:

1、资料未说明雪球侧的访问限制与合规要求,采集行为本身需要自行评估合规性。
2、采集质量依赖其 V4 规则分析,正文与图片 OCR 的准确率资料中没有给出数据,建议先小批量验证。
3、同步部分依赖 IMA 知识库,历史月份按增量上传,出错时的恢复机制资料未展开。
4、资料显示评分 100000、下载 2615、安装 0,说明下载量不高且尚无安装记录,实际效果建议先在本机跑通一次再规模化使用。

结尾

这个 Skill 的价值在于把”采集 + 同步 + 校验”从多个手写脚本收敛成一条链路,省去重复实现正文提取、OCR、存储导出和一致性检查的功夫。官方地址:https://api.skillhub.cn/user_7d9a592c/xueqiu-collector ,SkillHub 页面:https://www.skillhub.cn/skills/user_7d9a592c/xueqiu-collector 。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye