前言¶
实时数仓常见做法是 CDC 进 Kafka、多套引擎分别做清洗与 Serving,链路长、口径难统一。若希望用一套 SQL 覆盖入湖、物化与服务层,并在分钟级把指标推到大屏,需要在 Flink、湖表格式和 OLAP 之间反复查文档、对齐语法。
下面介绍 SkillHub 上的社区 Skill「Flink 实时数仓」,它把 Flink、Paimon、StarRocks 实时数仓全链路写进 Agent 可读的 SKILL 指引,便于在 IDE 里让模型按同一套技术栈回答问题、生成 SQL 与步骤说明。
这是什么¶
一句话定位: 面向 Flink + Paimon + StarRocks 的实时数仓全链路开发辅助 Skill,强调 CDC 入湖、物化表开发与分钟级大屏输出,以及 SQL 流批一体。
| 项 | 内容 |
|---|---|
| 坐标 | @user_69009747/flink-real-time-warehouse |
| 版本 | 1.0.0 |
| 来源 | community(SkillHub 社区) |
| 分类 | data-analysis |
| 发布者 | user_69009747 |
| 是否需要 API Key | 否(requires_api_key=false) |
官方 Skill 页:Flink 实时数仓 - SkillHub。
API 元数据地址:https://api.skillhub.cn/user_69009747/flink-real-time-warehouse。
页面展示的简介为:
Flink+Paimon+StarRocks 实时数仓全链路:CDC 入湖、物化表开发、分钟级大屏输出,一套 SQL 流批一体。
核心功能¶
以下能力均来自上述官方简介,Skill 本体为通用 SKILL.md 格式,用于约束 Agent 在该技术栈下的回答范围与步骤,而非单独部署一套 Flink 集群。
-
CDC 入湖
围绕变更数据捕获写入湖仓(Paimon)的场景,协助梳理链路设计与相关 SQL / 配置思路。 -
物化表开发
在 Paimon 上建设物化表、支撑实时汇总与下游消费的设计与实现说明。 -
分钟级大屏输出
面向需要将指标以分钟粒度对外展示(如对接 StarRocks 等 Serving 层)的链路。 -
SQL 流批一体
在同一套 Flink SQL 语义下兼顾流处理与批处理相关开发问题,减少流批两套脚本的割裂。
公开页面上未列出更细的目录结构或脚本列表;具体指令与示例以安装后得到的 SKILL.md 为准。
安装与启用¶
SkillHub 提供两种方式:把安装提示词发给 AI,或使用 skillhub CLI。安装时必须用 --dir 指向当前 Agent 的 skills 目录,否则默认会装到 ./skills/,Agent 可能无法加载。
方式一:提示词安装(页面推荐)¶
将下面内容发给支持 Skill 的 AI(如 Cursor、Claude Code 等),让其按 SkillHub 安装文档操作:
请根据 https://skillhub.cn/install/skillhub.md,安装 `@user_69009747/flink-real-time-warehouse`。
方式二:SkillHub CLI¶
先检查是否已安装 CLI:
command -v skillhub && skillhub --version
未安装时,可按 SkillHub 安装与优先源配置 执行完整安装(示例):
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
安装 Skill 到对应客户端目录(将 <skills 目录> 换成你当前环境的路径):
skillhub install user_69009747/flink-real-time-warehouse --dir <skills 目录>
常用客户端 skills 目录(摘自官方安装文档):
- Cursor:
~/.cursor/skills/ - Claude Code:
~/.claude/skills/ - Codex:
~/.codex/skills/或项目下的.agents/skills/
安装完成后,按你所用客户端的说明重启或刷新 Agent,使新 Skill 生效。
截至撰写时,SkillHub 元数据显示该 Skill 安装次数为 0;若 CLI 下载失败,可先使用方式一由 Agent 按文档处理,或在 SkillHub 页面确认包是否可下载。
典型用法¶
公开资料未附带可逐行复制的端到端 SQL 样例,典型用法是:在已启用该 Skill 的会话里,用自然语言描述你的实时数仓阶段(例如 MySQL CDC 入 Paimon、物化宽表、同步或查询 StarRocks、分钟聚合供大屏),让 Agent 在 Flink + Paimon + StarRocks 语境下给出步骤、表结构思路与 SQL 草案。
建议提问时写清:
- 源库类型与 CDC 方式(若已确定)
- Paimon 表模型(主键、分区、合并引擎等已知约束)
- StarRocks 侧表类型或查询场景(明细 / 聚合 / 大屏刷新粒度)
- Flink 版本或集群限制(若存在)
由 Agent 对照 SKILL.md 中的规范收敛答案,你再在测试环境校验执行计划与数据延迟。
适用场景与注意¶
适合谁
- 正在或计划用 Flink + Paimon + StarRocks 建设实时数仓的数据开发、数仓工程师。
- 希望减少在三套组件文档之间切换、用对话方式推进 CDC 入湖与物化表设计的人。
- 需要 分钟级 指标输出链路设计参考、且接受以 SQL 流批一体为主轴的团队。
限制与注意
- 本 Skill 不替代 Flink、Paimon、StarRocks 集群的安装、权限与生产运维;模型输出需在真实环境验证。
- 标签标明 不需要 API Key;仍可能涉及你方数据库与集群的连接信息,请勿向不可信环境泄露凭据。
- 社区来源(
community),维护节奏取决于发布者;版本当前为 1.0.0,升级以 SkillHub 页面为准。 - SkillHub 统计(撰写时来自抓取元数据):评分 100000,下载 839 次;与第三方转载的下载数可能不一致,以 SkillHub 页面为准。
结尾¶
「Flink 实时数仓」把 CDC 入湖、Paimon 物化、StarRocks 服务与分钟级展示串成一条可对话的技术主线,适合作为实时数仓方案讨论与 SQL 开发的 Agent 辅助。安装与详情见 SkillHub:
- 技能页:https://www.skillhub.cn/skills/user_69009747/flink-real-time-warehouse
- 安装说明:https://skillhub.cn/install/skillhub.md
- 坐标:
@user_69009747/flink-real-time-warehouse