Flink 实时数仓:用 Flink + Paimon + StarRocks 搭实时数仓的 Agent Skill

前言

实时数仓常见做法是 CDC 进 Kafka、多套引擎分别做清洗与 Serving,链路长、口径难统一。若希望用一套 SQL 覆盖入湖、物化与服务层,并在分钟级把指标推到大屏,需要在 Flink、湖表格式和 OLAP 之间反复查文档、对齐语法。

下面介绍 SkillHub 上的社区 Skill「Flink 实时数仓」,它把 Flink、Paimon、StarRocks 实时数仓全链路写进 Agent 可读的 SKILL 指引,便于在 IDE 里让模型按同一套技术栈回答问题、生成 SQL 与步骤说明。

这是什么

一句话定位: 面向 Flink + Paimon + StarRocks 的实时数仓全链路开发辅助 Skill,强调 CDC 入湖、物化表开发与分钟级大屏输出,以及 SQL 流批一体。

项 内容
坐标 @user_69009747/flink-real-time-warehouse
版本 1.0.0
来源 community(SkillHub 社区)
分类 data-analysis
发布者 user_69009747
是否需要 API Key 否(requires_api_key=false)

官方 Skill 页:Flink 实时数仓 - SkillHub。
API 元数据地址:https://api.skillhub.cn/user_69009747/flink-real-time-warehouse。

页面展示的简介为:

Flink+Paimon+StarRocks 实时数仓全链路:CDC 入湖、物化表开发、分钟级大屏输出,一套 SQL 流批一体。

核心功能

以下能力均来自上述官方简介,Skill 本体为通用 SKILL.md 格式,用于约束 Agent 在该技术栈下的回答范围与步骤,而非单独部署一套 Flink 集群。

  1. CDC 入湖
    围绕变更数据捕获写入湖仓(Paimon)的场景,协助梳理链路设计与相关 SQL / 配置思路。

  2. 物化表开发
    在 Paimon 上建设物化表、支撑实时汇总与下游消费的设计与实现说明。

  3. 分钟级大屏输出
    面向需要将指标以分钟粒度对外展示(如对接 StarRocks 等 Serving 层)的链路。

  4. SQL 流批一体
    在同一套 Flink SQL 语义下兼顾流处理与批处理相关开发问题,减少流批两套脚本的割裂。

公开页面上未列出更细的目录结构或脚本列表;具体指令与示例以安装后得到的 SKILL.md 为准。

安装与启用

SkillHub 提供两种方式:把安装提示词发给 AI,或使用 skillhub CLI。安装时必须用 --dir 指向当前 Agent 的 skills 目录,否则默认会装到 ./skills/,Agent 可能无法加载。

方式一:提示词安装(页面推荐)

将下面内容发给支持 Skill 的 AI(如 Cursor、Claude Code 等),让其按 SkillHub 安装文档操作:

请根据 https://skillhub.cn/install/skillhub.md,安装 `@user_69009747/flink-real-time-warehouse`。

方式二:SkillHub CLI

先检查是否已安装 CLI:

command -v skillhub && skillhub --version

未安装时,可按 SkillHub 安装与优先源配置 执行完整安装(示例):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安装 Skill 到对应客户端目录(将 <skills 目录> 换成你当前环境的路径):

skillhub install user_69009747/flink-real-time-warehouse --dir <skills 目录>

常用客户端 skills 目录(摘自官方安装文档):

  • Cursor: ~/.cursor/skills/
  • Claude Code: ~/.claude/skills/
  • Codex: ~/.codex/skills/ 或项目下的 .agents/skills/

安装完成后,按你所用客户端的说明重启或刷新 Agent,使新 Skill 生效。
截至撰写时,SkillHub 元数据显示该 Skill 安装次数为 0;若 CLI 下载失败,可先使用方式一由 Agent 按文档处理,或在 SkillHub 页面确认包是否可下载。

典型用法

公开资料未附带可逐行复制的端到端 SQL 样例,典型用法是:在已启用该 Skill 的会话里,用自然语言描述你的实时数仓阶段(例如 MySQL CDC 入 Paimon、物化宽表、同步或查询 StarRocks、分钟聚合供大屏),让 Agent 在 Flink + Paimon + StarRocks 语境下给出步骤、表结构思路与 SQL 草案。

建议提问时写清:

  • 源库类型与 CDC 方式(若已确定)
  • Paimon 表模型(主键、分区、合并引擎等已知约束)
  • StarRocks 侧表类型或查询场景(明细 / 聚合 / 大屏刷新粒度)
  • Flink 版本或集群限制(若存在)

由 Agent 对照 SKILL.md 中的规范收敛答案,你再在测试环境校验执行计划与数据延迟。

适用场景与注意

适合谁

  • 正在或计划用 Flink + Paimon + StarRocks 建设实时数仓的数据开发、数仓工程师。
  • 希望减少在三套组件文档之间切换、用对话方式推进 CDC 入湖与物化表设计的人。
  • 需要 分钟级 指标输出链路设计参考、且接受以 SQL 流批一体为主轴的团队。

限制与注意

  • 本 Skill 不替代 Flink、Paimon、StarRocks 集群的安装、权限与生产运维;模型输出需在真实环境验证。
  • 标签标明 不需要 API Key;仍可能涉及你方数据库与集群的连接信息,请勿向不可信环境泄露凭据。
  • 社区来源(community),维护节奏取决于发布者;版本当前为 1.0.0,升级以 SkillHub 页面为准。
  • SkillHub 统计(撰写时来自抓取元数据):评分 100000,下载 839 次;与第三方转载的下载数可能不一致,以 SkillHub 页面为准。

结尾

「Flink 实时数仓」把 CDC 入湖、Paimon 物化、StarRocks 服务与分钟级展示串成一条可对话的技术主线,适合作为实时数仓方案讨论与 SQL 开发的 Agent 辅助。安装与详情见 SkillHub:

  • 技能页:https://www.skillhub.cn/skills/user_69009747/flink-real-time-warehouse
  • 安装说明:https://skillhub.cn/install/skillhub.md
  • 坐标:@user_69009747/flink-real-time-warehouse
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye