Flink 實時數倉:用 Flink + Paimon + StarRocks 搭實時數倉的 Agent Skill

前言

實時數倉常見做法是 CDC 進 Kafka、多套引擎分別做清洗與 Serving,鏈路長、口徑難統一。若希望用一套 SQL 覆蓋入湖、物化與服務層,並在分鐘級把指標推到大屏,需要在 Flink、湖表格式和 OLAP 之間反覆查文檔、對齊語法。

下面介紹 SkillHub 上的社區 Skill「Flink 實時數倉」,它把 Flink、Paimon、StarRocks 實時數倉全鏈路寫進 Agent 可讀的 SKILL 指引,便於在 IDE 裏讓模型按同一套技術棧回答問題、生成 SQL 與步驟說明。

這是什麼

一句話定位: 面向 Flink + Paimon + StarRocks 的實時數倉全鏈路開發輔助 Skill,強調 CDC 入湖、物化表開發與分鐘級大屏輸出,以及 SQL 流批一體。

項 內容
座標 @user_69009747/flink-real-time-warehouse
版本 1.0.0
來源 community(SkillHub 社區)
分類 data-analysis
發佈者 user_69009747
是否需要 API Key 否(requires_api_key=false)

官方 Skill 頁:Flink 實時數倉 - SkillHub。
API 元數據地址:https://api.skillhub.cn/user_69009747/flink-real-time-warehouse。

頁面展示的簡介爲:

Flink+Paimon+StarRocks 實時數倉全鏈路:CDC 入湖、物化表開發、分鐘級大屏輸出,一套 SQL 流批一體。

核心功能

以下能力均來自上述官方簡介,Skill 本體爲通用 SKILL.md 格式,用於約束 Agent 在該技術棧下的回答範圍與步驟,而非單獨部署一套 Flink 集羣。

  1. CDC 入湖
    圍繞變更數據捕獲寫入湖倉(Paimon)的場景,協助梳理鏈路設計與相關 SQL / 配置思路。

  2. 物化表開發
    在 Paimon 上建設物化表、支撐實時彙總與下游消費的設計與實現說明。

  3. 分鐘級大屏輸出
    面向需要將指標以分鐘粒度對外展示(如對接 StarRocks 等 Serving 層)的鏈路。

  4. SQL 流批一體
    在同一套 Flink SQL 語義下兼顧流處理與批處理相關開發問題,減少流批兩套腳本的割裂。

公開頁面上未列出更細的目錄結構或腳本列表;具體指令與示例以安裝後得到的 SKILL.md 爲準。

安裝與啓用

SkillHub 提供兩種方式:把安裝提示詞發給 AI,或使用 skillhub CLI。安裝時必須用 --dir 指向當前 Agent 的 skills 目錄,否則默認會裝到 ./skills/,Agent 可能無法加載。

方式一:提示詞安裝(頁面推薦)

將下面內容發給支持 Skill 的 AI(如 Cursor、Claude Code 等),讓其按 SkillHub 安裝文檔操作:

請根據 https://skillhub.cn/install/skillhub.md,安裝 `@user_69009747/flink-real-time-warehouse`。

方式二:SkillHub CLI

先檢查是否已安裝 CLI:

command -v skillhub && skillhub --version

未安裝時,可按 SkillHub 安裝與優先源配置 執行完整安裝(示例):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安裝 Skill 到對應客戶端目錄(將 <skills 目錄> 換成你當前環境的路徑):

skillhub install user_69009747/flink-real-time-warehouse --dir <skills 目錄>

常用客戶端 skills 目錄(摘自官方安裝文檔):

  • Cursor: ~/.cursor/skills/
  • Claude Code: ~/.claude/skills/
  • Codex: ~/.codex/skills/ 或項目下的 .agents/skills/

安裝完成後,按你所用客戶端的說明重啓或刷新 Agent,使新 Skill 生效。
截至撰寫時,SkillHub 元數據顯示該 Skill 安裝次數爲 0;若 CLI 下載失敗,可先使用方式一由 Agent 按文檔處理,或在 SkillHub 頁面確認包是否可下載。

典型用法

公開資料未附帶可逐行復制的端到端 SQL 樣例,典型用法是:在已啓用該 Skill 的會話裏,用自然語言描述你的實時數倉階段(例如 MySQL CDC 入 Paimon、物化寬表、同步或查詢 StarRocks、分鐘聚合供大屏),讓 Agent 在 Flink + Paimon + StarRocks 語境下給出步驟、表結構思路與 SQL 草案。

建議提問時寫清:

  • 源庫類型與 CDC 方式(若已確定)
  • Paimon 表模型(主鍵、分區、合併引擎等已知約束)
  • StarRocks 側表類型或查詢場景(明細 / 聚合 / 大屏刷新粒度)
  • Flink 版本或集羣限制(若存在)

由 Agent 對照 SKILL.md 中的規範收斂答案,你再在測試環境校驗執行計劃與數據延遲。

適用場景與注意

適合誰

  • 正在或計劃用 Flink + Paimon + StarRocks 建設實時數倉的數據開發、數倉工程師。
  • 希望減少在三套組件文檔之間切換、用對話方式推進 CDC 入湖與物化表設計的人。
  • 需要 分鐘級 指標輸出鏈路設計參考、且接受以 SQL 流批一體爲主軸的團隊。

限制與注意

  • 本 Skill 不替代 Flink、Paimon、StarRocks 集羣的安裝、權限與生產運維;模型輸出需在真實環境驗證。
  • 標籤標明 不需要 API Key;仍可能涉及你方數據庫與集羣的連接信息,請勿向不可信環境泄露憑據。
  • 社區來源(community),維護節奏取決於發佈者;版本當前爲 1.0.0,升級以 SkillHub 頁面爲準。
  • SkillHub 統計(撰寫時來自抓取元數據):評分 100000,下載 839 次;與第三方轉載的下載數可能不一致,以 SkillHub 頁面爲準。

結尾

「Flink 實時數倉」把 CDC 入湖、Paimon 物化、StarRocks 服務與分鐘級展示串成一條可對話的技術主線,適合作爲實時數倉方案討論與 SQL 開發的 Agent 輔助。安裝與詳情見 SkillHub:

  • 技能頁:https://www.skillhub.cn/skills/user_69009747/flink-real-time-warehouse
  • 安裝說明:https://skillhub.cn/install/skillhub.md
  • 座標:@user_69009747/flink-real-time-warehouse
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜