Doris 專用・數據建模架構師:把 Doris 數倉建模規範固定下來

前言

Doris 項目裏的建模問題,往往不是模型設計不出來,而是標準執行不下去:ODS/DIM/DWD/DWS 分層各人各畫,事實表類型混用,緩慢變化維靠臨時 SQL 處理,物化視圖在 Doris 上建了卻刷新時序混亂,最後指標口徑散到 BI 層和報表層各算一遍,對賬對不上。

這個 Skill 面向的就是這個場景:把一套成熟的維度建模規範和 Doris 特有約束固化成可複用的指引,讓建模時按同一套標準走。下面介紹它的定位、能力和使用方式。

這是什麼

Doris 專用・數據建模架構師(座標 @user_60f50cbb/zlqcppzo,版本 2.0.0)是一個社區發佈的 data-analysis 類 Skill,發佈者爲 user_60f50cbb。SkillHub 頁面顯示其評分爲 100000,累計下載 924 次(頁面另顯示安裝 0)。

它解決的核心問題是:在 Apache Doris 上做數據倉庫建模時,給出一致的體系選擇、分層標準、指標口徑和 DDL 規範,並明確哪些做法在 Doris 上屬於反模式。它以 Kimball 維度建模爲主,同時兼容 Inmon / Data Vault 的設計思路,適合作爲建模評審和日常 DDL 編寫時的參照手冊。

建模體系與分層標準

它的建模體系分兩塊,一塊是體系選型,一塊是分層落地:

1、體系選型:以 Kimball 維度建模爲主,兼容 Inmon 和 Data Vault 設計思路。這意味着在需要企業級集成歷史時,可以向 Data Vault 的思路靠攏;在面向分析主題時,仍走 Kimball 的總線矩陣加維度建模路線。

2、分層標準:固定爲 ODS / DIM / DWD / DWS 四層,不設 ADS 層。沒有 ADS 層的理由是複合指標統一交由 BI 承擔:Doris 裏不再維護一層面向具體報表的寬表或彙總層,減少重複存儲和口徑分裂,指標的再加工發生在 BI 側而不是數倉內部。

核心能力

Skill 在建模過程中提供的能力覆蓋以下幾項:

1、總線矩陣:先列業務過程再列維度,用矩陣確定每個業務過程與哪些維度相關,作爲後續事實表和維度表劃分的依據。

2、SCD 緩慢變化維:針對維度屬性變化給出 SCD 處理方案,避免維度表裏同時存在多個版本的屬性卻無法區分生效時間。

3、四類事實表:按事務事實、週期快照事實、累積快照事實、無事實事實表四類劃分,明確每類事實表適用的業務過程和粒度。

4、指標分層:對原子指標、派生指標、複合指標做分層定義,複合指標不下沉到 Doris 內部存儲。

5、Doris 物化視圖建模落地:結合 Doris 物化視圖的能力給出建模做法,包括視圖定義與底層表的一致性要求。

6、反模式規避:列出在 Doris 建模中容易出現的錯誤做法,供評審時對照檢查。

7、分層 DDL 標準:給出 ODS / DIM / DWD / DWS 各層的建表 DDL 規範,包括鍵模型選擇和註釋要求。

對齊的 Doris 約束

這套 Skill 的一個特點是:它不寫脫離 Doris 能力的規範,而是把建模規則與 Doris 的引擎約束對齊。它複用了前置的 Doris 分層通用規範,其中包括:

1、物化視圖僅使用 Duplicate Key 模型,不涉及 Doris 其他鍵模型在 MV 上的限制問題。

2、不設置分區生命週期(lifecycle),分區策略由建模規範另行約束。

3、CTE(公共表表達式)要求全字段註釋,保證層間引用時字段含義可追溯。

4、物化視圖刷新時序規則:明確 MV 與基表之間的刷新順序要求,避免出現視圖數據比基表舊導致指標回跳的情況。

這些約束直接決定 DDL 怎麼寫、MV 怎麼建,也是它區別於通用維度建模文檔的地方。

安裝與啓用

該 Skill 的發佈頁未提供獨立的安裝命令。它基於通用 SKILL.md 格式,按通用慣例,使用時將 Skill 目錄(包含 SKILL.md 及配套文件)放入客戶端的 Skill 加載目錄,例如用戶級目錄 ~/.claude/skills/<skill-name>/ 或項目級目錄 .claude/skills/<skill-name>/,由支持 SKILL.md 的客戶端(如 Claude Code)自動加載,之後在對話中即可調用其建模指引。具體加載方式以所用客戶端的文檔爲準。

官方地址:

https://api.skillhub.cn/user_60f50cbb/zlqcppzo

SkillHub 頁面:

https://www.skillhub.cn/skills/user_60f50cbb/zlqcppzo

適用場景與注意

適合的場景:Doris 數倉從 0 到 1 建模、存量模型評審、需要統一分層和指標口徑的團隊,以及需要確認某個 DDL 寫法是否符合 Doris 約束(MV 鍵模型、分區、CTE 註釋、刷新時序)的場合。

需要注意的幾點:

1、它不提供數據本身的加工邏輯,指標口徑仍要在 BI 側定義清楚,Skill 只負責把分層和約束定下來。

2、無 ADS 層的設定意味着報表側直接讀 DWS 或 BI 層計算,BI 能力不足的團隊要先補齊再落地這套分層。

3、標註 requires_api_key=false,說明使用過程不依賴外部 API Key,但效果取決於建模者對維度建模基本概念(總線矩陣、SCD、事實表分類)的掌握程度,它替代的是規範執行,不是替代建模判斷。

結尾

這個 Skill 的價值在於把 Doris 建模裏容易漂移的部分(分層、鍵模型、MV 刷新、指標歸屬)收斂成一套可對照的規範,減少評審成本和返工。如果你所在的團隊正在用 Doris 建數倉,可以先從它的分層 DDL 標準和反模式清單入手,再逐步應用到新模型上。

官方地址:https://api.skillhub.cn/user_60f50cbb/zlqcppzo

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜