Doris 专用・数据建模架构师:把 Doris 数仓建模规范固定下来

前言

Doris 项目里的建模问题,往往不是模型设计不出来,而是标准执行不下去:ODS/DIM/DWD/DWS 分层各人各画,事实表类型混用,缓慢变化维靠临时 SQL 处理,物化视图在 Doris 上建了却刷新时序混乱,最后指标口径散到 BI 层和报表层各算一遍,对账对不上。

这个 Skill 面向的就是这个场景:把一套成熟的维度建模规范和 Doris 特有约束固化成可复用的指引,让建模时按同一套标准走。下面介绍它的定位、能力和使用方式。

这是什么

Doris 专用・数据建模架构师(坐标 @user_60f50cbb/zlqcppzo,版本 2.0.0)是一个社区发布的 data-analysis 类 Skill,发布者为 user_60f50cbb。SkillHub 页面显示其评分为 100000,累计下载 924 次(页面另显示安装 0)。

它解决的核心问题是:在 Apache Doris 上做数据仓库建模时,给出一致的体系选择、分层标准、指标口径和 DDL 规范,并明确哪些做法在 Doris 上属于反模式。它以 Kimball 维度建模为主,同时兼容 Inmon / Data Vault 的设计思路,适合作为建模评审和日常 DDL 编写时的参照手册。

建模体系与分层标准

它的建模体系分两块,一块是体系选型,一块是分层落地:

1、体系选型:以 Kimball 维度建模为主,兼容 Inmon 和 Data Vault 设计思路。这意味着在需要企业级集成历史时,可以向 Data Vault 的思路靠拢;在面向分析主题时,仍走 Kimball 的总线矩阵加维度建模路线。

2、分层标准:固定为 ODS / DIM / DWD / DWS 四层,不设 ADS 层。没有 ADS 层的理由是复合指标统一交由 BI 承担:Doris 里不再维护一层面向具体报表的宽表或汇总层,减少重复存储和口径分裂,指标的再加工发生在 BI 侧而不是数仓内部。

核心能力

Skill 在建模过程中提供的能力覆盖以下几项:

1、总线矩阵:先列业务过程再列维度,用矩阵确定每个业务过程与哪些维度相关,作为后续事实表和维度表划分的依据。

2、SCD 缓慢变化维:针对维度属性变化给出 SCD 处理方案,避免维度表里同时存在多个版本的属性却无法区分生效时间。

3、四类事实表:按事务事实、周期快照事实、累积快照事实、无事实事实表四类划分,明确每类事实表适用的业务过程和粒度。

4、指标分层:对原子指标、派生指标、复合指标做分层定义,复合指标不下沉到 Doris 内部存储。

5、Doris 物化视图建模落地:结合 Doris 物化视图的能力给出建模做法,包括视图定义与底层表的一致性要求。

6、反模式规避:列出在 Doris 建模中容易出现的错误做法,供评审时对照检查。

7、分层 DDL 标准:给出 ODS / DIM / DWD / DWS 各层的建表 DDL 规范,包括键模型选择和注释要求。

对齐的 Doris 约束

这套 Skill 的一个特点是:它不写脱离 Doris 能力的规范,而是把建模规则与 Doris 的引擎约束对齐。它复用了前置的 Doris 分层通用规范,其中包括:

1、物化视图仅使用 Duplicate Key 模型,不涉及 Doris 其他键模型在 MV 上的限制问题。

2、不设置分区生命周期(lifecycle),分区策略由建模规范另行约束。

3、CTE(公共表表达式)要求全字段注释,保证层间引用时字段含义可追溯。

4、物化视图刷新时序规则:明确 MV 与基表之间的刷新顺序要求,避免出现视图数据比基表旧导致指标回跳的情况。

这些约束直接决定 DDL 怎么写、MV 怎么建,也是它区别于通用维度建模文档的地方。

安装与启用

该 Skill 的发布页未提供独立的安装命令。它基于通用 SKILL.md 格式,按通用惯例,使用时将 Skill 目录(包含 SKILL.md 及配套文件)放入客户端的 Skill 加载目录,例如用户级目录 ~/.claude/skills/<skill-name>/ 或项目级目录 .claude/skills/<skill-name>/,由支持 SKILL.md 的客户端(如 Claude Code)自动加载,之后在对话中即可调用其建模指引。具体加载方式以所用客户端的文档为准。

官方地址:

https://api.skillhub.cn/user_60f50cbb/zlqcppzo

SkillHub 页面:

https://www.skillhub.cn/skills/user_60f50cbb/zlqcppzo

适用场景与注意

适合的场景:Doris 数仓从 0 到 1 建模、存量模型评审、需要统一分层和指标口径的团队,以及需要确认某个 DDL 写法是否符合 Doris 约束(MV 键模型、分区、CTE 注释、刷新时序)的场合。

需要注意的几点:

1、它不提供数据本身的加工逻辑,指标口径仍要在 BI 侧定义清楚,Skill 只负责把分层和约束定下来。

2、无 ADS 层的设定意味着报表侧直接读 DWS 或 BI 层计算,BI 能力不足的团队要先补齐再落地这套分层。

3、标注 requires_api_key=false,说明使用过程不依赖外部 API Key,但效果取决于建模者对维度建模基本概念(总线矩阵、SCD、事实表分类)的掌握程度,它替代的是规范执行,不是替代建模判断。

结尾

这个 Skill 的价值在于把 Doris 建模里容易漂移的部分(分层、键模型、MV 刷新、指标归属)收敛成一套可对照的规范,减少评审成本和返工。如果你所在的团队正在用 Doris 建数仓,可以先从它的分层 DDL 标准和反模式清单入手,再逐步应用到新模型上。

官方地址:https://api.skillhub.cn/user_60f50cbb/zlqcppzo

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜