一、基础概念1.定义数据仓库是一个面向主题的、集成的、随时间变化的、非易失的数据集合用于支持管理者的决策过程。面向主题主题简单来说就是与业务相关的数据的类别每个主题对应一个宏观的分析领域。例如一个公司需要分析销售数据建立一个专注于销售的数据仓库使用这个数据仓库可以会打类似于”去年谁是我们这款产品的最佳用户“这样的问题。)集成假设公司有多条产品线和多种产品销售渠道而每个产品线都有自己独立的销售数据库。此时从公司层面分析销售数据必须将多个分散的数据源统一成一致的、无歧义的数据格式后再放置到数据仓库中。当完成数据整合工作后该数据仓库就可成为是集成的。非易失数据写入后一般不删除、不修改主要做追加随时间变化持续不断新增历史数据可以分析不同时间段情况随时间变化的特性表明数据仓库是2.一些术语全量表每日同步该实体所有数据覆盖昨日全部记录适合客户、商品等基础信息增量表只同步当天新增 / 变更的数据适合流水日志快照表每日保存一份完整数据快照可以查询任意一天的历史状态分区Hive 常用dt 日期数据按日期分区存放治理常见问题分区缺失、分区为空、分区数据延迟数据粒度数据细化程度例明细粒度每一条订单汇总粒度用户每日总订单宽表把多张表字段合并到一张大表减少多表 JOIN3.OLTP vs OLAP类型全称代表系统用途特点OLTP联机事务处理MySQL、Oracle 业务库日常业务操作下单、注册增删改频繁面向单笔交易数据量较小OLAP联机分析处理Hive、ClickHouse、数仓统计分析、报表、指标计算几乎不修改历史数据大量查询用于决策分析二、标准数仓分层1. ODS 原始数据层数据原样同步业务库几乎不做清洗结构和源库保持一致数据形态增量 / 全量同步日志治理关注点数据同步及时性、数据生命周期、原始数据备份、脏数据源头留存特点不修改数据保留业务系统原貌方便追溯源头问题数据同步工具Flink CDC2. DWD 明细数据层数据清洗层数据ODS 数据清洗后的最细粒度明细不聚合处理动作过滤无效数据、统一编码、脱敏、剔除重复垃圾数据治理关注点基础数据质量、字段标准落地、统一代码字典使用专门的**ETLExtract→Transform→Load**工具。Extract抽取方式全量抽取、增量抽取、CDC 变更捕获。Transform清洗、标准化、字段衍生、维度补全、格式转换。**Load *将处理完成的干净数据写入目标Hive、数据库、数据仓库ETL VS ELT:ETLELT流程抽取 → 转换 → 加载抽取 → 加载 → 转换转换时机入库之前清洗原始数据先入库ODS入库后再清洗典型架构传统小型数据库数仓Hive/Spark 大数据数仓企业主流和分层对应不适合标准五层数仓ODS原始入库→ SQL 加工得到 DWD3. DIM 维度层存放维度表描述业务实体属性用户、门店、产品、组织、地区关键知识点缓慢变化维 SCDSCD1直接覆盖旧数据不保存历史SCD2新增一条记录保留历史快照最常用可追踪历史属性SCD3增加拓展字段保存少量历史治理关注点维度一致性、主数据对齐、编码统一4. DWS 汇总层宽表层按照维度提前聚合汇总形成宽表。例每日用户汇总、每日商品订单汇总粒度高于明细减少报表重复计算治理关注点指标口径统一、消灭重复指标、冗余字段梳理5. DM 数据集市 / 应用层面向部门业务、报表、大屏、分析取数按需组装数据治理关注点数据资产盘点、对外数据权限管控、报表血缘梳理简易数据流链路梳理血缘标准路径业务数据库 → ODS → DWD → DWS/DIM → DM → 报表 / 可视化三、维度建模1. 两大核心表① 事实表DWD/DWS记录业务发生的事件、度量值。特点每条记录代表一次业务事件下单、支付、退款、浏览外键关联各个维度表ID包含度量指标金额、数量、时长可以求和数量远大于维度表。核心字段维度外键 度量指标金额、数量粒度一条记录代表一件什么事非常重要指标统计失真大多是粒度混乱order_id (明细主键)user_id (维度外键)goods_id (维度外键)order_timebuy_num (度量)amount (度量)pay_statusOD2026071100110001G0012026-07-11 08:201399.00已支付OD2026071100210002G0022026-07-11 09:152168.00未支付② 维度表DIM层存放描述实体属性信息用来过滤、分组统计。例子用户表、商品表、区域表user_id (主键)user_namegenderphoneregionregister_dateuser_level10001张三男131****1111新疆2025-01-05VIP10002李四女132****2222上海2025-02-10普通2. 两种模型1.星型模型事实表居中直接关联所有维度表查询简单数仓最常用dim_user用户维度 ↑ dim_goods ← dwd_order_detail → dim_shop 商品维度 【事实表】 门店维度2.雪花模型维度表继续拆分子维度冗余低但关联层级多、查询性能差dim_region(省市维度) ↑ dim_user(用户维度) ↑ dim_goods ← dwd_order_detail → dim_shop四、数仓常见数据问题源头多系统同含义字段命名不一致客户 ID /cust_id/user_no→【数据标准治理】同一指标多处口径不一样营收是否包含退款→【指标标准治理】维度编码不统一性别 1/0、男 / 女混用→【数据质量 数据元】明细表重复数据、空值过多 →【数据质量规则】一张报表来源多层表没人知道计算逻辑 →【元数据、数据血缘】