1. 什么是数据仓库？
数据仓库是面向主题、集成、非易失、随时间变化的企业级数据存储与分析系统，用于支持管理决策和业务智能（BI）。它从多个分散的业务数据源（如数据库、日志、Excel等）抽取数据，经过清洗、转换、加载（ETL/ELT）后，以统一格式存储，供分析人员通过报表、OLAP、数据挖掘等工具挖掘价值。
关键区别：数据仓库≠数据库
数据库（OLTP）：面向事务处理（如订单录入），强调实时性、高并发、低延迟；
数据仓库（OLAP）：面向分析决策，强调历史数据整合、复杂查询、多维分析。
2. 核心特征（Inmon定义）
面向主题（Subject-Oriented）：按业务主题组织数据（如“客户”“销售”“产品”），而非按业务流程（如“订单表”“库存表”）。
集成（Integrated）：整合多源异构数据（如MySQL的交易库、MongoDB的用户行为、CSV的线下数据），解决命名冲突、格式不一致、单位差异等问题。
非易失（Non-Volatile）：数据一旦加载，通常不修改或删除（仅追加新数据），保证历史一致性，支持趋势分析。
随时间变化（Time-Variant）：存储时间序列数据（如近5年的每日销售额），可追踪业务随时间的变化规律。
3. 数据仓库架构
典型架构分为三层（部分场景扩展为四层）：
层级 | 作用 |
|---|---|
数据源层 | 原始数据来源：业务数据库（OLTP）、日志文件、IoT设备、第三方API、Excel等。 |
数据存储与计算层 | 核心层，包含： |
数据应用层 | 面向用户的分析工具：BI报表（Tableau、Power BI）、OLAP引擎（Kylin、Presto）、数据挖掘平台（Python/R）、自助分析工具（Looker）等。 |
4. 数仓分层设计（经典四层模型）
为解决数据复用、解耦和追溯问题，数仓通常按“数据加工流程”分层：
层级 | 别名 | 作用 |
|---|---|---|
ODS层 | 操作数据存储层 | 贴源层，几乎原样同步数据源数据（仅做简单清洗，如去重、格式标准化），保留明细，用于问题追溯。 |
DWD层 | 数据明细层 | 明细层，对ODS数据进行深度清洗（如处理空值、纠正错误、统一编码），生成原子粒度明细事实表（如“订单明细表”“用户行为明细表”），保证数据质量。 |
DWS层 | 数据汇总层 | 汇总层，基于DWD层按主题聚合（如按“日-地区-产品”汇总销售额），生成轻度汇总宽表（减少下游查询复杂度）。 |
ADS层 | 应用数据层 | 应用层，直接对接业务需求，生成特定场景的宽表或指标（如“用户留存率表”“月度销售排行榜”），供BI或报表使用。 |
补充：部分架构会增加DIM层（维度层），存储公共维度数据（如“时间维度表”“地区维度表”“用户维度表”），用于关联事实表实现多维分析。
5. 关键技术组件
ETL/ELT工具：
ETL（Extract-Transform-Load）：先抽取（Extract）数据，再在工具内转换（Transform），最后加载（Load）到数仓（适合传统数仓，如Oracle）；
ELT（Extract-Load-Transform）：先抽取加载到数仓，再利用数仓的计算能力转换（适合云原生数仓，如Snowflake、BigQuery，更高效）。
常见工具：Apache Airflow（调度）、Flink（实时ETL）、Sqoop（关系型数据同步）、Canal（MySQL binlog同步）。
存储引擎选型：
传统数仓：Oracle、Teradata（成熟但成本高）；
云原生数仓：Snowflake（存算分离、弹性扩展）、AWS Redshift、Google BigQuery（Serverless，免运维）；
开源数仓：Apache Hive（基于Hadoop，批处理）、ClickHouse（列式存储，高性能OLAP）、Apache Doris（MPP架构，实时+离线分析）。
OLAP技术：
支持多维分析（如“按时间、地区、产品看销售额”），包括：
MOLAP（预计算立方体，如Kylin，查询快但灵活性低）；
ROLAP（实时计算，如Presto、Spark SQL，灵活但依赖算力）；
HOLAP（混合模式）。
6. 数据仓库 vs 数据湖 vs 湖仓一体
概念 | 特点 | 不足 |
|---|---|---|
数据仓库 | 结构化数据为主， schema-on-write（写入前定结构），强一致性，适合精准分析。 | 不支持非结构化数据（如图片、视频），扩展性差，成本高。 |
数据湖 | 存储所有类型数据（结构化、半结构化、非结构化）， schema-on-read（读取时定结构），低成本、高扩展。 | 数据质量低（“数据沼泽”风险），缺乏治理，难以直接分析。 |
湖仓一体 | 融合数仓的结构化管理能力和数据湖的低成本存储，支持ACID事务、Schema管理、实时分析。 | 技术复杂度高，需平衡性能与成本（如Databricks Lakehouse、Snowflake）。 |
7. 应用场景
企业BI报表：如管理层 dashboard（实时销售额、用户增长）；
多维分析（OLAP）：如“分析Q3华东地区手机品类的复购率”；
数据挖掘与AI：如用户 churn 预测、推荐系统训练（基于历史行为数据）；
合规与审计：存储历史数据满足监管要求（如金融行业的交易追溯）。
8. 发展趋势
云原生：从本地部署转向云数仓（如Snowflake、Redshift），降低运维成本；
实时化：支持流式数据接入（如Flink+Kafka），实现秒级/分钟级分析（替代传统T+1批处理）；
智能化：内置AI/ML功能（如自动数据清洗、异常检测、指标推荐）；
自助化：降低使用门槛，让业务人员通过拖拽式工具自主分析（如Looker、Metabase）。
总结
数据仓库是企业数字化转型的核心基础设施，通过整合多源数据、沉淀历史资产，支撑从“被动记录”到“主动决策”的跨越。随着技术发展，数仓正朝着“实时、云原生、智能化”方向演进，成为连接数据与业务价值的桥梁。
