浅谈数据仓库手艺【MySQL教程】,仓库技术

本篇文章重要报告了数据仓库逻辑架构设想，具有肯定的进修代价，感兴趣的朋侪能够相识一下。

离线数据仓库一般基于维度建模理论来构建，离线数据仓库一般从逻辑上举行分层，重要出于以下斟酌：

1、断绝性：用户运用的应该是数据团队经心加工后的数据，而不是来自于营业体系的原始数据，如许做的优点一是，用户运用的是经心预备过的、范例的、清洁的、从营业视角的数据。异常轻易明白和运用。二是假如上游营业体系发作革新以至重构（比如表构造、字段、营业寄义等），数据团队会担任处理所有这些变化，最小化对下流用户的影响。

2、机能和可为保护性： 专业的人做专业的事，数据分层使得数据的加工基础都在数据团队，从而雷同的营业逻辑不必反复实行，节省了响应的存储和盘算开支。另外数据分层也使得数据仓库的保护变得清楚和便利，每层只担任各自的使命，某层的数据加工出现问题，只需要修正该层即可。

3、范例性：关于一个公司和构造来讲，数据的口径异常重要，人人议论一个目标的时刻，必需基于一个明白的、公认i的口径，另表面、字段以及目标必需举行范例。

4、ODS层：数据仓库泉源体系的数据表一般会一成不变地存储一份，这称为ODS（Operation Data Store）层, ODS层也常常会被称为预备区（Staging area）,它们是后续数据仓库层（即基于Kimball维度建模生成的现实表和维度表层，以及基于这些现实表和明细表加工的汇总层数据）加工数据的泉源，同时ODS层也存储着汗青的增量数据或全量数据。

5、DWD和DWS层：数据仓库明细层（Data Warehouse Detail ， DWD）和数据仓库汇总层（Data Warehouse Summary, DWS）是数据仓库的主题内容。DWD和DWS层的数据是ODS层经由ETL洗濯、转换、加载生成的，而且它们一般都是基于Kimball的维度建模理论来构建的，并经由过程一致性维度和数据总线来保证各个子主题的维度一致性。

6、应用层（ADS）：应用层重如果各个营业放或许部门基于DWD和DWS竖立的数据集市(Data Mart，DM)，数据集市DM是相干于DWD和DWS的数据仓库（Data Warehouse, DW）来讲的。一般来讲，应用层的数据泉源于DW层，但原则上不允许直接接见ODS层。另外，比拟DW层，应用层只包括部门或由于方本身体贴的明细层和汇总层数据。