技术分享丨数据仓库的建模与ETL实践技巧
摘要:如何搭建数据仓库,在这个过程中都应该遵循哪些方法和准则,项目实践中有哪些技巧。
数据仓库的”心脏”
首先来谈谈数据模型。模型是现实世界特征的模拟和笼统,比方地图、建筑设计沙盘,飞机模型等等。
图片源自网络
而数据模型DataModel是现实世界数据特征的笼统。
图片源自网络
在数据仓库项目建设中,数据模型的建立具备重要的意义,用户的业务场景,流程规则,行业知识都表现在通过数据模型体现出来,在业务人员和技术人员之间搭建起来了一个沟通的桥梁,所以在国外少量数据仓库的文献中,把数据模型称之为数据仓库的心脏 “TheHeartoftheDataWarehouse” 。
图片源自网络
数据模型设计的好坏直接影响数据的
稳固性
易用性
访问效率
存储容量
维护成本
数据仓库中数据模型,数据分层和ETL程序
2.1概述
数据仓库是一种通过(准)实时/批量的方式把各种外部数据源集成起来后,采用多种方式提供给最终客户进行数据消费的信息系统。
面对繁多的上游业务系统而言,数据仓库的一个重要任务就是进行数据清洗和集成,形成一个标准化的规范化的数据结构,为后续的一致性的数据分析提供可信的数据基础。
另一方面数据仓库里面的数据要发挥价值就需要通过多种形式体现,有用于理解企业生产状况的固定报表,有用于向管理层汇报的KPI驾驶舱,有用于大屏展现的实时数据推送,有用于部门应用的数据集市,也有用于分析师的数据试验室…对于不同的数据消费途径,数据需要从高度一致性的基础模型转向便于数据展示和数据分析的维度模型。不同阶段的数据因而需要使用不同架构特点的数据模型与之相匹配,这也就是数据在数据仓库里面进行数据分层的起因。
数据在各层数据中间的流转,就是从一种数据模型转向另外一种数据模型,这种转换的过程需要借助的就是ETL算法。打个比如,数据就是数据仓库中的原材料,而数据模型是不同产品形态的模子,不同的数据层就是仓库的各个 “车间”,数据在各个 “车间” 的形成流水线式的传动就是依靠调度工具这个流程自动化软件,执行SQL的用户端工具是流水线上的机械臂,而ETL程序就是驱动机械臂进行产品加工的算法核心。
图片源自网络
上图是数据仓库工具箱-维度建模权威指南一书中的数据仓库混合辐射架构
2.2金融行业中的分层模型
金融行业中的数据仓库是对模型建设要求最高也是最为成熟的一个行业,在多年的金融行业数据仓库项目建设过程中,基本上都形成了缓冲层,基础模型层,汇总层(共性加工层),以及集市层。不同的用户会依托这四层模型做不同的演化,可能经过合并形成三层,也可能经过细分,形成5层或者者6层。
本文简单详情最常见的四层模型:
缓冲层:有的项目也称为ODS层,简单说这一层数据的模型就是贴源的,对于仓库的客户就是在仓库里面形成一个上游系统的落地缓冲带,原汁原味的生产数据在这一层得以保存和表现,所以这一层数据保留时间周期较短,常见的是7~15天,最大的用途是直接提供基于源系统结构的简单原貌访问,如审计等。
基础层:也称为核心层,基础模型层,PDM层等等。数据按照主题域进行划分整合后,较长周期地保存详细数据。这一层数据高度整合,是整个数据仓库的核心区域,是所有后面数据层的基础。这一层保存的保存的数据最少13个月,常见的是2~5年。
集市层:先跳到最后一层。集市层的数据模型具有强烈的业务意义,便于业务人员了解和使用,是为了满足部门客户,业务客户,关键管理客户的访问和查询所使用的,而往往对接前台门户的数据查询,报表工具的访问,以及数据挖掘分析工具的探究。
汇总层:汇总层其实并不是一开始就建立起来的。往往是基础层和集市层建立起来后,发现众多的集市层数据进行汇总,统计,加工的时候存在对基础层数据的反复查询和扫描,而不同部门的数据集市的统计算法实际上是有共性的,所以主键的在两层之间,把具备共性的汇总结果形成一个独立的数据层次,承上启下,节省整个系统计算资源。
图片源自网络
2.3数据仓库常见ETL算法
尽管数据仓库里面数据模型对于不同行业,不同业务场景有着千差万别,但从本质上从缓冲层到基础层的数据加工就是对于增/全量数据如何能够高效地追加到基础层的数据表中,并形成正当的数据历史变化信息链条;而从基础层到汇总层进而到集市层,则是如何通过关联,汇总,聚合,分组这几种手段进行数据解决。所以长期积累下来,对于数据层次之间的数据转换算法实际上也能形成固定的ETL算法,这也是市面上很多数据仓库代码生成工具能够自动化地智能化地形成无编码方式开发数据仓库ETL脚本的起因所在。这里因为篇幅关系,只简单列举一下缓冲层到基础层常见的几种ETL算法,具体的算法对应的SQL脚本可以找时间另起篇幅详细地详情。
1.全表覆盖A1算法说明:删除目标表一律数据,再插入当前数据来源数据量:全量数据适用场景:无需保留历史轨迹,只使用最新状态数据
2.升级插入(Upsert)A2算法说明:本日数据按照主键比对后升级数据,新添加的数据采用插入的方式添加数据来源数据量:增量或者全量数据适用场景:无需保留历史轨迹,只使用最新状态数据
3.历史拉链(Historychain)A3算法说明:数据按照主键与上日数据进行比对,对升级数据进行当日的关链和当日开链操作,对新添加数据添加当日开链的记录来源数据:增量或者全量数据适用场景:需要保留历史变化轨迹的数据,这部分数据会忽略删除信息,例如用户表、账户表等
4.全量拉链(FullHistorychain)A4算法说明:本日全量数据与拉链表中上日数据进行全字段比对,比对结果中不存在的数据进行当日关链操作,对升级数据进行当日关链和当日开链操作,对新添加数据添加当日开链的记录来源数据量:全量数据适用场景:需要保留历史变化轨迹的数据,这部分数据会由数据比对出删除信息进行关链
5.带删除增量拉链(Fx:DeltaHistoryChain)A5算法说明:本日增量数据根据增量中变更标志对删除数据进行当日关链操作,对升级和新添加数据与上日按主键比对后根据需要进行当日关链和当日开链操作,对新添加数据添加当日开链的记录来源数据量:增量数据适用场景:需要保留历史变化轨迹的数据,这部分数据会根据CHG_CODE来判断删除信息
6.追加算法(Append)A6算法说明:删除当日/月的增量数据,插入本日/月的增量数据来源数据量:增量数据适用场景:流水类或者事件类数据复制代码
GaussDB(DWS)和数据仓库
华为的GaussDB (DWS) 是一种基于公有云基础架构的分布式MPP数据库。其主要面向海量数据分析场景。MPP数据库是业界实现数据仓库系统最主流的数据库架构,这种架构的主要特点就是Shared-nothing分布式架构,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点(也就是DN节点)组成。
在这样的系统架构中,业务数据被分散存储在多个节点上,SQL被推送到数据所在位置就近执行,并行地完成大规模的数据解决工作,实现对数据解决的快速响应。基于Shared-Nothing无共享分布式架构,也能够保证随着集群规模的扩展,业务解决能力得到线性增长。
图片源自网络
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 技术分享丨数据仓库的建模与ETL实践技巧