- 站点信息
- 问题反馈
- 邮箱：[email protected]
- 吐槽一下
关注微信
©2020-2025 ioDraw All rights reserved,
Privacy Policy
背景介绍：
数据的抽取，转换和加载 (ETL, Extract, Transform, Load) 是构建数据仓库过程中最复杂也是至 关重要的一个步骤，我们通常用
两种办法来处理 ETL 流程:
一种是异步(Asynchronous) ETL 方式, 也称为文本文件(Flat file)方式。
另外一种是同步(Synchronous) ETL 方式，也称为直接传输 (Direct transfer) 方式
。根据项目的各自特点，合理选择恰当的数据抽取流程，确定抽取过程中的监督核 查机制，对于 DW
项目的成功可以起到事半功倍的作用。在第一种模式中，数据被从源数据库 抽取到文本文件中，通过网络传输被传送到目标服务器，然后再装载到目标数据库中。对于后一
种模式，顾名思义，数据抽取过程是直接从源到目标的，没有通过中间路径或者手段。在数据仓
库工程的开发中，这两种体系架构被普遍采用，不能绝对地评价哪一种模式好，哪一种模式坏。
运用之妙，存乎一心，完全根据系统架构师或高级开发人员根据项目特点(如数据库分布，网络 连接……) 灵活实施，随机应变。
本文目的是比较两种体系架构各自的不同点和优缺点，并基于本文的假设条件，分析两种体系架 构各自的特点和适用范围。本文共分为以下几个部分：
系统结构图比较
假设条件
特点比较
各自适用的环境
系统结构图比较
假设条件
依循数据仓库的工作方式，原始资料由源数据库被抽取出来后，将在中间过程被写入
到”Operational Data Store”(ODS)，ODS 是被设计用来存储中间数据和核查校验数据的。通 过
ODS，数据将被萃取、预先被计算及整理，而后被导入数据仓库作进一步的报表生成与分析。 所以通常意义的 ETL 过程涵盖了两个方面的内容：1.
从源数据库到中间步骤的 ODS; 2. 从 ODS 到最终的数据仓库。本文所讨论的数据装载过程包括如下的假设条件：
数据的抽取过程可以是数据的完全(refresh)抽取或者是增量(incremental)抽取。完全 抽取是
指数据从其源系统中完整的抽取；然后，由转换及加载步骤决定需要哪些数据。 增量抽取仅抽取那些自上次抽取以来发生变化、插入或删除的数据。这样往往就会为转
换和加载步骤单独提供所需的数据。
目标数据库存放数据的时间区间比源数据库长。例如源数据库存放的是 3 个月的交易生 产数据，ODS 存放了 1 年左右的数据，而数据仓库存放了 3－5
年的历史数据。
源数据的记录中应该有特定的时间戳字段来表明数据是何时更新的。这样在 ETL 抽取过 程中就可以根据装载的需要凭借使用时间参数来选择所需要的数据
。与之相对应，目标 数据库也应该保留说明数据是何时插入或者更新的字段。一来是为了维护的需要，同时
今天的目标可能是明天的源，保留这些字段可以具有很大的灵活性。例如企业如果有基 于数据仓库基础上的数据集市系统的应用，需要抽取数据仓库的数据作为数据集市的输
入，这些字段就可以作为用来比较的参数值使用。
许多数据库系统保留了历史记录变动的详细情况。例如对于同一客户记录来说，由于其
居住城市或者地址的变动，记录的内容也会发生相应变动，就会产生许多历史记录，有 些应用需要系统保留这些历史记录以便于回溯（Keep
Track）。本文假定目标数据库 只需要抽取最近更新的一条数据，对于历史的陈旧数据，可以置之不理。
两种体系结构的特点比较
各自适用的环境
最后，通过表 2 我们可以清楚地了解两种不同的数据 ETL 模式所各自适用的环境。 这可以帮助 开发者面对具体的开发背景确定更加合适的模式。
Table 2 compares the strong point and weak point of the two architectures.
表 2. 列出了两种不同体系结构的各自优缺点