用于数据分析的各类主流ETL 工具比较，哪种最适合你
数据提取、转换与加载(etl，extract-transform-load)工具能够使组织内的不同数据更易于访问、更有意义、也更能被其他数据系统所使用。通常情况下，面对由此产生的自写代码、自建系统的相关成本和复杂性时，企业会直接去选择购置etl工具。
第一种选择：您可以根据自身的情况，选择各种开源的etl工具(请参考https://www.alooma.com/blog/open-source-etl-tools-comparison)，来进行自行搭建。不过您往往会发现自己需要有更多的功能、灵活性与技术支持。
第二种选择：与现有供应商合作，选择一种能够很好地处理当前数据源和数据流的解决方案。此处所说的现有供应商，一般是一些大品牌的厂商。
第三种选择：最新的etl平台。这些通常是基于云端的解决方案，能够为现有数据源到云端数据仓库的各种数据提供端到端的etl支持。它们也是针对日益增长的、基于网络的大数据流量所构建的。
本文将深入分析各种现有etl工具的优、缺点，并快速浏览各种最新的etl平台。
现有etl工具概述
现有的etl工具通常由业界知名公司(微软，ibm等)所设计，因此其预装的客户群也比较庞大。
这些工具一般由一整套的工具所组成，并且能够针对具体的问题被予以定制。由于许多公司将其数据存储在传统的单一数据库和系统之中，因此这些工具的制造商能够提供用相应的数据迁移工具，并支持现有的批处理方法。
常见的etl工具
下面虽不是一份完整的清单，但它涵盖了主要的工具产品。
1.ibm infosphere information server
作为一款etl工具，ibm infosphere information server是ibm information platforms solutions套件和ibm infosphere的一部分。它使用图形符号来构建数据的整合方案，并具备各种版本(包括服务器版，企业版和mvs版)。
2.informatica powercenter
informatica powercenter是一款etl产品套件的总称，它包括powercenter客户端工具、服务器和存储数据库。
该软件将数据存储在库中，以便客户端工具和服务器能够访问到。各种操作一般在服务器上被执行，其服务器分别连接到源与目标系统上以获取数据，然后通过各种转换，最终将数据加载到目标系统之中。
3.iway软件
information builders的iway集成套件具有将应用程序与数据相集成的功能。客户可以使用它们来管理结构化、与非结构化的信息。该套件包括有iway数据迁移器、iway服务管理器和iway通用适配器框架。
4.microsoft sql server integration services
microsoft sql server集成服务(ssis)是一个高性能的数据集成方案平台，它包含了用于数据仓库的各种etl包。
5.opentext
opentext集成中心是一个具有整合能力的平台，各个企业能够通过它来提取、增强、改造、整合数据，并且可以将数据内容从一个或多个存储库迁移到任何新的目标之上。
6.oracle goldengate
oracle goldengate是一款比较全面的软件包，它能够实现在异构的it环境中进行实时的数据集成与复制。
7.pervasive软件
pervasive的数据集成平台是一款企业级的数据集成软件方案，它能够帮助公司在任何类型的数据源和应用程序之间建立起连接。同时，它还能支持各种实时集成的场景。
8.pitney bowes软件
pitney bowes能够提供大量针对数据集成的工具和解决方案。其sagent data flow是一款灵活的整合引擎，它能够采集不同来源的数据，并提供一套全面的数据转换工具，以增强其核心的业务价值。
9.sap business objects data services
以前被称为business objects data integrator的sap业务对象数据服务(bods)是一款可被用于数据集成、质量控制、分析和处理的etl工具。它能够帮助您将可信的数据整合并转换到各个数据仓库的系统之中， 以产生分析报告。
10.sas data management
sas数据管理建立在sas平台之上，它是sas投向etl市场的一个工具。该平台由一个包含了(20多种)sas工具和服务的大型套件所组成。
11.sun java composite application platform suite
sun的etl与数据集成工具是大型java复合应用程序平台套件(caps)中的一部分。它是oracle公司的一款标准化企业服务总体套件(enterprise service bus software suite)。java caps的组件能够整合现有应用程序，并能在面向服务的架构环境中提供新的业务服务。
12.sybase
sybase etl包括sybase etl development和sybase etl server。
sybase etl development是一款用于创建和设计数据转换项目与作业的gui工具。该工具提供了一个完整的模拟与调试环境，旨在加速etl转换流程的开发。sybase etl development包含有一台用于控制实际处理流程的etl开发服务器，它能够连接到各个数据库，并执行相关过程。
sybase etl server是一种可扩展的分布式网格引擎，它使用转换流(由sybase etl development所设计)来连接到各个数据源，通过提取数据，然后将数据加载到目标之上。
13.syncsort
syncsort的云解决方案能够访问并整合来自各种来源的数据，从而于将数据迁移到各个云端的存储数据库之中。
现有etl工具的局限性
现有工具最大的局限性在于：它们被设计为“批量进行工作”，即：采集数据、上传数据、采集更多的数据、再上传之。这种批量加载数据在某些情况下的确适用，但是在某些单独的方法上会存在一些问题。
数据批处理与转换工具很难实现跨平台的数据源采集，特别是在涉及到变更数据捕获(cdc，change data capture)的情况时。当上传批量数据出现问题时，您需要跟踪问题、排除故障并尽快重新提交作业。而这种批量处理方式是非常致命的，因为如果在数据仓库中存在着超过24小时的、被api调用与分配的数据;或者需要同时备份传入的数据，那么这些cdc信息就可能因此而丢失或被覆盖，从而造成巨大的问题。
而面对越来越多的数据流和其他类型的数据源时，尤其是在需要尽快提供最新数据的需求下，这些批处理的工具集就更加不适合了。
最新etl工具的概述
最新的etl工具套件是以实时流量数据处理和云计算为基础所构建的。它们与先进的云端数据仓库有着很好的集成，并能够支持持续增长的数据源和数据流。
如今的趋势是：基于云的etl服务。它们通常能够提供对实时数据、智能模式检测等方面的支持。
随着对实时数据访问需求的出现，诸如kafka之类的最新模型，都能够实现基于数据流的处理和分布式的消息队列。以alooma为代表的公司，通过新的技术提供了基于saas平台和本地的解决方案。面对数据流，最新的etl平台能够在完成加载的数据仓库内部，进行不同级别的转换，并通过python、java等代码以实现完全控制。
而对于数据的完整性，最新的etl平台通过强大的内置安全网络，能够实现各种错误的处理和报告。
常见的最新etl平台和工具
下面列出了常见的最新etl平台和工具：
1.alooma
alooma是一个为云服务构建的企业数据管道(data pipeline)平台。alooma能够提供一种现代的、可扩展的、基于云端的etl解决方案，它可以实时地将来自任何数据源的数据汇集到任何一个数据仓库之中。
错误处理：处理、监控/报告、整流(restreaming)
转换：支持python转换的etl
2.confluent
confluent是一个基于apache kafka的全面数据流平台。它能够在数据流中发布、订阅、存储并处理数据。confluent提供了其平台的开源版本。
错误处理：仅监控
转换：etl，kafka streams api
3.fivetran
fivetran是一款saas类型的数据集成工具。它能够从不同的云服务、数据库和商业智能(bi)工具中提取数据，并将其加载到数据仓库之中。
错误处理：仅监控
转型：有限的elt
4.flydata
flydata是一款saas类型的数据迁移工具。它可用于管理mysql、postgresql、mariadb、percona的数据加载过程，并以csv/tsv/json的格式记录到amazon的redshift数据仓库之中。
错误处理：缓冲式处理
转型：有限的elt
5.matillion
matillion能够提供云端数据的集成。它是一款专为amazon redshift、google bigquery和snowflake构建的etl工具。
错误处理：仅通过代码支持，但并非内置
转换：图形化构建的etl
6.snaplogic
snaplogic提供了数据集成平台即服务(data integration platform-as-a-service)的工具，可用于连接各种云端数据源、saas应用和本地的商业软件应用。
错误处理：支持，但并非内置
转换：图形化构建的etl
7.stitch data
stitch是一款云端优先(cloud-first)的、开发者专用工具，可用于快速地移动数据。
错误处理：手动，记录在拒绝表(rejection table)中
转型：有限的准etl
8.streamsets
streamsets是原生云(cloud-native)的产品集合，可用于控制数据漂移，以及与数据、数据源、数据基础架构、数据处理有关的变化问题。
错误处理：有错误记录处理
转换：代码类和gui的etl
9.striim
striim(发音为“stream”)是一个实时的流媒体分析和数据集成平台。
错误处理：仅监控
转换：内置和具有java功能的etl
数字资产比特币交易所开发区块链技术服务商
属于高通的辉煌时代正在过去?
一文知道EMC/EMI及EMS的区别和联系
基于FPGA的弹球游戏
影响锂离子电池寿命的因素及提高电池寿命的方法
用于数据分析的各类主流ETL 工具比较，哪种最适合你
智米电暖器智能版1S高清图集
什么蓝牙耳机用来送人比较合适呢？送人最佳耳机品牌推荐！
上汽与奥地利合资合作生产智能驾驶中央决策控制器
巴西正式实施洗衣机产品新法规
三星新款 OLED 屏通过 UL 验证：色域 73% 最高亮度超 1500 尼特
中移动首款TD支付手机研制成功
成为嵌入式高手的技能清单和升级线路图
隆基高效的Hi-MO 6组件让更多企业看到绿色能源的无限可能
联发科技发布突破性的全新5G移动平台，5G手机即将面世
因安全和数据问题，微软短暂禁用ChatGPT
奥迪A8L带来了L3级自动驾驶及激光雷达量产前装的风潮
新一代人工智能芯片KLM5S3的推出
小米Redmi Go手机曝光搭载骁龙425处理器不支持指纹解锁
“双通”并购案势力博弈 欧盟助力高通抵制博通收购
第一种选择：您可以根据自身的情况，选择各种开源的etl工具(请参考https://www.alooma.com/blog/open-source-etl-tools-comparison)，来进行自行搭建。不过您往往会发现自己需要有更多的功能、灵活性与技术支持。
第二种选择：与现有供应商合作，选择一种能够很好地处理当前数据源和数据流的解决方案。此处所说的现有供应商，一般是一些大品牌的厂商。
第三种选择：最新的etl平台。这些通常是基于云端的解决方案，能够为现有数据源到云端数据仓库的各种数据提供端到端的etl支持。它们也是针对日益增长的、基于网络的大数据流量所构建的。
本文将深入分析各种现有etl工具的优、缺点，并快速浏览各种最新的etl平台。
现有etl工具概述
现有的etl工具通常由业界知名公司(微软，ibm等)所设计，因此其预装的客户群也比较庞大。
这些工具一般由一整套的工具所组成，并且能够针对具体的问题被予以定制。由于许多公司将其数据存储在传统的单一数据库和系统之中，因此这些工具的制造商能够提供用相应的数据迁移工具，并支持现有的批处理方法。
常见的etl工具
下面虽不是一份完整的清单，但它涵盖了主要的工具产品。
1.ibm infosphere information server
作为一款etl工具，ibm infosphere information server是ibm information platforms solutions套件和ibm infosphere的一部分。它使用图形符号来构建数据的整合方案，并具备各种版本(包括服务器版，企业版和mvs版)。
2.informatica powercenter
informatica powercenter是一款etl产品套件的总称，它包括powercenter客户端工具、服务器和存储数据库。
该软件将数据存储在库中，以便客户端工具和服务器能够访问到。各种操作一般在服务器上被执行，其服务器分别连接到源与目标系统上以获取数据，然后通过各种转换，最终将数据加载到目标系统之中。
3.iway软件
information builders的iway集成套件具有将应用程序与数据相集成的功能。客户可以使用它们来管理结构化、与非结构化的信息。该套件包括有iway数据迁移器、iway服务管理器和iway通用适配器框架。
4.microsoft sql server integration services
microsoft sql server集成服务(ssis)是一个高性能的数据集成方案平台，它包含了用于数据仓库的各种etl包。
5.opentext
opentext集成中心是一个具有整合能力的平台，各个企业能够通过它来提取、增强、改造、整合数据，并且可以将数据内容从一个或多个存储库迁移到任何新的目标之上。
6.oracle goldengate
oracle goldengate是一款比较全面的软件包，它能够实现在异构的it环境中进行实时的数据集成与复制。
7.pervasive软件
pervasive的数据集成平台是一款企业级的数据集成软件方案，它能够帮助公司在任何类型的数据源和应用程序之间建立起连接。同时，它还能支持各种实时集成的场景。
8.pitney bowes软件
pitney bowes能够提供大量针对数据集成的工具和解决方案。其sagent data flow是一款灵活的整合引擎，它能够采集不同来源的数据，并提供一套全面的数据转换工具，以增强其核心的业务价值。
9.sap business objects data services
以前被称为business objects data integrator的sap业务对象数据服务(bods)是一款可被用于数据集成、质量控制、分析和处理的etl工具。它能够帮助您将可信的数据整合并转换到各个数据仓库的系统之中， 以产生分析报告。
10.sas data management
sas数据管理建立在sas平台之上，它是sas投向etl市场的一个工具。该平台由一个包含了(20多种)sas工具和服务的大型套件所组成。
11.sun java composite application platform suite
sun的etl与数据集成工具是大型java复合应用程序平台套件(caps)中的一部分。它是oracle公司的一款标准化企业服务总体套件(enterprise service bus software suite)。java caps的组件能够整合现有应用程序，并能在面向服务的架构环境中提供新的业务服务。
12.sybase
sybase etl包括sybase etl development和sybase etl server。
sybase etl development是一款用于创建和设计数据转换项目与作业的gui工具。该工具提供了一个完整的模拟与调试环境，旨在加速etl转换流程的开发。sybase etl development包含有一台用于控制实际处理流程的etl开发服务器，它能够连接到各个数据库，并执行相关过程。
sybase etl server是一种可扩展的分布式网格引擎，它使用转换流(由sybase etl development所设计)来连接到各个数据源，通过提取数据，然后将数据加载到目标之上。
13.syncsort
syncsort的云解决方案能够访问并整合来自各种来源的数据，从而于将数据迁移到各个云端的存储数据库之中。
现有etl工具的局限性
现有工具最大的局限性在于：它们被设计为“批量进行工作”，即：采集数据、上传数据、采集更多的数据、再上传之。这种批量加载数据在某些情况下的确适用，但是在某些单独的方法上会存在一些问题。
数据批处理与转换工具很难实现跨平台的数据源采集，特别是在涉及到变更数据捕获(cdc，change data capture)的情况时。当上传批量数据出现问题时，您需要跟踪问题、排除故障并尽快重新提交作业。而这种批量处理方式是非常致命的，因为如果在数据仓库中存在着超过24小时的、被api调用与分配的数据;或者需要同时备份传入的数据，那么这些cdc信息就可能因此而丢失或被覆盖，从而造成巨大的问题。
而面对越来越多的数据流和其他类型的数据源时，尤其是在需要尽快提供最新数据的需求下，这些批处理的工具集就更加不适合了。
最新etl工具的概述
最新的etl工具套件是以实时流量数据处理和云计算为基础所构建的。它们与先进的云端数据仓库有着很好的集成，并能够支持持续增长的数据源和数据流。
如今的趋势是：基于云的etl服务。它们通常能够提供对实时数据、智能模式检测等方面的支持。
随着对实时数据访问需求的出现，诸如kafka之类的最新模型，都能够实现基于数据流的处理和分布式的消息队列。以alooma为代表的公司，通过新的技术提供了基于saas平台和本地的解决方案。面对数据流，最新的etl平台能够在完成加载的数据仓库内部，进行不同级别的转换，并通过python、java等代码以实现完全控制。
而对于数据的完整性，最新的etl平台通过强大的内置安全网络，能够实现各种错误的处理和报告。
常见的最新etl平台和工具
下面列出了常见的最新etl平台和工具：
1.alooma
alooma是一个为云服务构建的企业数据管道(data pipeline)平台。alooma能够提供一种现代的、可扩展的、基于云端的etl解决方案，它可以实时地将来自任何数据源的数据汇集到任何一个数据仓库之中。
错误处理：处理、监控/报告、整流(restreaming)
转换：支持python转换的etl
2.confluent
confluent是一个基于apache kafka的全面数据流平台。它能够在数据流中发布、订阅、存储并处理数据。confluent提供了其平台的开源版本。
错误处理：仅监控
转换：etl，kafka streams api
3.fivetran
fivetran是一款saas类型的数据集成工具。它能够从不同的云服务、数据库和商业智能(bi)工具中提取数据，并将其加载到数据仓库之中。
错误处理：仅监控
转型：有限的elt
4.flydata
flydata是一款saas类型的数据迁移工具。它可用于管理mysql、postgresql、mariadb、percona的数据加载过程，并以csv/tsv/json的格式记录到amazon的redshift数据仓库之中。
错误处理：缓冲式处理
转型：有限的elt
5.matillion
matillion能够提供云端数据的集成。它是一款专为amazon redshift、google bigquery和snowflake构建的etl工具。
错误处理：仅通过代码支持，但并非内置
转换：图形化构建的etl
6.snaplogic
snaplogic提供了数据集成平台即服务(data integration platform-as-a-service)的工具，可用于连接各种云端数据源、saas应用和本地的商业软件应用。
错误处理：支持，但并非内置
转换：图形化构建的etl
7.stitch data
stitch是一款云端优先(cloud-first)的、开发者专用工具，可用于快速地移动数据。
错误处理：手动，记录在拒绝表(rejection table)中
转型：有限的准etl
8.streamsets
streamsets是原生云(cloud-native)的产品集合，可用于控制数据漂移，以及与数据、数据源、数据基础架构、数据处理有关的变化问题。
错误处理：有错误记录处理
转换：代码类和gui的etl
9.striim
striim(发音为“stream”)是一个实时的流媒体分析和数据集成平台。
错误处理：仅监控
转换：内置和具有java功能的etl
数字资产比特币交易所开发区块链技术服务商
属于高通的辉煌时代正在过去?
一文知道EMC/EMI及EMS的区别和联系
基于FPGA的弹球游戏
影响锂离子电池寿命的因素及提高电池寿命的方法
用于数据分析的各类主流ETL 工具比较，哪种最适合你
智米电暖器智能版1S高清图集
什么蓝牙耳机用来送人比较合适呢？送人最佳耳机品牌推荐！
上汽与奥地利合资合作生产智能驾驶中央决策控制器
巴西正式实施洗衣机产品新法规
三星新款 OLED 屏通过 UL 验证：色域 73% 最高亮度超 1500 尼特
中移动首款TD支付手机研制成功
成为嵌入式高手的技能清单和升级线路图
隆基高效的Hi-MO 6组件让更多企业看到绿色能源的无限可能
联发科技发布突破性的全新5G移动平台，5G手机即将面世
因安全和数据问题，微软短暂禁用ChatGPT
奥迪A8L带来了L3级自动驾驶及激光雷达量产前装的风潮
新一代人工智能芯片KLM5S3的推出
小米Redmi Go手机曝光搭载骁龙425处理器不支持指纹解锁
“双通”并购案势力博弈 欧盟助力高通抵制博通收购