提取、轉(zhuǎn)換和加載 (ETL) 軟件是將數(shù)據(jù)從多個源傳輸?shù)浇y(tǒng)一存儲庫（例如數(shù)據(jù)倉庫或數(shù)據(jù)湖）所需的工具。

ETL 工具已經(jīng)使用了近五十年，使組織能夠持續(xù)分析、開發(fā)和處理數(shù)據(jù)。幾家資深的數(shù)據(jù)庫管理、分析和商業(yè)智能企業(yè)供應(yīng)商繼續(xù)引領(lǐng)潮流。與此同時，行業(yè)解決方案將在 2022 年不斷發(fā)展，以滿足云和邊緣數(shù)據(jù)處理需求。

本文介紹了頂級 ETL 工具和軟件解決方案，以及數(shù)據(jù)集成工具中需要考慮的事項。

什么是 ETL 工具？

ETL 工具輔助或完全管理數(shù)據(jù)集成過程，其中組織從多個存儲庫中提取數(shù)據(jù)，轉(zhuǎn)換組合數(shù)據(jù)，并將數(shù)據(jù)加載到新的存儲庫或倉庫中。

ETL 軟件組織結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，確保整個三步流程中的數(shù)據(jù)完整性，從而使應(yīng)用程序開發(fā)人員和組織能夠訪問可操作的數(shù)據(jù)。

頂級 ETL 工具

1、菲弗特蘭

菲弗特蘭

Fivetran是一家專門的 SaaS 數(shù)據(jù)集成供應(yīng)商，為組織和應(yīng)用程序提供兩種 ETL 解決方案。憑借 99.9% 的平臺正常運行時間，F(xiàn)ivetran 可以復(fù)制云和本地數(shù)據(jù)庫、遷移大量數(shù)據(jù)，并使用預(yù)構(gòu)建的數(shù)據(jù)模型豐富分析。

Fivetran 優(yōu)點和缺點

優(yōu)點

• 直觀的信息可訪問權(quán)限，確保安全和管理訪問
• 輕松同步來自多個數(shù)據(jù)庫和云應(yīng)用程序的數(shù)據(jù)
• 用戶友好的 GUI，方便管理員無縫實施和管理
• 考慮到供應(yīng)商的數(shù)據(jù)處理能力，具有成本價值

缺點

• 手動重新同步數(shù)據(jù)所需的努力和有限的選項
• 某些受支持的連接器出現(xiàn)間歇性響應(yīng)
• 通知和警報可以更及時
• 一些流行的數(shù)據(jù)遷移應(yīng)用程序缺乏集成

特點：Fivetran

• 數(shù)據(jù)阻止以確保特定列或表不會復(fù)制到目標(biāo)
• 通過基于日志的復(fù)制進行軟刪除可以繼續(xù)分析已刪除的數(shù)據(jù)
• 使用 Fivetran REST API 為用戶、群組和連接器執(zhí)行中央功能
• 具有前向和后向同步步驟的優(yōu)先級同步
• 事件跟蹤庫支持AWS、Apache、Snowplow、Segment 和 Webhooks

2、日立 Vantara

Hitachi Vantara Lumada 數(shù)據(jù)操作套件

Hitachi Vantara（日立數(shù)據(jù)系統(tǒng) (HDS) 的繼任者）通過其 Lumada DataOps Suite 提供強大的數(shù)據(jù)集成、可視化和分析解決方案。提供的值得注意的 Lumada 工具包括數(shù)據(jù)目錄和邊緣智能；客戶還可以選擇 Hitachi Vantara 的企業(yè)數(shù)據(jù)管理和分析解決方案 Pentaho。

Hitachi Vantara Lumada DataOps 套件的優(yōu)缺點

優(yōu)點

• 使用大量工具來轉(zhuǎn)換數(shù)據(jù)而無需編碼，從而節(jié)省時間
• 數(shù)據(jù)集成實施項目成功率高
• 用于實施企業(yè)版的可視化和直觀的軟件
• Apache 2.0 許可下的強大社區(qū)版本免費提供

缺點

• 文檔和錯誤消息缺少額外的技術(shù)信息
• 管理和維護解決方案需要更多的技術(shù)經(jīng)驗
• 產(chǎn)品支持團隊對查詢的響應(yīng)延遲
• 對 Java 的依賴程度很高，導(dǎo)致工作受到 Java 更新的影響

功能：Hitachi Vantara Lumada DataOps 套件

• 廣泛支持轉(zhuǎn)換結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)
• 內(nèi)容管理和版本控制，可輕松回滾到歷史版本
• 數(shù)據(jù)分析，如行計數(shù)、空值檢測和數(shù)學(xué)函數(shù)
• 用于創(chuàng)建數(shù)據(jù)管道的拖放設(shè)計器
• 通過 Hadoop 元數(shù)據(jù)注入快速加入新數(shù)據(jù)源

3、IBM

IBM InfoSphere 信息服務(wù)器

IBM在其 InfoSphere Information Server 中提供了領(lǐng)先的數(shù)據(jù)集成平臺。IBM InfoSphere Information Server 能夠進行大規(guī)模并行處理 (MPP)，是一款企業(yè)級解決方案。客戶可以在直觀的 Web 界面中使用一系列功能，包括多云數(shù)據(jù)集成、對非結(jié)構(gòu)化數(shù)據(jù)的支持以及數(shù)據(jù)質(zhì)量分析。

IBM InfoSphere Information Server 優(yōu)點和缺點

優(yōu)點

• 方便供應(yīng)商解決方案堆棧的現(xiàn)有客戶
• 可用的供應(yīng)商軟件文檔和可訪問的技術(shù)支持
• 強大的數(shù)據(jù)復(fù)制和同步功能
• 靈活的事件驅(qū)動架構(gòu)和 REST API，適合客戶端 SOA

缺點

• 與其他 ETL 解決方案相比價格昂貴，并且對于小型團隊來說很復(fù)雜
• 難以創(chuàng)建源到目標(biāo)的地圖并分析不同的工作
• 一些穩(wěn)定性問題和間歇性響應(yīng)的情況
• 實施過程棘手，初始配置管理對成功至關(guān)重要

功能：IBM InfoSphere 信息服務(wù)器

• 提取、轉(zhuǎn)換、分發(fā)和擴展大量數(shù)據(jù)以進行倉儲
• 使用 IBM Watson Knowledge Catalog 對非結(jié)構(gòu)化數(shù)據(jù)源進行分類
• 自動化數(shù)據(jù)質(zhì)量和治理以滿足合規(guī)性要求
• 清理、監(jiān)控和維護數(shù)據(jù)的完整性
• 在 Hadoop 等大數(shù)據(jù)集群上運行數(shù)據(jù)分析工作負載

4、信息學(xué)

Informatica成立于 1993 年，是一家長期從事數(shù)據(jù)轉(zhuǎn)換管理、軟件開發(fā)和 ETL 的供應(yīng)商。Informatica Cloud Data Integration 是該公司的云原生解決方案，可增強數(shù)據(jù)源連接性、增強用戶能力并統(tǒng)一跨云服務(wù)的元數(shù)據(jù)。Informatica 的解決方案包括一系列用于現(xiàn)代數(shù)據(jù)集成的高級功能。

Informatica 云數(shù)據(jù)集成的優(yōu)缺點

優(yōu)點

• 能夠無延遲或限制地共享大量數(shù)據(jù)
• 用于數(shù)據(jù)轉(zhuǎn)換任務(wù)的穩(wěn)定數(shù)據(jù)編排軟件
• 直觀的界面平衡了用戶友好性和技術(shù)特性
• 用于校正數(shù)據(jù)的靈活數(shù)據(jù)轉(zhuǎn)換和操作技術(shù)

缺點

• 難以創(chuàng)建數(shù)據(jù)管道和調(diào)度復(fù)雜場景
• 成本限制了預(yù)算較大的公司的解決方案
• 調(diào)度功能有限，需要集成其他解決方案
• 需要改進變更管理日志

功能：Informatica Cloud 數(shù)據(jù)集成

• 訪問 Spark 無服務(wù)器計算引擎進行數(shù)據(jù)集成映射
• 數(shù)百個適用于云和本地系統(tǒng)的開箱即用連接器
• 用于編排和調(diào)度數(shù)據(jù)集成作業(yè)的任務(wù)流設(shè)計器
• 變更跟蹤功能可以查看數(shù)據(jù)存儲中的變更
• 利用人工智能自動調(diào)整功能靈活擴展集群

5、微軟

Microsoft SQL Server 集成服務(wù) (SSIS)

Microsoft SQL Server Integration Services (SSIS) 是一個用于創(chuàng)建企業(yè)數(shù)據(jù)集成和轉(zhuǎn)換的高質(zhì)量平臺。SSIS 非常適合需要直觀 ETL 的面向 Microsoft 的組織，它包括多個內(nèi)置任務(wù)和轉(zhuǎn)換；用于存儲、運行和管理包的目錄數(shù)據(jù)庫；以及用于構(gòu)建包的可視化工具。

Microsoft SSIS 的優(yōu)點和缺點

優(yōu)點

• 通過拖放方式實現(xiàn)組件可視化，并可選擇后端編碼
• 構(gòu)建并自動化數(shù)據(jù)傳輸，輕松實現(xiàn)數(shù)據(jù)轉(zhuǎn)換
• 用戶稱贊創(chuàng)建 ETL 映射和存儲過程的功能
• 與 Outlook 和 SCD 等 Microsoft 應(yīng)用程序集成

缺點

• 缺乏與其他流行數(shù)據(jù)集成工具的集成
• 批量數(shù)據(jù)工作負載或大規(guī)模數(shù)據(jù)倉庫的性能問題
• 手動部署過程可能是一個痛點，需要技術(shù)專業(yè)知識
• 不像其他 ETL 解決方案那樣自動化

功能：Microsoft SSIS

• 內(nèi)置數(shù)據(jù)源連接器、任務(wù)和轉(zhuǎn)換
• 用于修改 IS 對象屬性、映射和列的高級編輯器
• 用于創(chuàng)建、維護和重用 SSIS 包的圖形工具
• 變更數(shù)據(jù)捕獲管理和數(shù)據(jù)挖掘查詢轉(zhuǎn)換
• 支持 BI、行、行集、拆分和連接、審計和自定義轉(zhuǎn)換

6、甲骨文

Oracle 數(shù)據(jù)集成器

Oracle Data Integrator 是 IT 巨頭用于大數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理和云數(shù)據(jù)的數(shù)據(jù)集成解決方案套件的一部分。Oracle Data Integrator 企業(yè)版可以通過統(tǒng)一管理、高可用性和集群可擴展性功能簡化復(fù)雜的部署。

Oracle Data Integrator 優(yōu)點和缺點

優(yōu)點

• 強大的用戶界面和用戶體驗，對非技術(shù)用戶來說也很直觀
• 贊揚該解決方案的影響分析工具和可靠性
• 輕松開發(fā)、管理和處理復(fù)雜工作負載的代碼
• 與其他應(yīng)用程序廣泛集成，以收集和構(gòu)建數(shù)據(jù)

缺點

• 復(fù)雜的實施需要高級 IT 技能才能正確處理數(shù)據(jù)
• 難以調(diào)試實例，缺乏文檔和錯誤消息詳細信息
• 與其他 ETL 工具相比，缺少對象的拖放功能
• 昂貴的許可證費用不適合較小的團隊和組織

功能：Oracle Data Integrator

• 通過增量處理實現(xiàn)數(shù)據(jù)倉庫的大容量加載
• 內(nèi)置 Spark、Hive、Pig、HDFS、HBase 和 Sqoop 大數(shù)據(jù)連接
• 使用 Oracle GoldenGate 支持批量或?qū)崟r遷移
• 通過數(shù)據(jù)同步基礎(chǔ)設(shè)施掌握數(shù)據(jù)管理控制
• 用于管理開發(fā)、測試和生產(chǎn)環(huán)境的發(fā)布控制

7、柯利克

Qlik 數(shù)據(jù)集成

Qlik自 1993 年推出以來一直專注于數(shù)據(jù)集成技術(shù)。Qlik 數(shù)據(jù)集成套件包括用于數(shù)據(jù)復(fù)制、倉庫自動化、企業(yè)級目錄等的產(chǎn)品。借助 Qlik Enterprise Manager，客戶可以監(jiān)控數(shù)據(jù)管道并管理整個 IT 環(huán)境中的配置。

Qlik 數(shù)據(jù)集成的優(yōu)缺點

優(yōu)點

• 提高大數(shù)據(jù)集成項目的靈活性和可擴展性
• 輕松添加源表和從異構(gòu)源復(fù)制任務(wù)
• 批量數(shù)據(jù)加載需要較少的開發(fā)工作量和最小的源影響
• 用戶對 CDC 識別數(shù)據(jù)更改的流程表示贊賞

缺點

• 初始化配置策略時權(quán)限管理相關(guān)問題
• 批處理、數(shù)據(jù)治理和耗時部署困難
• 性能不一致和生產(chǎn)問題
• 文檔和故障排除能力不一致

功能：Qlik 數(shù)據(jù)集成

• 用于實時洞察數(shù)據(jù)的強大分析用例
• 多源日志讀取和延遲抑制等功能
• 實時復(fù)制以及延遲和 CPU 和 RAM 使用情況的圖形表示
• 自動滿載表格并無縫傳輸至CDC監(jiān)控
• 跨平臺（包括 Oracle、SQL Server 和 Snowflake）的任務(wù)設(shè)置相同

8、樹液

SAP 數(shù)據(jù)服務(wù)

SAP是一家經(jīng)驗豐富的跨國軟件公司，擁有 50 年的經(jīng)驗和一整套企業(yè)應(yīng)用程序。SAP 數(shù)據(jù)服務(wù)是供應(yīng)商的解決方案，用于集成、轉(zhuǎn)換和連接數(shù)據(jù)，以優(yōu)化其在 ETL 工具中的使用。借助 SAP，客戶可以及時做出基于數(shù)據(jù)的決策，并豐富整個 IT 環(huán)境中的業(yè)務(wù)流程。

SAP 數(shù)據(jù)服務(wù)的優(yōu)缺點

優(yōu)點

• 通過實用的數(shù)據(jù)模板快速、可靠、一致的結(jié)果
• 非常適合現(xiàn)有 SAP 客戶，具有與 SAP 模塊的內(nèi)置集成
• 部署的簡易性和技術(shù)支持服務(wù)的質(zhì)量
• 實時和批處理作業(yè)、自定義和詳細報告等功能

缺點

• 缺乏與其他廣泛數(shù)據(jù)集成解決方案的集成
• 與現(xiàn)代 UX 平臺相比，GUI 更像是命令行界面 (CLI)
• 調(diào)試、安排作業(yè)和加載 Excel 文件很困難
• 實施和維護需要經(jīng)過培訓(xùn)的人員和技術(shù)專長

功能：SAP 數(shù)據(jù)服務(wù)

• 安全、統(tǒng)一的多個平臺數(shù)據(jù)集成，用于數(shù)據(jù)分析
• 用于復(fù)制、轉(zhuǎn)換和加載數(shù)據(jù)的各種數(shù)據(jù)捕獲機制
• 提取并轉(zhuǎn)換 220 種不同文件類型和 31 種語言的數(shù)據(jù)
• 與 SAP Business Suite 應(yīng)用程序和 SAP HANA 本機集成
• 使用強大的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)設(shè)計、測試、調(diào)試和運行數(shù)據(jù)集成

9、塔蘭德

Talend 數(shù)據(jù)結(jié)構(gòu)

Talend成立于 2005 年，是一家專業(yè)的 ETL 供應(yīng)商，通過其 Talend Data Fabric 解決方案提供數(shù)據(jù)集成、數(shù)據(jù)完整性以及應(yīng)用程序和 API 集成?？蛻暨€可以訪問 Talend Trust Score，以深入了解源數(shù)據(jù)和數(shù)據(jù)健康狀況。Talend 的技術(shù)合作伙伴包括 AWS、Azure、Cloudera、Databricks、Google 和 Snowflake。

Talend Data Fabric 的優(yōu)缺點

優(yōu)點

• 易于使用的拖放界面可用于設(shè)計復(fù)雜的應(yīng)用程序
• 多個用于數(shù)據(jù)集成的開箱即用組件和功能
• 無縫實施，無需聘請專家
• 具有自定義 Java 組件和多種連接選項的敏捷解決方案

缺點

• 通過云服務(wù)處理批量更新時對現(xiàn)有作業(yè)的影響不穩(wěn)定
• 需要額外的管理和運營支持開銷
• 不太適合 SMB 環(huán)境中的小規(guī)模部署
• 缺少用于比較或合并兩個版本以進行版本管理的選項

功能：Talend Data Fabric

• 具有審計、共享、搜索和發(fā)現(xiàn)功能的數(shù)據(jù)庫存管理
• 構(gòu)建和部署數(shù)據(jù)管道模板以供在整個 IT 環(huán)境中重復(fù)使用
• 支持云數(shù)據(jù)倉庫和混合多云項目
• 自助服務(wù)工具允許從任何數(shù)據(jù)源或文件類型中提取數(shù)據(jù)
• 輕松創(chuàng)建和測試遷移并實現(xiàn)可視化進展

10、蒂布科

TIBCO Jaspersoft ETL

TIBCO Software自 1997 年以來一直是一家商業(yè)智能供應(yīng)商，2014 年，該供應(yīng)商收購了 Jaspersoft，擴大了其在 ETL 市場的影響力。與 Talend 的數(shù)據(jù)集成技術(shù)合作，TIBCO Jaspersoft ETL 提供標(biāo)準(zhǔn)和擴展大數(shù)據(jù)訂閱，提供廣泛的連接器、批處理作業(yè)和高級支持。

TIBCO Jaspersoft ETL 優(yōu)點和缺點

優(yōu)點

• 報告的定制程度是交互式的和以用戶為中心的
• 能夠設(shè)計、開發(fā)、測試和部署數(shù)據(jù)轉(zhuǎn)換
• 無縫調(diào)度報告服務(wù)器上的數(shù)據(jù)傳輸
• 非常適合需要強大報告軟件的中小型企業(yè)

缺點

• 復(fù)雜的用戶界面需要技術(shù)經(jīng)驗和陡峭的學(xué)習(xí)曲線
• 調(diào)度作業(yè)的集成和選擇或參數(shù)有限
• 缺乏對某些高級查詢和技術(shù)文檔的支持
• 內(nèi)存占用高，性能滯后；復(fù)雜報告延遲

功能：TIBCO Jaspersoft ETL

• 支持數(shù)千個作業(yè)的單個和持續(xù)數(shù)據(jù)同步步驟
• 輕松操作來自 RDBMS、平面文件、云、大數(shù)據(jù)和NoSQL 數(shù)據(jù)源的數(shù)據(jù)
• 與 Java、Eclipse IDE 和數(shù)據(jù)源連接的集成
• 加速設(shè)計并為必要的代碼創(chuàng)建測試
• 通過清理、去重、驗證和豐富來建立高質(zhì)量數(shù)據(jù)

選擇 ETL 解決方案的注意事項

有多種 ETL 解決方案可滿足不同組織規(guī)模和需求。評估市場時，請考慮以下問題：

• 該解決方案是否提供了平衡用戶友好性和高級功能的用戶界面？
• 該解決方案是否與必要的數(shù)據(jù)源、數(shù)據(jù)庫和應(yīng)用程序兼容？
• 該解決方案是否提供有效的錯誤處理，確保數(shù)據(jù)完整性？
• 該解決方案附帶哪些內(nèi)置連接器和集成？
• 該解決方案是否可以擴展以擴大數(shù)據(jù)集成計劃？
• 該解決方案是否提供來自 Web 應(yīng)用程序的實時監(jiān)控和數(shù)據(jù)訪問？
• 供應(yīng)商提供什么技術(shù)文檔？
• 該解決方案是否具有性能調(diào)整和下推優(yōu)化功能？
• 該解決方案能否有效管理源數(shù)據(jù)和組合數(shù)據(jù)的變化？

ETL 工具的類型

ETL 工具如何工作？

ETL 工具對于管理數(shù)據(jù)湖、數(shù)據(jù)中心、數(shù)據(jù)倉庫和數(shù)據(jù)庫的人員來說必不可少。這些解決方案可以高效、安全地管理組織和客戶數(shù)據(jù)流。

ETL 軟件負責(zé)執(zhí)行數(shù)據(jù)流程，通過三步流程準(zhǔn)備數(shù)據(jù)。ETL 工具具體包括：

1. 從多個來源提取經(jīng)過驗證的數(shù)據(jù)，包括不同的數(shù)據(jù)庫和文件類型
2. 轉(zhuǎn)換、清理、審計和組織數(shù)據(jù)以供人員使用
3. 將轉(zhuǎn)換后的數(shù)據(jù)加載到可訪問的統(tǒng)一數(shù)據(jù)存儲庫中

在第一步和第二步之間，ETL 工具會進行數(shù)據(jù)清理，以將重復(fù)和無效數(shù)據(jù)從轉(zhuǎn)換后的負載中分離出來。在轉(zhuǎn)換步驟中，將來自多個數(shù)據(jù)庫的字段匹配為單個統(tǒng)一數(shù)據(jù)集的過程稱為數(shù)據(jù)映射。

Talend 儀表板顯示了數(shù)據(jù)映射功能的示例。

為了節(jié)省時間，ETL 軟件將處理過程分為數(shù)據(jù)管道，從而實現(xiàn)數(shù)據(jù)在流程中每一步的自動轉(zhuǎn)換。請注意，特定于源的代碼、數(shù)據(jù)格式的變化以及數(shù)據(jù)速度的提高等問題可能會影響提取過程并增加常見錯誤。

ETL 與數(shù)據(jù)集成的關(guān)系

ETL 是一種數(shù)據(jù)處理流程，自 20 世紀(jì) 70 年代和 80 年代數(shù)據(jù)倉庫和企業(yè)數(shù)據(jù)庫管理的早期開始使用。盡管 ETL 仍然是管理數(shù)據(jù)的重要功能，但許多解決方案提供商和行業(yè)分析師已經(jīng)不再使用“ETL”這個術(shù)語了。

買家可以看到，2022 年許多頂級 ETL 供應(yīng)商被歸類為行業(yè)公司 Gartner 和 Forrester 的“數(shù)據(jù)集成工具”和“數(shù)據(jù)結(jié)構(gòu)”等解決方案類別。因此，在描述傳統(tǒng)和高級 ETL 軟件解決方案時，ETL 和數(shù)據(jù)集成通?？梢曰Q。