在如今數據被稱為新經濟時代的石油的大背景下，數據管道是什么？處于什么位置？其技術和演進趨勢又是怎么樣的？

2022年7月12日，在CSDN云原生系列在線峰會第13期“現代數據棧峰會”上，針對這些連續發問，下秒數據CEO蔡致暖對數據管道1.0至3.0的迭代過程及技術特點進行了詳細介紹。

數據管道和ETL

數據管道是一種重要的數據基礎設施，ETL管道是最常用的數據管道。

數據基礎設施是底座，數據管道作為數據庫及數據倉庫的最佳拍檔，也是一種重要的數據基礎設施。

在了解數據管道具體是什么之前，首先要了解什么是ETL管道。ETL管道是從其源系統/數據庫中提取數據，對數據進行轉換，然后將其加載到數據倉庫或數據庫中，從中獲取業務見解。

數據管道包含ETL管道，因為對于數據管道來說，數據的目的地不一定是數據庫或數據倉庫，也可以是其他的應用程序，并且支持整個組織的數據編排、管理和使用。

數據管道中的步驟通常包括提取、轉換、組合、驗證、可視化以及其他此類數據分析過程。如果沒有數據管道，這些過程需要大量耗時而繁瑣的手動步驟，并給人為錯誤留下空間。數據管道的最佳類比是傳送帶，它能高效、準確地將數據傳送到流程的每一步。例如，數據管道可幫助數據從SaaS應用高效地流向數據倉庫等。

為什么說數據管道是重要的數據基礎設施？

現如今企業數據孤島變得普遍，各類SaaS應用的使用頻率越來越高。數據管道解決的是如何自動化地把不同來源的數據傳遞給組織中的人、系統、應用程序，并將數據轉化為業務價值。數據管道扮演的不僅僅是一個數據傳送帶的作用，它還需要把不同來源的數據，經過技術手段變成業務價值再傳送出去，最終讓組織方便地使用數據。

數據管道1.0：ETL技術和數據倉庫

數據管道1.0的關鍵詞是ETL與數據倉庫，基于傳統ETL技術構建數據倉庫的的過程可劃分為五步：

定義數據項目及相關業務需求；

確定項目的相關數據源；

定義特定業務問題所需的數據模型（Schema）；

構建ETL管道（提取、轉換和加載函數）；

進行數據分析并獲得業務見解。

其關鍵特征在于，數據在加載到數據倉庫之前需進行轉換。這是因為在20世紀90年代，存儲、計算和帶寬十分昂貴，因此在將數據裝入倉庫之前減少數據量至關重要。

傳統ETL技術的局限性

隨著數據處理技術的不斷演進，傳統ETL技術難以適應業務的發展，有較多弊端顯現：

不夠靈活、伸縮性差，一旦業務規則變化，管道需重新設計；

需持續維護，開發工程師要深度參與，維護成本高；

技術復雜，可以使用各種不同的編程語言。

案例解析——業務邏輯稍復雜，維護成本奇高無比

上圖是一個典型的使用Kettle構建的數據管道，涉及節點數量20余。在業務變化和需求修改增多的情況下，數據管道的復雜度和維護成本都會奇高無比。

數據管道2.0：ELT和云計算/大數據

數據管道2.0的主要目標依舊是構建數據倉庫，其關鍵詞是ELT與云計算/大數據。

在2.0階段，我們將ETL技術更換為ELT技術，這是因為隨著大數據與云計算的發展，存儲、計算和帶寬成本大幅下降，組織可以在數據倉庫中加載大量未轉換的數據，而不必擔心成本和限制。

ELT管道從源系統中提取數據并將其直接加載到數據倉庫中，無需進行轉換。數據入庫后針對特定業務，基于SQL或DBT（SQL擴展）等工具進行轉換和建模。

ELT解決了傳統ETL技術的痛點

ELT更加靈活，每個數據源的數據都可以存入庫中，EL過程不涉及業務轉化，可以實現標準化，進而可以按需擴展數據源、按需建模；

ELT更加普適，轉換和建模不再依賴編程語言，入庫后使用SQL即可；

ELT更加健壯，轉換層的故障（如上游架構或下游數據模型更改時）不會阻止數據加載。

數據管道3.0：連接器和API經濟

雖然數據管道2.0已經實現了將數據都存入數據倉庫中，但轉換和建模依然對技術具有高要求。以往做數據集成多以數據庫或文件為目標，但隨著近年來SaaS應用的普及，組織使用不同的應用及工具開展營銷和經營活動，

數據集成的技術門檻并沒有因為ELT的到來而降低。

數據管道3.0——基于連接器和API經濟，自動化價值數據的流動

實際上，數據管道3.0及數據管道2.0的ELT都是現代數據棧的組成部分。相較數據管道2.0，數據管道3.0主要在兩個方面做出了改變。

數據連接器的標準化和商品化：ELT為數據連接器的標準化打下了堅實基礎，將問題轉換為如何使數據連接器更易于構建；

數據分析結果不應該封閉在數據倉庫或BI工具中，應該通過API或數據編排自動化，推動組織中價值數據的流動，如反向ETL。

數據管道3.0的主要特征

用戶特征

用戶無需關注技術，通過簡單的配置就可以完成數據的連接處理分析，降低對開發人員的依賴；

彈性的工作負載，按用量付費。

技術特征

連接器標準化，數據集成可重用，大幅降低數據集成的成本及技術門檻；

轉換、建模以數據倉庫和SQL為中心。

生態特征

易與其他工具（包括傳統ETL工具）集成；

利用社區的力量來構建與維護連接器和模板化的數據模型。

總結

數據管道是一項重要的數據基礎設施，使用智能數據管道技術，能夠幫助組織將所有應用程序、數據庫、事件和文件等數據信息提取到數據倉庫中，并快速將分散的數據轉化為數據集、API、自動化流程等開箱即用的數據服務，釋放數據的價值。

審核編輯 黃昊宇