什么是數據虛擬化

根據Gartner的定義，虛擬化是IT資源的抽象，它向資源用戶掩蓋了它們的物理性質和邊界。將定義擴展到數據，數據虛擬化是數據集成的概念，它通過消除數據孤島和連接所有數據資產來創建虛擬抽象層。它為數據生態系統中的不同應用程序提供了一個通用層。

DAMA（國際數據管理協會）是這樣定義數據虛擬化的：

數據虛擬化使分布式數據庫和多個異構數據存儲能夠作為單個數據庫進行訪問和查看。因此，數據虛擬化服務器不是使用轉換引擎對數據進行物理ETL，而是虛擬地執行數據提取、轉換和集成。

數據虛擬化的目標是構建所有數據的單一視圖，無論來源或格式如何，而無需物理復制或移動該數據。

什么是數據湖

數據湖是存儲從各種源系統（事務數據庫、傳感器設備、SaaS應用程序、文件共享系統等）收集的信息副本的存儲庫，以其本機格式供ML解決方案處理、備份和歸檔、大數據分析等。

首先，從各種來源獲取的信息進入著陸區，在那里它暫時保持原樣。當一家公司建立了持續攝取、提取、轉換和加載（ETL）和變更數據捕獲（CDC）能力時，多類型信息可以在創建后立即進入數據湖。一旦數據進入湖中，每組數據都會被分配一個唯一的指示符或索引，以及一個元數據標簽，以加快查詢速度并幫助用戶快速查找請求的數據。之后，數據可能會經過清洗、重復數據刪除、重新格式化、豐富等操作，然后移至可信區域進行永久存儲。當信息準備好供下游用戶使用時，它可能會直接進入報告和儀表板，或者經過另一輪ETL并存儲在數據倉庫中以供進一步處理。

什么是數據編織

數據編織是一種設計方法，它意味著將數據生態系統的復雜組件組合到一個統一的平臺中，以提供完整和有凝聚力的數據管理。與數據湖不同，數據編織不需要將數據移動到集中位置，而是依賴強大的數據治理策略來實現數據管理統一。

為了促進跨不同系統訪問信息、管理其生命周期并將其公開給最終用戶，DataFabric架構支持：

數據整合

任何信息，無論其類型、數量和位置如何，都可以被用戶整合和訪問，因為數據編織允許利用數據虛擬化層來整合數據，而無需移動數據和創建大量副本。除此之外，為了保證數據的完整性，DataFabric可以采用ETL、CDC、流處理等。

智能數據目錄

數據目錄是企業擁有的所有數據的詳細清單。隨著數據編織統一了大量信息，數據目錄維護元數據以幫助數據消費者（包括分析師、數據庫工程師、科學家、業務用戶等）查找和理解數據、跟蹤其沿襲、評估和管理數據等等。

動態元數據管理

數據編織通常采用人工智能功能，幫助自動檢測、分析、收集和激活元數據。

數據治理

數據治理確保數據消費者在各自的策略（訪問策略、屏蔽策略、數據質量策略等）的幫助下只能訪問他們需要的高質量信息，這些策略由于元數據激活功能而自動執行。

什么是數據網格

數據網格是一種分布式數據架構，在集中管理和互操作性標準化下，由共享和協調的自助數據基礎設施支持。數據網格模式代表分散的和特定領域的數據所有權，這些數據所有權很容易被發現并可供組織中的每個人使用。

數據網格有幾個區別于其他模式的關鍵特征：

數據所有權：數據網格跨不同域存儲數據。此數據由領域專家維護和管理。

數據作為產品：每個數據域都被視為一個產品，用戶就是它的客戶。

自助數據平臺：數據網格提倡建立一個生態系統，支持創建、使用和維護數據產品，而無需專業知識或復雜工具和技術方面的專業知識。

聯合計算治理：分散的數據產品可能導致數據孤島。聯合治理方法將與數據相關的規則、定義和過程標準化。

數據網格脫離了集中存儲、轉換和處理分析數據的概念。相反，它提倡每個業務領域負責托管、準備數據并將其提供給自己的領域和更大的受眾。

比較：數據編織與數據虛擬化

數據編制是一種用于現代數據管理的端到端架構。數據結構用于簡化數據發現、治理和主動元數據管理。當組織需要一個集中式平臺來訪問、管理和治理所有數據時，應使用數據結構。數據虛擬化創建了一個數據抽象層來集成所有數據，而無需物理移動數據。當需要快速集成數據時，使用數據虛擬化。數據虛擬化應被視為數據結構架構的核心元素之一。

數據虛擬化改變了數據到達分析師、數據科學家、企業或應用程序手中的方式。它不是將數據物理地移動到云端或本地，而是創建一個抽象層或數據虛擬化層。因此，它連接到不同的數據源、攝取數據、執行 ETL 過程并創建虛擬數據層，從而允許用戶實時利用來自多個來源的數據。

Data Virtualization 是支持 Data Fabric 的技術之一。Data Fabric 是一個端到端數據管理架構，其目標或用例不僅僅是在云端或業務分析師手中獲取數據，而是處理更廣泛的情況，如客戶智能或客戶 360 度視圖或物聯網分析。Data Fabric 適用于更大范圍的技術堆棧。

比較：數據編織與數據湖

數據湖是數據和數據資產的存儲庫，而數據編織是提取和利用此類信息的方法。許多專家認為這兩個短語是同義詞，使用數據編織從存儲的數據中提取最大價值是最好的方法。但是，它們之間存在顯著差異。

數據湖是未排序或索引的原始形式的數據存儲庫。數據可能是從簡單文件到大型二進制對象的任何內容，例如視頻、音頻、圖像或多媒體文件。提取數據后，會對其進行評估和操作以使其可用。

術語“數據編織”是指一個組織的數據在所有存儲和使用場景中使用的系統，它使用同一組協議、流程、組織和安全性。

比較：數據編織與數據網格

盡管數據編織和數據網格這兩個術語有時可以互換使用，但它們代表了截然不同的概念。一般來說，數據編織和數據網格的相似之處在于它們都是識別企業如何管理大量存儲信息的技術。數據編織方法旨在通過在數據保存的地方構建一個管理層來規范數據。后者與前者的不同之處在于，某些類型的數據管理的各個方面由組織內利用該信息的團隊或小組處理。

另一方面，數據編織是一種以技術為中心的架構方法，可解決數據和元數據的難題。相比之下，數據網格更側重于組織變革，強調人員和程序而不是架構。

編輯：黃飛
?