企業的數據之痛

企業的數據之痛源?于企業的數據處理能?和數據增?速度的不匹配。根據知名分析機構的估算，企業內部有接近四分之三的數據處于閑置的狀態，僅僅只有四分之?的數據?于輔助企業決策。所以當談到數據之痛的時候，我們發現數據之痛不是企業缺乏數據，?是缺乏“好”數據 - 和商業決策和業務?動化強相關的清潔數據。

隨著企業數字化進程的加速和云計算的普及，企業數據呈現了三?新趨勢。

01

數據分布呈現多元的趨勢。隨著?態系統的發展，數據孤島問題會?益加劇。

02

數據量將持續增?。分析機構預測顯示，在未來 3年內企業的數據將增? 6倍。

03

數據保質期的縮短。數據如果不被快速使?，很快就會失去意義。

從上述趨勢可以看出，企業如果仍然通過??的?式進?數據遷移和集中，耗時多代價?，?法發揮數據的效?和價值。?如，由于數據的陳舊，?產側的計劃和庫存與銷售脫鉤，造成了滯銷，給企業帶來巨?損失。再?如，產品設計和?戶習慣不符，產品逐漸被競爭對?取代，市場份額進?步萎縮。甚?某些情況下，企業還要承擔?定程度的法律?險，例如，通過局部數據訓練出來的模型，可能對某?類型的?總是產?負?的判斷，這樣公平性問題可能招致訴訟。總的來說，企業如果不提升數據處理的能?解決數據浪費的問題，企業的未來發展是令?憂慮的。

企業要解決數據處理的速度，往往在兩個?案間搖擺。我們稱為“數據連接”和“數據集中”的困境。

?個?案是將數據孤島進?全連接，每個數據集都和其他數據集相連。?家可以想象，在這種模式下，每增加?個新的數據源的時候，復雜度都會成倍的增?。在應?創新和混合多云的趨勢下，全連接的代價?常?昂。同時，數據安全性也存在問題。?前的數據訪問控制是由各個數據源單獨進?的，當全連接之后數據訪問的規則可能會被破壞，數據泄露將成為企業的隱患。

另?個?案就是進?數據?集中。雖然這解決了點對點?法的規模增?的問題，但它帶來了額外的成本和復雜度。?如，隨著時間的推移，復制、存儲和同步數據的時間成本和技術成本成?例增加，很快就變得混亂不堪?法管理。同時，數據集中也不能解決數據保護問題，區域性的數據規則是不允許??的數據在限定區域之外進?匯總的。

最后，“數據上云”也加劇了這個困境，?論是連接還是整合，都需要?量的數據提取，?公有云供應商對于數據提取都是進?收費的。從成本考慮，數據上云之后是否能夠真正加速企業的數據到業務價值的轉化，是值得商榷的。

什么是 Data Fabric？

那么，我們如何才能解決這?困境呢？有沒有?種新的技術，?種靈活的解決?案可以實現下列?標呢？

01

消除數據孤島，并且輕松擴展，以處理不斷增?的數據量。

02

能夠跨越企業內部，混合多云環境訪問數據，集中協調企業內部的數據流轉。

03

可以處理各種數據類型，使得 IT 和業務保持?致。

04

提供數據?主化，賦能業務?員。

能夠實現上述?標的技術，我們稱之為 Data Fabric。

Data Fabric 不是?個單?的產品，甚?不是?個單?的平臺。準確地說，Data Fabric 是?個新興的數據管理理念和現代化的分布式的數據架構，包括共享數據資產、優化數據管理、整合數據流程等等。實施 Data Fabric 也不?定需要替換現有的技術。Data Fabric 可以將您現在的技術納?數據?態系統中。

企業如何實現 Data Fabric 呢？IBM 提出了 Data Fabric 的落地實踐。

01

通過虛擬連接數據端點和簡化對任何數據的訪問模式，幫助減少數據拷?的數量。

02

提供全球?動策略執?，以提?數據保護和質量。

03

利?整合治理和主動元數據的增強，實現動態、智能和?動化的數據協調。

04

使?知識圖譜，提供?動化的數據發現和語義識別。

在 IBM 實現 Data Fabric 的平臺中，包含以下重要的組件。

01

智能化的數據?錄 （Auto Cataglog） 發現、編?、集中不同來源的現有數據，創建相關數據的知識圖譜。

02

從新的 SaaS 應?中快速加?新數據，這些數據以開放、敏捷的格式存儲在不同的云數據倉庫中，可以通過數據?錄進?理解和編?。

03

?動化的數據隱私 （Auto Privacy） 為任意位置的數據資產創建并執?隱私保護和使?控制。

04

虛擬數據訪問 （Virtual Data Access） 實現了對數據?錄中發現的分布式數據的實時虛擬數據訪問，并通過?動數據隱私進?隱私控制。

05

?戶通過虛擬數據訪問，使?相應的 BI ?具訪問實時可信的數據。

06

AutoAI 可以消費虛擬數據，以加速數據科學的進程。

Data Fabric 不是點對點的連接或單?樞紐式的數據收集，?是在不同/混合數據源之間“跨越”?個虛擬或邏輯?絡。第?關鍵詞是分布式。數據?錄是 Data Fabric 的?腦，控制分布式的數據源進?參與和協調。因為數據可以由不同的主責部?或業務部?管理，數據?錄可以是分布式的。另外?個關鍵詞是?動化，Data Fabric 不僅應該對數據的交付?度?動化，?且對消費者可?的數據提供?動化。最后，除了數據??提升?動化，?錄本身也必須?度?動化。任何任務，如數據發現、編?、語義充實和資產映射，都應該在最?的?機互動下完成。

Data Fabric 是?痛?還是維?素？

Data Fabric 是為客戶打造“?痛藥”還是“維?素”？讓我們從客戶的?度來審視這項新的技術。

?先，對于您的技術團隊來說，與更傳統的數據管理架構相?，Data Fabric 提供了顯著的流程簡化和成本降低。

Data Fabric 本身是基于?個虛擬化的環境，這意味著盡管 Data Fabric 的規模可以很?，但在同?個環境中管理，并且內置的?動化使得數據交付過程明顯簡化。?如，由于數據版本較少，維護數據質量標準的?作量減少了。?如，合并數據管理?具以及減少不需要的數據拷?，降低了數據設施和存儲成本。再?如全局的數據策略，??節省了數據權限管理所需要的時間。

對于商業?戶來說，Data Fabric 可以更快地獲得準確的數據，減少與數據打交道的時間，并且能夠通過標準化的接?將數據快速整合到商業?戶的 BI 分析中。商業?戶能夠把精?聚焦到數據分析，?不是?助地不斷尋找和準備數據。同時，可以享受到全?助式數據購物體驗，不需要為了等待數據浪費時間。同時，全?充分的分析技術，也提?了分析結果的合規性和安全性。

綜上所述，Data Fabric 是客戶的?劑良藥，幫助客戶擺脫?久以來的數據痛點。

實施路線圖

Data Fabric 是混合云數據環境中實現?度?動化的數據發現、治理、保護和消費。建? Data Fabric 并不是購買和部署單?的解決?案，它也不是?蹴?就的，?是?個過程。在這個過程?致分為如下?個階段，每個階段中所需組件按序就位。

第?階段

盤點數據。明確企業的重要數據源，按照數據的類型，存儲位置，數據規模，更新頻率，時效性等等要素，決定數據的接??式。

第三階段

治理數據。定期檢視數據質量，管理數據隱私，控制數據訪問，建?數據治理流程和主責部?，建?數據接?，治理和消費的 KPI 以及公告板。

第?階段

編?數據。編?數據是進?數據?服務的關鍵步驟，找到和業務需求強關聯的數據才能實際上解決業務問題。

第四階段

消費數據。通過可視化?具，數據科學開發平臺進?數據消費，衡量數據在業務流程中的價值，對之前階段的數據進?反饋。

責任編輯：haq