數字經濟時代，數據成為新的生產資料，數據驅動體驗、數據驅動決策、數據驅動流程的各種應用正不斷上演。5G、云、AI加速行業數字化轉型，海量數據時代已經到來。海量數據促使企業從數據管理走向數據運營，目前，正面臨三大挑戰：一是成本高、存不下；二是效率低、流不動；三是自動化差、管不好。

Hadoop1.0時代，計算和存儲是高度融合，僅能處理單一的MapReduce分析業務；Hadoop2.0時代，計算層與數據開始解耦，通過Yarn實現了獨立的資源管理，并開始支持Spark等更多的計算引擎；而如今來到Hadoop3.0時代，計算存儲已分開演進，通過Hadoop EC來支持冷數據的存儲，同時引入外置存儲，如S3，增強其存儲底座能力，逐步向數據湖架構演進。Hadoop3.0時代，計算正向輕量化和容器化方向發展，計算存儲分離演進已成為事實。計算存儲分離后，我們用企業級的存儲基座替代原來的原生大數據存儲基座，好處是可以把當前企業級存儲的先進技術帶入到大數據里面來，如高可靠、高利用率、多協議融合等，更好地釋放數據的價值。

舉個例子來說，2018年，華為創新性推出基于OceanStor Pacific系列的大數據存算分離方案。在成本方面，華為大數據存算分離方案實現存算分離，資源按需獨立擴展，彈性EC、冷熱數據分級，存儲成本大幅降低。在數據應用效率方面，華為OceanStor Pacific系列采用全對稱分布式NameNode，集群性能和支持文件數隨節點數目增加線性提升，單一命名空間支持文件數達百億級。在實際操作運維方面，華為OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用體驗。通過ViewFS或Hbase元數據網關方式可實現新老共存，實現存算一體向存算分離的平滑演進，保護用戶已有投資。
責任編輯：tzh