由大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟聯(lián)合《軟件和集成電路》雜志社、賽迪顧問股份有限公司、工信部賽迪智庫共同編制的《2020中國大數(shù)據(jù)產(chǎn)業(yè)生態(tài)地圖暨中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展白皮書》（以下簡稱《白皮書》）顯示，數(shù)據(jù)關鍵要素作用初步顯現(xiàn)，數(shù)據(jù)共享開放初見成效，數(shù)據(jù)治理成為關注重點；2020年，我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將達到6670．2億元，增長率為23．6％。

隨著技術的演進，數(shù)據(jù)發(fā)生了巨大變化，不僅數(shù)據(jù)規(guī)模越來越大、數(shù)據(jù)種類呈現(xiàn)多樣性，而且人們對于數(shù)據(jù)處理的時效性，以及數(shù)據(jù)融合分析的要求也越來越高。華為云人工智能領域總裁賈永利表示，為了幫助企業(yè)從容應對數(shù)據(jù)智能時代的各種挑戰(zhàn)，華為云推出了智能數(shù)據(jù)湖FusionInsight，圍繞客戶在使用數(shù)據(jù)、管理數(shù)據(jù)全生命周期方面提供整體解決方案，讓企業(yè)用戶更方便、快捷地用好數(shù)據(jù)的同時，加速數(shù)字化轉型進程，釋放數(shù)據(jù)紅利。

一切為了數(shù)據(jù)

在8月31日下午舉辦的華為云TechWave大數(shù)據(jù)專題日上，華為云大數(shù)據(jù)又有新動作，GaussDB（DWS）實時數(shù)倉登場亮相。

華為云人工智能總裁賈永利發(fā)布GaussDB（DWS）實時數(shù)倉

隨著5G、人工智能、邊緣計算的興起，數(shù)據(jù)量越來越大，處理好數(shù)據(jù)、用好數(shù)據(jù)成為企業(yè)數(shù)字化轉型的一個首要目標。賈永利指出，從廣大政企客戶的需求來看，不斷增加的多樣性數(shù)據(jù)的統(tǒng)一處理，讓數(shù)據(jù)在處理過程中可管可控，并且可以更高效地協(xié)同不同組織變得越來越重要，而實時性處理、數(shù)據(jù)融合分析則是重中之重。

通過一站式的分析平臺，全局使用一份數(shù)據(jù)，更全面、更精準地分析數(shù)據(jù)，從海量數(shù)據(jù)中找到客戶真正想要的價值，是大數(shù)據(jù)廠商肩負的使命。華為云提出的智能數(shù)據(jù)湖解決方案正是以數(shù)據(jù)的使用和價值為核心，旨在實現(xiàn)數(shù)據(jù)全生命周期的高效管理。“基于開放架構的華為云智能數(shù)據(jù)湖解決方案，真正做到了基于云原生的存算分離，讓數(shù)據(jù)規(guī)模可管理、數(shù)據(jù)更好用。”賈永利如是說。

舉例來說，為了提升海量數(shù)據(jù)的實時處理能力，GaussDB（DWS）實時數(shù)倉增強了線性擴展能力，單節(jié)點每秒可以處理60萬條以上的數(shù)據(jù)；采用具有最廣泛開發(fā)者生態(tài)的數(shù)據(jù)分析語言，不管是流處理，還是實時分析，處理性能都會有數(shù)倍提升；GaussDB（DWS）的使用更簡單，減輕了程序員在開發(fā)、使用和運維等方面的工作量；GaussDB（DWS）還可以極大地節(jié)省客戶數(shù)據(jù)全生命周期管理的綜合成本。

GaussDB（DWS）實時數(shù)倉只是“冰山一角”，華為云大數(shù)據(jù)還有很多“黑科技”等待揭秘。

華為云智能數(shù)據(jù)湖的秘密

在8月26日揭曉的“2020中國大數(shù)據(jù)企業(yè)50強”榜單中，華為云大數(shù)據(jù)連續(xù)四年上榜。這是業(yè)界對華為云FusionInsight的技術創(chuàng)新能力和實踐應用成果的充分肯定。作為“最懂行”的大數(shù)據(jù)解決方案，華為云FusionInsight也再次引發(fā)廣泛關注。

趁熱打鐵，在華為云TechWave大數(shù)據(jù)專題日上，華為的“博士天團”重點揭秘了華為云FusionInsight的幾大核心能力——提供大集群、湖倉一體、實時數(shù)據(jù)湖等關鍵技術的MRS大數(shù)據(jù)，全局一份數(shù)據(jù)、秒級用數(shù)、T＋0入湖的CarbonData數(shù)據(jù)存儲引擎，GaussDB（DWS）新一代全場景云數(shù)據(jù)倉庫和一站式云化數(shù)據(jù)運營平臺DAYU。

隨著5G、IoT新技術發(fā)展，數(shù)據(jù)規(guī)模、數(shù)據(jù)來源、業(yè)務場景將快速變化，這些變化給數(shù)據(jù)存儲、計算、分析和安全等帶來全新的挑戰(zhàn)和需求，大規(guī)模、多樣化的數(shù)據(jù)，需要實時、融合分析。華為云FusionInsight MRS大數(shù)據(jù)就是在不斷理解客戶場景需求，感受客戶使用痛點，積累豐富經(jīng)驗，打造領先的大數(shù)據(jù)解決方案。

企業(yè)級大數(shù)據(jù)平臺FusionInsight MRS，為企業(yè)數(shù)據(jù)湖底座，堅持開放生態(tài)，長達十年以上的大數(shù)據(jù)經(jīng)驗積累，是全球60多個國家與地區(qū)3000多個政企客戶的共同選擇。

FusionInsight MRS支持超2萬節(jié)點超大規(guī)模單集群管理能力，業(yè)界最佳，提供企業(yè)級多租戶能力，讓一個企業(yè)一個湖成為現(xiàn)實；支持企業(yè)級能力讓大數(shù)據(jù)運維無憂，擁有成熟的在線升級能力，升級過程業(yè)務零中斷，業(yè)務永遠在線，并已在金融、政府等客戶在線升級實踐，得到行業(yè)高度認可；支持數(shù)據(jù)湖事務ACID，實現(xiàn)企業(yè)數(shù)據(jù)實時增量入湖，讓大數(shù)據(jù)分析從T＋1到T＋0，讓業(yè)務創(chuàng)新更敏捷；支持高性能交互式查詢引擎秒級供數(shù)，實現(xiàn)湖倉一體，數(shù)據(jù)不出湖，直接對接BI類業(yè)務，自助分析，數(shù)據(jù)供應鏈路短，效率提升2倍以上；支持跨源跨域的數(shù)據(jù)分析，打破地域數(shù)據(jù)墻，使得企業(yè)跨域分析效率從周提升到分鐘級。

CarbonData是一個高性能EB級別分析型數(shù)據(jù)倉庫，提供面向對象存儲上EB級數(shù)據(jù)的高性能明細查詢能力、交互式查詢能力，提供流數(shù)據(jù)接入、數(shù)據(jù)實時同步和更新能力，提供對主要ETL業(yè)務的支持和加速，以及機器學習、深度學習等AI引擎，生態(tài)發(fā)展越來越完善。

CarbonData自2015年進入Apache孵化器；2016年CarbonData正式從Apache孵化器畢業(yè)，正式成為首個中國公司貢獻的Apache頂級項目；2020年重磅發(fā)布2．0里程碑版本，重新定義智能數(shù)據(jù)湖索引和事務能力。

CarbonData數(shù)據(jù)存儲引擎，面對復雜業(yè)務場景實現(xiàn)全局一份數(shù)據(jù)導出使用，免去數(shù)據(jù)搬遷的困擾；面對海量數(shù)據(jù)的查詢使用，針對性優(yōu)化了查詢加速，可實現(xiàn)PB級數(shù)據(jù)30秒內(nèi)響應；在時間就是金錢的信息時代，時效性的突出優(yōu)勢被企業(yè)所看好，CarbonData支持數(shù)據(jù)更新，可實現(xiàn)數(shù)據(jù)T＋0實時入湖，大大優(yōu)化了傳統(tǒng)T＋1、T＋2的可見時延。

數(shù)據(jù)倉庫是企業(yè)的“中樞系統(tǒng)”，也是業(yè)務創(chuàng)新的基礎，但長久以來一直受到“擴展性、實時性、可用性、易用性”等問題的困擾。華為云GaussDB（DWS）十年磨一劍，在核心技術上實現(xiàn)了突破，為新一代企業(yè)級數(shù)據(jù)倉庫系統(tǒng)樹立了標桿。

截至目前，全球超過500家大客戶已使用GaussDB（DWS）構建自己的核心數(shù)據(jù)倉庫系統(tǒng)。而GaussDB（DWS）之所以能如此快速贏得大企業(yè)客戶的信任，主要得益于其“大、快、穩(wěn)”的特點。

GaussDB（DWS）的“大”集中體現(xiàn)在，設計規(guī)模為2048節(jié)點，可支持PB級數(shù)據(jù)容量，隨著節(jié)點數(shù)增加，集群的性能和容量呈線性增長，線性比＞0．9；GaussDB（DWS）導入和分析“快”如閃電，因為它采用了全并行計算架構，并支持新一代智能優(yōu)化器技術、高效的算子算法、動態(tài)編譯等核心技術；因為采用多層備份、多級保護技術，GaussDB（DWS）“穩(wěn)”如泰山，即使出現(xiàn)軟硬件故障，也能快速檢測和響應，并自動切換，確保業(yè)務持續(xù)可用。

華為云大數(shù)據(jù)產(chǎn)品總監(jiān)楊興華表示，管好數(shù)、用好數(shù)是一個非常不容易的過程，需要跨越數(shù)據(jù)孤島、數(shù)據(jù)有序管理、系統(tǒng)安全管理等幾道鴻溝。為此，華為云打造了融合、開放的一站式云化數(shù)據(jù)運營平臺DAYU，協(xié)同伙伴，實現(xiàn)“從比特到信息”的價值發(fā)現(xiàn)，釋放數(shù)據(jù)之美。

在2019年發(fā)布的1．0版本基礎之上，DAYU又在架構上進行了優(yōu)化，同時增強了新的特性：采用全域聯(lián)邦數(shù)據(jù)資產(chǎn)管理，與超過30＋的數(shù)據(jù)源對接，通過河圖引擎的虛擬入湖技術，實現(xiàn)跨源跨域的數(shù)據(jù)發(fā)現(xiàn)與連接，打破數(shù)據(jù)孤島的同時，形成數(shù)據(jù)融合協(xié)同，“立而不破”；采用開放架構體系，圍繞數(shù)據(jù)使用構建端到端工具平臺，基于“黑土地”的定位，提供分層API接口供伙伴調(diào)用；建立共享型行業(yè)資產(chǎn)模型，采用模型驅動的理念，實現(xiàn)資產(chǎn)的一鍵注入、導出、自動化管理，數(shù)據(jù)資產(chǎn)化效率實現(xiàn)3倍提升。

楊興華強調(diào)說，統(tǒng)一元數(shù)據(jù)管理和安全管理是DAYU新增的最重要的特性；元數(shù)據(jù)管理是整個數(shù)據(jù)運營平臺的基礎，DAYU圍繞數(shù)據(jù)目錄、資產(chǎn)地圖、數(shù)據(jù)血緣，打造了進階式的數(shù)據(jù)資產(chǎn)管理體系，提供全域數(shù)據(jù)統(tǒng)一視圖，讓用戶深度“認知”數(shù)據(jù)資產(chǎn)；DAYU圍繞數(shù)據(jù)從權限管控、合規(guī)審計、敏感發(fā)現(xiàn)、隱私保護、風險管理五個方面構建了完善的安全管理能力，實現(xiàn)了全流程統(tǒng)一數(shù)據(jù)安全管理，讓用戶放心“用數(shù)”。

楊興華介紹說，DAYU推出一年多以來，其端到端全流程數(shù)據(jù)可視管理和一鍵式資產(chǎn)沉淀能力得到了實踐驗證，并在能源、政務、教育、園區(qū)、機場、工業(yè)制造等行業(yè)廣泛應用，使能行業(yè)數(shù)據(jù)價值釋放。

助力政企智能化升級

《白皮書》顯示，5G、AI技術的應用，以及“新基建”項目的落地，是電信行業(yè)大數(shù)據(jù)爆發(fā)式增長的關鍵。電信運營商主要面臨傳統(tǒng)平臺架構改造難度大、數(shù)據(jù)管理能力有待提升、共性技術研發(fā)有待突破等挑戰(zhàn)。

中國移動通信集團廣東有限公司（以下簡稱廣東移動）信息系統(tǒng)部總經(jīng)理譚麗麗表示，為了更好地釋放運營商大數(shù)據(jù)的強大生產(chǎn)力，廣東移動基于華為云FusionInsight構建智慧中臺，并聯(lián)合政企客戶共同打造智慧電網(wǎng)、智慧交通、智慧港口、高清視頻應用等一系列智慧應用標桿。

廣東移動智慧中臺

早在2015年10月，廣東移動便啟動了大數(shù)據(jù)平臺建設工作，2016年建立子公司統(tǒng)一的大數(shù)據(jù)生態(tài)，并依托大數(shù)據(jù)平臺實現(xiàn)內(nèi)部業(yè)務效率提升和外部用戶服務。如今，廣東移動大數(shù)據(jù)集群規(guī)模超過2500個節(jié)點，存儲容量達到80PB，覆蓋移動用戶數(shù)超1．3億，是全國運營商領域覆蓋用戶數(shù)量最多、規(guī)模最大、技術領先的大數(shù)據(jù)平臺。作為廣東移動大數(shù)據(jù)技術平臺的數(shù)字底座，華為云FusionInsight提供了Hadoop大數(shù)據(jù)處理、跨源數(shù)據(jù)處理、實時計算等服務，并通過Redis內(nèi)存優(yōu)化和Flink內(nèi)存管理優(yōu)化等技術提升大數(shù)據(jù)處理效率。

“廣東移動智慧中臺從建立之初就選擇與華為云FusionInsight合作，實現(xiàn)了非常多的技術創(chuàng)新與突破，包括自主搭建運營商數(shù)據(jù)中臺，實現(xiàn)無感知滾動升級，自主研發(fā)超級資源調(diào)度引擎Superior和跨集群協(xié)同技術等。”譚麗麗表示，“未來，廣東移動將與華為持續(xù)在大數(shù)據(jù)領域進行創(chuàng)新與探索，為各行業(yè)提供領先的大數(shù)據(jù)服務能力、完備的管控能力和創(chuàng)新的變現(xiàn)能力。”

在金融領域，華為云大數(shù)據(jù)的創(chuàng)新能力與支撐能力同樣得到了充分彰顯。通過大數(shù)據(jù)等新技術的應用，工商銀行經(jīng)歷了從自動化到數(shù)據(jù)化、智能化、生態(tài)化的四個發(fā)展階段，實現(xiàn)了由傳統(tǒng)數(shù)據(jù)輔助決策向數(shù)據(jù)驅動決策模式的快速演進，大幅提升了工商銀行金融服務實體經(jīng)濟的能力。

工商銀行軟件開發(fā)中心總經(jīng)理助理劉承巖舉例說，在智能化階段，工商銀行與華為開展聯(lián)創(chuàng)工作，引入華為云Fusionsight和GaussDB（DWS）大數(shù)據(jù)、數(shù)倉產(chǎn)品，搭建自主可控的大數(shù)據(jù)云平臺，有力地支撐了工商銀行企業(yè)級數(shù)據(jù)湖、數(shù)據(jù)倉庫、集團信息庫的建設；在生態(tài)化階段，工商銀行繼續(xù)深化與華為的合作，實現(xiàn)了大數(shù)據(jù)云平臺與華為云Stack云基礎設施的融合，提升了大數(shù)據(jù)云平臺的高可用和彈性靈活擴展能力，全面支撐數(shù)據(jù)中臺的生態(tài)化建設，助力工商銀行數(shù)字化轉型。

工商銀行提出了“數(shù)字工行”的建設新思路。為實現(xiàn)這一目標，工商銀行正加快推進大數(shù)據(jù)技術平臺與華為云的融合，構建混布式容器化和存算分離架構，進一步提升大數(shù)據(jù)平臺的高可用、穩(wěn)定性，以及資源的靈活擴展能力，更好滿足工商銀行“全數(shù)據(jù)存儲、全數(shù)據(jù)挖掘、全算法應用、全場景布署”的需要。

其實，華為云智能數(shù)據(jù)湖FusionInsight不僅僅成功應用于像金融、電信這樣的數(shù)字化轉型排頭兵，而且已廣泛應用于醫(yī)學、物流、互聯(lián)網(wǎng)、汽車、政府等領域，覆蓋全球60個國家及地區(qū)，服務著3000＋客戶。

華為云FusionInsight為政企提供了全融合、智能化、云化的湖倉一體解決方案，主要包括MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫、GES圖計算、DAYU數(shù)據(jù)運營等云服務。

其中華為云FusionInsight MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫，可助力客戶構建堅實的數(shù)據(jù)底座，通過HetuEngine數(shù)據(jù)虛擬化引擎簡化用數(shù)，提高效率。DAYU數(shù)據(jù)運營平臺向下可接入日志、文本、視頻、音頻、圖片等各類型數(shù)據(jù)，基于多樣性算力與CarbonData，可實現(xiàn)全局一份數(shù)據(jù)的統(tǒng)一格式存儲；向上為伙伴開發(fā)50＋數(shù)據(jù)集成開發(fā)API，攜手800＋生態(tài)伙伴打造各行業(yè)應用。華為云還在全球多個地區(qū)設有OpenLab，以支撐與客戶、合作伙伴在云和大數(shù)據(jù)方面的聯(lián)合創(chuàng)新。

以客戶為中心，以用好和管好數(shù)據(jù)為宗旨，華為云大數(shù)據(jù)通過持續(xù)的創(chuàng)新與升級，為政企的數(shù)字化轉型和智能化升級鋪路。這就是華為云的大數(shù)據(jù)之道。

責任編輯：gt