揭開(kāi)智能數(shù)據(jù)的神秘面紗

2019年3月21日，雨霽風(fēng)光，春分天氣，千花百卉爭(zhēng)明媚。在剛剛結(jié)束的2019華為中國(guó)生態(tài)伙伴大會(huì)上，華為各個(gè)產(chǎn)品線的亮點(diǎn)發(fā)布如百花爭(zhēng)艷。其中新更名的華為智能數(shù)據(jù)解決方案?jìng)涫荜P(guān)注。

2019年3月21日，華為2019生態(tài)伙伴大會(huì)，

華為員工為嘉賓講解智能數(shù)據(jù)展臺(tái)

嘉賓都在問(wèn)，什么是智能數(shù)據(jù)？智能數(shù)據(jù)會(huì)為我們的行業(yè)帶來(lái)什么樣的改變？別著急，小I妹帶你們揭開(kāi)智能數(shù)據(jù)的神秘面紗。

產(chǎn)業(yè)和行業(yè)趨勢(shì)

邁入智能時(shí)代，“三萬(wàn)四化”成為IT發(fā)展的主流趨勢(shì)，即萬(wàn)物感知，萬(wàn)物互聯(lián)，萬(wàn)物智能和移動(dòng)化，共享化，數(shù)字化，智能化。面對(duì)更多的智能設(shè)備數(shù)量，更大的業(yè)務(wù)處理量，更復(fù)雜的業(yè)務(wù)場(chǎng)景。企業(yè)只有不斷提高數(shù)據(jù)處理能力才能應(yīng)對(duì)未來(lái)挑戰(zhàn)。同時(shí)，個(gè)性化時(shí)代，融合數(shù)據(jù)處理能力成為提升企業(yè)競(jìng)爭(zhēng)力的關(guān)鍵要素。如：精準(zhǔn)營(yíng)銷場(chǎng)景需要處理用戶信息、關(guān)系圖譜、人臉識(shí)別、圖像識(shí)別等數(shù)據(jù)，公交線路規(guī)劃場(chǎng)景需要處理用戶信息，地理信息，交通熱力圖等數(shù)據(jù)。

華為分布式、全融合的智能數(shù)據(jù)解決方案應(yīng)運(yùn)而生，組合多種算力，支持實(shí)時(shí)處理、多模分析、高并發(fā)等場(chǎng)景，幫助企業(yè)直面未來(lái)趨勢(shì)與挑戰(zhàn)。

華為智能數(shù)據(jù)解決方案

華為戰(zhàn)略投入智能數(shù)據(jù)，通過(guò)芯片、軟件架構(gòu)創(chuàng)新提供領(lǐng)先的智能數(shù)據(jù)解決方案，幫助客戶解決海量數(shù)據(jù)的實(shí)時(shí)處理、融合分析、協(xié)同計(jì)算等挑戰(zhàn)，加速企業(yè)數(shù)字化與智能化進(jìn)程，幫助客戶實(shí)現(xiàn)商業(yè)成功。

華為智能數(shù)據(jù)解決方案包括兩個(gè)重要部分：FusionInsight大數(shù)據(jù)解決方案和企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)。

華為FusionInsight大數(shù)據(jù)解決方案

快速集成結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多種數(shù)據(jù)，支持離線分析、實(shí)時(shí)流處理、實(shí)時(shí)檢索、交互查詢等各種數(shù)據(jù)處理能力，針對(duì)政府、金融、運(yùn)營(yíng)商、公共安全等數(shù)據(jù)密集型行業(yè)的客戶需求，打造了敏捷、智慧、融合的大數(shù)據(jù)解決方案，讓客戶可以更快、更準(zhǔn)、更穩(wěn)的從各類繁雜無(wú)序的海量數(shù)據(jù)中發(fā)現(xiàn)價(jià)值，助力政府高效治理和企業(yè)卓越經(jīng)營(yíng)。

FusionInsight大數(shù)據(jù)平臺(tái)包括HD數(shù)據(jù)底座、數(shù)據(jù)使能工具(DLF、RTD)與數(shù)據(jù)服務(wù)HDS，同時(shí)也包括一站式AI開(kāi)發(fā)平臺(tái)ModelArts，整合機(jī)器學(xué)習(xí)，深度學(xué)習(xí)和圖分析能力，一鍵式模型發(fā)布。多源數(shù)據(jù)接入，海量結(jié)構(gòu)化&非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)；開(kāi)放算法倉(cāng)，無(wú)縫接入伙伴模型，保障模型安全；異構(gòu)資源調(diào)度，CPU&GPU資源統(tǒng)一調(diào)度，容器化，細(xì)粒度資源復(fù)。

企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)

采用MPP(Massive Parallel Processing大規(guī)模并行處理)架構(gòu)，支持行存儲(chǔ)與列存儲(chǔ)，提供PB級(jí)別數(shù)據(jù)量的處理能力。核心技術(shù)上跟傳統(tǒng)數(shù)據(jù)庫(kù)相比有巨大優(yōu)勢(shì)，可以解決行業(yè)用戶的數(shù)據(jù)處理性能問(wèn)題，可以為超大規(guī)模數(shù)據(jù)管理提供高性價(jià)比的通用計(jì)算平臺(tái)，并可用于支撐各類數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI(Business Intelli-gence)系統(tǒng)和決策支持系統(tǒng)，統(tǒng)一為上層應(yīng)用的決策分析等提供服務(wù)。

智能數(shù)據(jù)將如何改變我們的行業(yè)？

01

極致交互式分析體驗(yàn)

在金融行業(yè)，對(duì)各類統(tǒng)計(jì)報(bào)表和用戶特征數(shù)據(jù)的即席查詢，是支持金融行業(yè)客戶經(jīng)營(yíng)決策和精準(zhǔn)營(yíng)銷的重要手段。但是，Hadoop傳統(tǒng)組件的Hive&SparkSQL，比較適合于離線計(jì)算這種批處理場(chǎng)景，在交互查詢場(chǎng)景資源消耗高、響應(yīng)也較慢，無(wú)法滿足幾秒時(shí)間內(nèi)完成業(yè)務(wù)靈活交互查詢的訴求。

華為智能數(shù)據(jù)搭載的Elk引擎則專業(yè)面向Hadoop交互分析場(chǎng)景，每秒萬(wàn)級(jí)記錄查詢條件下，交互查詢能夠達(dá)到秒級(jí)響應(yīng)（通常要求3秒以內(nèi)）。同時(shí)，華為Elk引擎，支持SQL2003標(biāo)準(zhǔn)，以及OLTP/OLAP/大數(shù)據(jù)統(tǒng)一的SQL分析體驗(yàn)，從而讓用戶輕松實(shí)現(xiàn)極致性能的靈活分析體驗(yàn)。

02

跨地域協(xié)同分析

在集團(tuán)公司和運(yùn)營(yíng)商場(chǎng)景中，集團(tuán)公司總部統(tǒng)計(jì)分析所有子公司經(jīng)營(yíng)數(shù)據(jù)，運(yùn)營(yíng)商客戶進(jìn)行大數(shù)據(jù)平臺(tái)和數(shù)倉(cāng)平臺(tái)的融合分析。跨集群及跨數(shù)據(jù)源的協(xié)同計(jì)算，在目前的應(yīng)用呈現(xiàn)明顯的增長(zhǎng)趨勢(shì)。面對(duì)這種需要跨源、甚至跨地域的協(xié)同分析場(chǎng)景，傳統(tǒng)方式可能需要進(jìn)行大量的數(shù)據(jù)遷移，將跨源、跨地域的數(shù)據(jù)搬遷到一起，然后再進(jìn)行融合分析。這種方式，需要花費(fèi)大量的時(shí)間和資源來(lái)進(jìn)行數(shù)據(jù)遷移，工作量大，效率也很低。

華為提供的協(xié)同計(jì)算引擎Pollux，支持GaussDB、Hive、Spark集群的跨源、跨數(shù)據(jù)中心數(shù)據(jù)統(tǒng)一訪問(wèn)，以及SQL算子的計(jì)算下推，從而實(shí)現(xiàn)數(shù)據(jù)免遷移的情況下完成跨源跨集群數(shù)據(jù)的協(xié)同計(jì)算，大幅提升用戶的分析體驗(yàn)和效率，實(shí)現(xiàn)跨中心融合分析從天到秒~小時(shí)級(jí)的時(shí)效提升。

03

統(tǒng)一的數(shù)據(jù)集成和治理

政府行業(yè)目前的IT水平較薄弱，但由于各個(gè)委辦局?jǐn)?shù)據(jù)類型多，導(dǎo)致數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理難度加大。華為數(shù)據(jù)湖工廠DLF，可以為客戶提供一個(gè)一站式數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理的平臺(tái)，從而降低大數(shù)據(jù)應(yīng)用開(kāi)發(fā)門檻和業(yè)務(wù)開(kāi)發(fā)難度，降低運(yùn)維管理復(fù)雜度。通過(guò)使用DLF，用戶可以一站式建設(shè)數(shù)倉(cāng)，無(wú)需切換多個(gè)工具；用戶可以管理多種大數(shù)據(jù)服務(wù)，實(shí)現(xiàn)跨服務(wù)的作業(yè)開(kāi)發(fā)；用戶還可以在線對(duì)SQL/Shell/Python等腳本進(jìn)行編輯調(diào)試，并通過(guò)拖拽方式進(jìn)行復(fù)雜工作流編排，輕松實(shí)現(xiàn)任務(wù)的調(diào)度和運(yùn)維管理。

04

軟硬協(xié)同，提供最優(yōu)性能算力組合

軟硬協(xié)同是將軟件能力和硬件能力協(xié)同適配，實(shí)現(xiàn)業(yè)務(wù)能力最優(yōu)的重要手段。華為有著豐富的軟硬件技術(shù)積累，既有著全國(guó)第一的大數(shù)據(jù)軟件平臺(tái)，也有國(guó)內(nèi)領(lǐng)先的智能計(jì)算和存儲(chǔ)產(chǎn)品線，特別是19年年初發(fā)布的基于鯤鵬920芯片的泰山服務(wù)器，更是將ARM服務(wù)器的能力推向了一個(gè)新的高度。

華為智能數(shù)據(jù)解決方案，充分發(fā)揮華為軟硬件技術(shù)積累深厚的優(yōu)勢(shì)，通過(guò)軟硬協(xié)同技術(shù)適配ARM多核服務(wù)器，發(fā)揮ARM在大數(shù)據(jù)處理中的天然優(yōu)勢(shì)，性能優(yōu)于同等規(guī)格X86 CPU 30%。同時(shí)軟硬結(jié)合實(shí)現(xiàn)數(shù)據(jù)透明加密，加密性能相較軟件加密提升300%。除此之外，熱數(shù)據(jù)加速技術(shù)、內(nèi)存加速技術(shù)以及RDMA技術(shù)，提升數(shù)據(jù)訪問(wèn)性能50%等等。這些技術(shù)的實(shí)施，大幅提升了華為智能數(shù)據(jù)解決方案的能力，也能夠更好的為用戶提供服務(wù)。同時(shí)智能數(shù)據(jù)解決方案也支持通用X86架構(gòu)的部署，并且支持ARM和X86的跨集群混合部署。

05

專業(yè)化的服務(wù)能力，保障項(xiàng)目成功實(shí)施

華為智能數(shù)據(jù)提供從咨詢規(guī)劃、大數(shù)據(jù)工程服務(wù)、大數(shù)據(jù)管理服務(wù)到運(yùn)營(yíng)優(yōu)化的專業(yè)服務(wù)。同時(shí)還提供客戶培訓(xùn)與認(rèn)證，使得客戶能力得以傳遞，人才能力得以發(fā)展。未來(lái)還將提供詳盡的二次開(kāi)發(fā)課程與信息服務(wù)平臺(tái)，幫助合作伙伴更好使用華為平臺(tái)。

成功實(shí)踐和業(yè)界認(rèn)可

華為智能數(shù)據(jù)解決方案已在超過(guò)60個(gè)國(guó)家成功商用，用友1500+商用客戶和500+合作伙伴。

01

華為智能數(shù)據(jù)解決方案助力工商銀行打造新一代融合數(shù)倉(cāng)

基于通用X86開(kāi)放架構(gòu)的分布式數(shù)據(jù)庫(kù)平臺(tái)實(shí)現(xiàn)軟硬件解耦，在保護(hù)投資的同時(shí)提供面向未來(lái)架構(gòu)演進(jìn)的能力，全并行計(jì)算框架帶來(lái)30%以上的性能提升；支持在線擴(kuò)容，擴(kuò)容時(shí)間較之前縮短75%；融合架構(gòu)實(shí)現(xiàn)多源數(shù)據(jù)統(tǒng)一存儲(chǔ)分析，全面支撐工商銀行未來(lái)大數(shù)據(jù)發(fā)展趨勢(shì)與需求。

02

重慶大數(shù)據(jù)，助力智慧重慶建設(shè)

華為參與重慶市的社會(huì)公共信息資源共享平臺(tái)建設(shè)，截至2018年底共享平臺(tái)已匯聚60個(gè)市級(jí)部門超過(guò)200億條大數(shù)據(jù)資源，支撐政務(wù)服務(wù)、人力社保、市場(chǎng)監(jiān)管、應(yīng)急管理、精準(zhǔn)脫貧、全域旅游等領(lǐng)域超過(guò)200個(gè)應(yīng)用系統(tǒng)建設(shè)，累計(jì)數(shù)據(jù)共享使用條數(shù)超過(guò)40億條，全面助力智慧重慶建設(shè)。

?2017年IDC MarketScape中國(guó)大數(shù)據(jù)管理平臺(tái)廠商評(píng)估領(lǐng)導(dǎo)者象限第一。

?2018年IDC MarketScape中國(guó)政務(wù)大數(shù)據(jù)領(lǐng)導(dǎo)者象限第一。

?華為智能數(shù)據(jù)解決方案連續(xù)3年入圍Gartner MagicQuadrant for Data Management Solutions for Analytics，中國(guó)區(qū)廠商排名第一。