摘要：?近期, 全球權(quán)威IT咨詢(xún)機(jī)構(gòu)Forrester發(fā)布"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究報(bào)告，阿里巴巴分析型數(shù)據(jù)庫(kù)(AnalyticDB)成功入選 ！AnalyticDB作為阿里巴巴自主研發(fā)的PB級(jí)實(shí)時(shí)云數(shù)據(jù)倉(cāng)庫(kù)，全面兼容MySQL協(xié)議以及SQL:2003 語(yǔ)法標(biāo)準(zhǔn)，可以毫秒級(jí)針對(duì)萬(wàn)億級(jí)數(shù)據(jù)進(jìn)行即時(shí)的多維分析透視和業(yè)務(wù)探索，幫客戶(hù)將整個(gè)數(shù)據(jù)分析和價(jià)值化從傳統(tǒng)的離線分析帶到下一代的在線實(shí)時(shí)分析模式。

前言
近期, 全球權(quán)威IT咨詢(xún)機(jī)構(gòu)Forrester發(fā)布"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究報(bào)告，阿里巴巴分析型數(shù)據(jù)庫(kù)(AnalyticDB)成功入選 ！AnalyticDB作為阿里巴巴自主研發(fā)的PB級(jí)實(shí)時(shí)云數(shù)據(jù)倉(cāng)庫(kù)，全面兼容MySQL協(xié)議以及SQL:2003 語(yǔ)法標(biāo)準(zhǔn)，可以毫秒級(jí)針對(duì)萬(wàn)億級(jí)數(shù)據(jù)進(jìn)行即時(shí)的多維分析透視和業(yè)務(wù)探索，幫客戶(hù)將整個(gè)數(shù)據(jù)分析和價(jià)值化從傳統(tǒng)的離線分析帶到下一代的在線實(shí)時(shí)分析模式。本文將深入解讀AnalyticDB成功入選背后的核心產(chǎn)品以及帶來(lái)的客戶(hù)價(jià)值。

核心能力一：快和實(shí)時(shí)

分析型數(shù)據(jù)庫(kù)AnalyticDB在瞬間即可對(duì)萬(wàn)億級(jí)別的數(shù)據(jù)進(jìn)行實(shí)時(shí)的多維度分析透視，快速發(fā)現(xiàn)數(shù)據(jù)價(jià)值。AnalyticDB對(duì)復(fù)雜SQL查詢(xún)速度相比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)快10倍，此外，AnalyticDB還可以快速擴(kuò)容至數(shù)千節(jié)點(diǎn)的超大規(guī)模，進(jìn)一步提升查詢(xún)響應(yīng)速度。三大模塊合力構(gòu)筑了遠(yuǎn)遠(yuǎn)領(lǐng)先競(jìng)爭(zhēng)對(duì)手的性能優(yōu)勢(shì)：

智能SQL優(yōu)化器：針對(duì)復(fù)雜的SQL查詢(xún)，AnalyticDB的SQL Optimizer 實(shí)現(xiàn)了多種查詢(xún)改寫(xiě)優(yōu)化，同時(shí)依據(jù)統(tǒng)計(jì)信息選擇JOIN ORDERING最優(yōu)路徑，并支持 CTE 歸并等功能。同時(shí)針對(duì)高并發(fā)低延遲查詢(xún)，提供智能的 Plan cache，將相似SQL Pattern 計(jì)劃都緩存起來(lái)，規(guī)避重復(fù)優(yōu)化開(kāi)銷(xiāo)。

曦和計(jì)算引擎： AnalyticDB 在2017年全面升級(jí)為新一代曦和分布式計(jì)算引擎，整體采用MPP架構(gòu)，并支持DAG計(jì)算模型，節(jié)點(diǎn)內(nèi)引入LLVM等運(yùn)行時(shí)編譯優(yōu)化JIT技術(shù)，性能提升一倍以上。數(shù)據(jù)分析任務(wù)在曦和計(jì)算引擎內(nèi)被打散成小顆粒的計(jì)算單元，引擎內(nèi)置分時(shí)輪詢(xún)的計(jì)算調(diào)度機(jī)制，可以保證高并發(fā)下作業(yè)任務(wù)的穩(wěn)定運(yùn)行。

玄武存儲(chǔ)引擎：AnalyticDB支持行列混合存儲(chǔ)，同時(shí)針對(duì)不同的數(shù)據(jù)類(lèi)型，當(dāng)數(shù)據(jù)實(shí)時(shí)寫(xiě)入時(shí)，智能的構(gòu)建多種維度索引，包括B+索引、區(qū)間索引、倒排索引、位圖索引等，并對(duì)傳統(tǒng)索引算法進(jìn)行創(chuàng)新，引入動(dòng)態(tài)過(guò)濾、延遲物化等方式，極大的降低I/O，實(shí)現(xiàn)高性能的點(diǎn)或范圍的檢索，支持千億級(jí)記錄關(guān)聯(lián)分析。

核心能力二：超大規(guī)模
AnalyticDB是全分布式結(jié)構(gòu)，使得數(shù)據(jù)庫(kù)支持ECU節(jié)點(diǎn)動(dòng)態(tài)線性擴(kuò)容至數(shù)千節(jié)點(diǎn)。用戶(hù)可以通過(guò)橫向擴(kuò)容來(lái)大幅度提升查詢(xún)SQL響應(yīng)速度、以及換來(lái)SQL處理高并發(fā)。 AnalyticDB 基于阿里云飛天系統(tǒng)構(gòu)筑，AnalyticDB采用分層解耦架構(gòu)，同時(shí)將分析計(jì)算、數(shù)據(jù)寫(xiě)入、索引構(gòu)建等分離為不同節(jié)點(diǎn)，同時(shí)各種類(lèi)型節(jié)點(diǎn)采用多活運(yùn)行模式實(shí)現(xiàn)高可用，數(shù)據(jù)存儲(chǔ)在盤(pán)古分布式文件系統(tǒng)上，實(shí)現(xiàn)高可靠和高性能讀寫(xiě)I/O，在整體架構(gòu)上實(shí)現(xiàn)了彈性擴(kuò)展和高可用。AnalyticDB架構(gòu)上每一層結(jié)構(gòu)，都充分的考慮了規(guī)模化擴(kuò)展性問(wèn)題。

**
核心能力三：高并發(fā)實(shí)時(shí)寫(xiě)入和更新**

由于無(wú)論是前端接入層、寫(xiě)入節(jié)點(diǎn)支持動(dòng)態(tài)大規(guī)模擴(kuò)展，客戶(hù)可以從最小規(guī)模的10萬(wàn)TPS寫(xiě)入能力，通過(guò)橫向擴(kuò)容節(jié)點(diǎn)提升至1000萬(wàn)+TPS的寫(xiě)入能力，實(shí)時(shí)寫(xiě)入后，數(shù)據(jù)秒級(jí)別可見(jiàn)，從寫(xiě)入到分析整個(gè)數(shù)據(jù)延遲控制在秒級(jí)。

單個(gè)表最大支持PB級(jí)數(shù)據(jù)，十萬(wàn)億記錄，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)通常是離線Load數(shù)據(jù)模式，不具備實(shí)時(shí)高并發(fā)寫(xiě)入能力。正是由于具備海量數(shù)據(jù)實(shí)時(shí)寫(xiě)入能力，AnalyticDB數(shù)據(jù)分析時(shí)效性非常高，是企業(yè)數(shù)據(jù)離線計(jì)算轉(zhuǎn)實(shí)時(shí)化的下一代核心解決方案。

核心能力四：靈活

AnalytiDB無(wú)論是前端接入層還是彈性計(jì)算層、以及數(shù)據(jù)存儲(chǔ)層均是全分布式設(shè)計(jì)，全局無(wú)單點(diǎn)。外加存儲(chǔ)計(jì)算分離結(jié)構(gòu)，帶來(lái)的優(yōu)勢(shì)是極度靈活。云上客戶(hù)不僅可以隨時(shí)進(jìn)行靈活調(diào)整節(jié)點(diǎn)數(shù)量，還可以做實(shí)例規(guī)格的動(dòng)態(tài)升降配。AnalytiDB同時(shí)支持在存儲(chǔ)型的SATA實(shí)例和高性能的SSD實(shí)例間靈活切換。

舉例來(lái)說(shuō)： 可以從8個(gè)高性能的c4實(shí)例升到12個(gè)高性能的c8實(shí)例，或從12個(gè)c8降到8個(gè)c4，甚至從2個(gè)高性能c8節(jié)點(diǎn)切換至4個(gè)大存儲(chǔ)SATA的s2n等，企業(yè)可以真正做到靈活控制成本。

核心能力五：易用

AnalyticDB作為云端托管的PB級(jí)SQL數(shù)據(jù)倉(cāng)庫(kù)，高度兼容MySQL協(xié)議和SQL:2003，通過(guò)標(biāo)準(zhǔn)SQL和常用的BI工具、以及ETL工具平臺(tái)即可輕松使用。同時(shí)結(jié)合阿里云數(shù)據(jù)傳輸服務(wù)(DTS) + 數(shù)據(jù)可視化配套(Datav & QuickBI), 輕松拖拽式即可完成企業(yè)的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)。AnalyticDB旨在幫助企業(yè)降低實(shí)時(shí)數(shù)據(jù)化運(yùn)營(yíng)的建設(shè)門(mén)檻。

為企業(yè)解決數(shù)據(jù)化建設(shè)效率和性能難題

遞四方集團(tuán)（4PX）是領(lǐng)先的跨境電商物流服務(wù)提供商。遞四方信息科技團(tuán)隊(duì)在建設(shè)了多年的離線數(shù)據(jù)平臺(tái)后，需要短時(shí)間內(nèi)建設(shè)PB級(jí)別實(shí)時(shí)數(shù)據(jù)平臺(tái)支持?jǐn)?shù)字化運(yùn)營(yíng)。遞四方信息科技在調(diào)研了一系列的解決方案后，綜合成本和建設(shè)效率等因素，最后選擇了基于AnalyticDB來(lái)構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺(tái)。 雙方通力合作，在極短時(shí)間內(nèi)通過(guò)
DTS+AnalyticDB+DataV/QuickBI套件，以簡(jiǎn)單快速的拖拽配置方式完成了4PX企業(yè)實(shí)時(shí)數(shù)倉(cāng)的初期基礎(chǔ)建設(shè)。

無(wú)他相機(jī)作為一款流行的拍照智能App, 有各種用戶(hù)和App數(shù)據(jù)需要上報(bào)做實(shí)時(shí)分析，以幫助運(yùn)營(yíng)人員做活動(dòng)效果分析以及開(kāi)發(fā)人員做App分析，不斷優(yōu)化用戶(hù)體驗(yàn)和App質(zhì)量。數(shù)據(jù)總量約100億，需實(shí)時(shí)入庫(kù)更新，客戶(hù)最早期的方案是MySQL，后續(xù)換成了MongoDB，解決了實(shí)時(shí)寫(xiě)入問(wèn)題，但是分析性能巨慢。在使用了分析型數(shù)據(jù)庫(kù)的存儲(chǔ)型實(shí)例后，將業(yè)務(wù)數(shù)據(jù)直接寫(xiě)入AnalyticDB，不但解決了實(shí)時(shí)高并發(fā)寫(xiě)入問(wèn)題，復(fù)雜分析性能從40分鐘+降低到秒級(jí)別，高分期QPS 1800+。

典型行業(yè)客戶(hù)-他們也在使用AnalyticDB

展望未來(lái)：儲(chǔ)備更多創(chuàng)新力量 + 構(gòu)筑更豐富的生態(tài)

分析型數(shù)據(jù)庫(kù)AnalyticDB，作為阿里巴巴下一代PB級(jí)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù), 承載著整個(gè)集團(tuán)內(nèi)和云上客戶(hù)的數(shù)據(jù)價(jià)值實(shí)時(shí)化分析的使命。此次報(bào)告可以看出，整個(gè)大數(shù)據(jù)企業(yè)服務(wù)邁入CDW階段，靈活、易用、自助化服務(wù)成為主流趨勢(shì)，AnalyticDB接下來(lái)將在易用性、數(shù)據(jù)通道、任務(wù)管理、可視化等周邊生態(tài)建設(shè)上繼續(xù)做廣、做深。同時(shí)也為未來(lái)儲(chǔ)備了一些核心力量，并取得階段性的進(jìn)展：

1. 分析型數(shù)據(jù)庫(kù)AnalyticDB首次在“雙11 全球狂歡節(jié)” 采用GPU加速加速技術(shù)，在計(jì)算成本大幅降低的情況下，服務(wù)全球商家將數(shù)據(jù)分析從離線進(jìn)入在線時(shí)代，支撐PB級(jí)數(shù)據(jù)從T+1計(jì)算提速到秒級(jí)實(shí)時(shí)分析。

2. 向量分析首次支撐銀泰、盒馬等新零售場(chǎng)景的人臉識(shí)別、算法推薦、結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)融合分析，毫秒級(jí)打通線上線下會(huì)員體系，支撐實(shí)時(shí)數(shù)據(jù)化線下互動(dòng)、營(yíng)銷(xiāo)。

AnalyticDB為數(shù)據(jù)價(jià)值在線化而生，作為實(shí)時(shí)云數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，希望能將最領(lǐng)先的下一代實(shí)時(shí)數(shù)倉(cāng)能力普惠給所有企業(yè)，幫助企業(yè)轉(zhuǎn)型加速數(shù)據(jù)價(jià)值探索和在線化。
查的慢，就用AnalyticDB！