任何應用系統都離不開對數據的處理，數據也是驅動業務創新以及向智能化發展最核心的東西。這也是為何目前大多數企業都在構建數據中臺的原因，數據處理的技術已經是核心競爭力。在一個完備的技術架構中，通常也會由應用系統以及數據系統構成。應用系統負責處理業務邏輯，而數據系統負責處理數據。

傳統的數據系統就是所謂的『大數據』技術，這是一個被創造出來的名詞，代表著新的技術門檻。近幾年得益于產業的發展、業務的創新、數據的爆發式增長以及開源技術的廣泛應用，經歷多年的磨煉以及在廣大開發者的共建下，大數據的核心組件和技術架構日趨成熟。特別是隨著云的發展，讓『大數據』技術的使用門檻進一步降低，越來越多的業務創新會由數據來驅動完成。

數據系統的核心組件包含數據管道、分布式存儲和分布式計算，數據系統架構的搭建會是使用這些組件的組合拼裝。每個組件各司其職，組件與組件之間進行上下游的數據交換，而不同模塊的選擇和組合是架構師面臨的最大的挑戰。

再來看主輔存儲在實際架構中的例子，例如關系數據庫中主表和二級索引表也可以看做是主與輔的關系，索引表數據會隨著主表數據而變化，強一致同步并且為某些特定條件組合查詢而優化。關系數據庫與高速緩存和搜索引擎也是主與輔的關系，采用滿足最終一致的數據同步方式，提供高速查詢和檢索。在線數據庫與數倉也是主與輔的關系，在線數據庫內數據集中復制到數倉來提供高效的BI分析。

結構化大數據存儲在數據系統中是一個非常關鍵的組件，它起的一個很大的作用是連接『在線』和『離線』。作為數據中臺中的結構化數據匯總存儲，用于在線數據庫中數據的匯總來對接離線數據分析，也用于離線數據分析的結果集存儲來直接支持在線查詢或者是數據派生。根據這樣的定位，我們總結下對結構化大數據存儲的幾個關鍵需求。

結構化大數據存儲的定位是集中式的存儲，作為在線數據庫的匯總（大寬表模式），或者是離線計算的輸入和輸出，必須要能支撐PB級規模數據存儲。數據從在線存儲到離線存儲的轉換，通常是通過ETL工具，T+1式的同步或者是實時同步。結構化大數據存儲需要能支撐多個在線數據庫內數據的導入，也要能承受大數據計算引擎的海量結果數據集導出。所以必須能支撐高吞吐的數據寫入，通常會采用一個為寫入而優化的存儲引擎。

一個完整的數據系統架構下，需要有多個存儲組件并存。并且根據對查詢和分析能力的不同要求，需要在數據派生體系下對輔存儲進行動態擴展。所以對于結構化大數據存儲來說，也需要有能擴展輔存儲的派生能力，來擴展數據處理能力。而判斷一個存儲組件是否具備更好的數據派生能力，就看是否具備成熟的CDC技術。

數據的價值需要靠計算來挖掘，目前計算主要劃為批量計算和流計算。對于結構化大數據存儲的要求，一是需要能夠對接主流的計算引擎，例如Spark、Flink等，作為輸入或者是輸出；二是需要有數據派生的能力，將自身數據轉換為面向分析的列存格式存儲至數據湖系統；三是自身提供交互式分析能力，更快挖掘數據價值。

滿足第一個條件是最基本要求，滿足第二和第三個條件才是加分項。目前開源界比較知名的結構化大數據存儲是HBase和Cassandra，Cassandra是WideColumn模型NoSQL類別下排名Top-1的產品，在國外應用比較廣泛。但這里我們重點提下HBase，因為在國內的話相比Cassandra會更流行一點。

存儲計算分離架構：底層基于HDFS，分離的架構可帶來存儲和計算各自彈性擴展的優勢，與計算引擎例如Spark可共享計算資源，降低成本。LSM存儲引擎：為寫入優化設計，能提供高吞吐的數據寫入。開發者生態成熟，接入主流計算引擎：作為發展多年的開源產品，在國內也有比較多的應用，開發者社區很成熟，對接幾大主流的計算引擎。HBase有其突出的優點，但也有幾大不可忽視的缺陷：

通道服務是Tablestore的CDC技術，是支撐數據派生體系的核心功能。能夠被利用在異構存儲間的數據同步、事件驅動編程、表增量數據實時訂閱以及流計算場景。目前在云上Tablestore與Blink能無縫對接，也是唯一一個能直接作為Blink的streamsource的結構化大數據存儲。

大數據處理架構是數據系統架構的一部分，其架構發展演進了多年，有一些基本的核心架構設計思路產出，例如影響最深遠的Lambda架構。Lambda架構比較基礎，有一些缺陷，所以在其基礎上又逐漸演進出了Kappa、Kappa+等新架構來部分解決Lambda架構中存在的一些問題，詳情介紹可以看下這篇文章的介紹。Tablestore基于CDC技術來與計算引擎相結合，基于Lambda架構設計了一個全新的Lambda plus架構。