實時計算在貝殼的實踐

摘要：Apache Flink 是一個分布式大數據處理引擎，可對有限數據流和無限數據流進行有狀態計算。本文由貝殼找房的資深工程師劉力云將帶來Apache Flink技術在貝殼找房業務中的應用，通過企業開發的實時計算平臺案例的分享幫助用戶了解Apache Flink的技術特性與應用場景。

業務規模及演進

下圖為貝殼找房的業務場景示意圖。最上層為貝殼找房公司最為主體的四大業務：二手房交易、新房交易、租賃業務及裝修業務。四大業務運營將產生圖示中間部分的四大數據即樓盤字典、交易數據、用戶行為日志與后端服務日志。圖示最下部分代表公司實時數據采集、實時數據計算的業務模塊，本文中的案例將重點介紹數據實時計算部分的設計、實現及應用內容。

發展歷程

在2018年初，隨著公司埋點治理規范的推進，我們建設了DP實時數據總線，統一承接各種埋點數據流的標準化處理，并對外提供清洗后的實時數據。隨著維護的實時任務增加，面臨著實時數據流穩定性以及任務管理方面的挑戰，于是貝殼大數據部著手研發了Hermes實時計算平臺，提供統一的實時任務管理平臺。

在2018年10月，我們推出了SQL V1編輯器來方便用戶開發實時計算任務。SQL V1基于Spark Structured Streaming技術，用戶可以使用SQL完成需求的開發，同時以界面拖拽的形式呈現給用戶，使用戶的操作更加便捷。在2019年5月，經過調研對比，我們引入了Flink技術棧，研發的SQL V2編輯器正式上線，SQL V2全面支持Flink SQL的各種語法并設計了大量的自定義函數，兼容hive UDF以及用戶常用函數。目前我們已經在公司內進行實時數倉業務場景的探索應用。

應用規模

下圖所示為目前實時計算在貝殼找房企業中的應用規模。目前平臺支持30余個業務項目，流計算任務數達到400個，隨著數倉的不斷擴充，實時流計算的任務數將不斷上升。每日處理的消息條數達到了800億級別，效率十分可觀。

支持的項目

從下圖所示實時計算在企業中的支持項目可以看出，目前實時計算平臺支持從風控、租賃到策略搜索再到新房交易等一系列業務項目，從各個維度支持起了企業運營產生出數據實時計算業務需求。

任務增長趨勢

最開始平臺上線時支持的任務增長較為緩慢，在2019年6月初，平臺升級到Flink并全面支持SQL開發后，任務數量開始大規模的增長，在2019年11月份實時數倉建成后，平臺所支持的任務數量有了十分明顯的增長趨勢。

平臺數據統計

下圖所示為平臺每日數據統計。目前平臺每日可以處理1000億條數據，一般數據任務的處理延遲在40毫秒左右。

Hermes實時計算平臺介紹

平臺概覽

Hermes平臺目前支持著公司實時任務的開發、編輯、部署、啟停等管理功能及豐富的監控報警等服務。平臺支持Java、Scala、Python等多種語言開發的實時任務，支持自定義任務、模板任務及場景任務三大任務類型，同時做到了各個項目的資源隔離，每個項目均有項目的專有隊列，防止與其他項目在資源上發生競爭。平臺同時為資源需求較小的項目提供了公共隊列，通過公共隊列對該種項目進行支持的方式，更為方便的實現任務的開發。

Hermes架構

下圖所示為Hermes平臺的整體架構，架構分為4個層次，圖中最下層深藍條目代表架構中的計算引擎，目前計算引擎支持Flink與Spark Streaming技術，并通過消息隊列、離線存儲等技術輔助完成數據實時的存儲。在引擎層方面，架構采用StreamSQL、DataStream、StreamCEP等技術搭建，其中StreamCEP技術很好的支持了經紀人平臺業務實時監控報警的需求。功能組件層方面包括了任務實例的管理、項目管理及數據源管理等。平臺目前可以在同一任務中的不同任務快照間進行相互切換，當發現上線任務有問題時，可以回退到之前的快照。

SQL V1編輯器

下圖所示為SQL V1編輯器示意圖。該編輯器對于大部分數據清洗及數據處理的業務場景可以實現簡潔高效的編輯處理。用戶在編輯器左側可以定義編輯數據源、操作符及目標源等數據信息。中央面板上呈現的數據為SQL V1支持編輯的操作類型，選中面板中央的過濾器，即可在編輯器右側添加相關的過濾條件，實現數據的相關過濾。在目標源層面，編輯器目前支持Kafka、Druid等多種目標源，大大提升了編輯器的兼容性。

SQL V2編輯器

下圖所示為SQL V2編輯器示意圖。目前SQL V2是基于Flink SQL技術較為完善的編輯器，左側為用戶進行代碼編輯的部分，用戶在此處可以編輯大量SQL語句以此助力不同業務場景。左下欄目中的數據為用戶選中數據源自動生成的DDL，通過DDL編輯器將操作數據的樣式更清晰的展示給用戶。SQL V2支持了三大類型的數據表，分別是source表、sink表及維表，以此方便用戶的開發。編輯器右下角可以呈現SQL語法的檢測情況，以此提示用戶在編輯時出現的語法錯誤。

SQL V2架構

SQL V2工具整體架構如下圖所示。前端SQL編輯器模塊包括語法語義的檢查、執行計劃的查看、自動DDL的生成及任務調試的功能。用戶通過任務調試功能可以查看任務執行結果。后臺將引擎提交到Yarn集群上執行，引擎通過任務id回調后臺接口獲取需要執行的SQL，對SQL做語法校驗和語法解析，若出現維表關聯則會額外對SQL做一層轉換。

SQL引擎整體架構

下圖所示為SQL引擎的整體架構。整體架構分為三個層次，最底層為Flink Table API。在Flink層之上企業設計了代碼的封裝，以factory的形式方便最上層的方法調用。最上層的core層負責整個系統的SQL解析。

維表關聯

在SQL解析過程中，最為復雜的是維表的表格關聯，下圖為維表關聯系統架構圖。數據從數據源導入后，系統使用Async I/O技術訪問后端，系統后端使用Data Accessor接口訪問后端的存儲。系統后端存儲支持HBase與Redis存儲技術，同時后端會將數據緩存于LRU Cache模塊中。維表關聯后的數據支持多種大數據工具的存儲，從而大大增加了系統的兼容性。

豐富的內置函數

系統同時為用戶提供了豐富的內置函數，包括時間函數、集合函數、Json處理函數及字符串函數。豐富的內置函數可以方便用戶的開發，省去用戶自己去開發的時間。

實時數倉整體架構

下圖所示為實時數倉的整體架構，同時也是SQL V2系統落地的應用場景。各個層級間產生的數據被儲存在了Kafka Topic中，同時數據也將被同步到hive中備份。業務方可以查詢實時備份數據進行數據驗證及分析等操作。目前數倉的實時計算部分可以計算當天或過往幾天的數據，實時計算平臺正在與其他組件合作，開發實時與離線聯合的分析查詢，以此擴展實時數倉的使用范圍。

實時數倉數據統計

下圖所示為企業實時數倉的數據統計。從2019年8月，SQL V2正式上線運營，至2019年10月平臺開始支持實時數倉開發，系統的數據量開始加速增長。目前，實時數倉已經有100余個任務，數據吞吐量也達到了21億條/天的數據級別，數據規模較為可觀。

實時數倉案例

下圖列舉出實時數倉平臺已經實現提供數據支持的應用案例。

1. 交易平臺

交易平臺實時大屏實時展示大區內的交易狀況。在交易平臺的建設中，開發團隊通過數據回環將還未關聯的數據返回儲存模塊進行重新關聯，并通過檢驗該數據的生命周期判斷是否關聯成功，團隊通過此種方式使得數據維表與事實表數據最終一致。

2. 經紀人行程量

經紀人行程量可以動態的展示當前經紀人對客戶的維護情況，使企業可以掌握經紀人實時的工作狀態。

3. 實時用戶畫像

實時用戶畫像可以實時地向企業呈現來自各個系統用戶的數據信息，通過組合各個平臺上用戶的行為信息，提供全面、精準的用戶畫像。企業的算法策略部門將根據用戶的實時畫像進行相關信息、內容的推薦。

監控報警

下圖為平臺的監控報警頁面截圖。監控系統會實時監控平臺任務的處理延時、source寫入量及sink寫出量三大指標。系統中同時可以設置平臺數據的無心跳時間，當超出設置時限后，系統將會進行報警。

監控報警架構

下圖為監控報警架構圖。監控系統通過自定義的Listener對Spark進行監控，Listener引入SDK收集Spark任務的信息及運行中的日志數據。用戶在此處需要進行手動SDK的導入。在Flink應用模塊中，系統設計支持了自定義Report數據的獲取，并通過自動加載的方式直接載入Flink中進行數據的分析與計算，同時通過任務啟動是注入java探針的方式獲取任務的相關信息。所有的監控信息將被統一送到Kafka Topic中，經Hermes平臺分析處理，觸發相應的延時報警及心跳報警。