演講嘉賓 | 徐子川

回顧整理 | 廖 濤

排版校對 | 李萍萍

嘉賓介紹

OpenHarmony技術俱樂部分論壇

徐子川，大連理工大學教授、博士生導師，大連理工大學OpenHarmony技術俱樂部主任，教育部重點實驗室副主任。研究方向為邊緣云服務，領域涵蓋邊緣智能，網絡功能虛擬化，云原生等。在頂級期刊和會議發表論文100余篇，谷歌學術引用超過3800次，h-index 34，持有10余項專利和3項軟件著作權。

視頻回顧

打開嗶哩嗶哩APP，觀看更清晰視頻

正文內容

近十年間，我國云服務市場規模快速增長，邊緣計算需求激增,云邊協同成為未來重要演進方向。Serverless作為一種構建和管理基于微服務架構的技術，為軟件架構設計與應用服務部署帶來了新的設計思路，在邊緣計算場景中正得到廣泛應用。如何基于Serverless邊緣云實現容器鏡像的彈性部署？大連理工大學教授、OpenHarmony技術俱樂部主任徐子川在第二屆OpenHarmony技術大會上進行了精彩分享。

01

研究背景

目前，我國企業“上云用云”進程加快、計算業務需求激增、物聯網數據爆炸式增長。為了解決網絡帶寬限制、存儲能力限制、AI算力限制等實際痛點，以及滿足特定場景高時效性要求，云計算逐漸在用戶邊緣側的延伸，實現算力下沉。邊緣計算為云計算提供了更快的速度、更高的安全性、更可靠的計算環境以及可擴展性，是萬物互聯的關鍵技術之一。

如果簡單地把云服務從云數據中心下沉到邊緣側，存在以下2個主要問題：（1）服務部署粒度大、邊緣資源利用率低。IDC的計算資源冗余，平均利用率低至10%；（2）邊緣資源受限、大規模可擴展性差。大規模服務請求響應速度慢。為了避免資源浪費、實現邊緣智能服務的細粒度可擴展部署，亟需新的范式。

云原生開發架構，由最初的單體應用時期（快速、簡單、耦合強），經垂直應用時期（隔離、穩定、復制多）、微服務時期（隔離、穩定、復用高），發展至當前的Serverless時期（超輕量、高彈性、低門檻、極細粒度、復用更高）。Serverless計算作為新興的下一代云計算范式，正在迅速發展。其可以提供代碼函數片段級極細粒度的開發部署及彈性執行能力，而無需用戶關注粗粒度細節（硬件、系統、運行庫、函數級上下文環境、函數級并發等）。基于Serverless計算，實現面向邊緣智能應用的細粒度容器鏡像彈性部署方案，能夠有效應對邊緣智能應用資源利用率低及可擴展性差等問題。

基于Serverless邊緣云的容器鏡像彈性部署需要解決以下關鍵問題：

如何解決基于Serverless的鏡像部署及狀態依賴問題？——研究有狀態Serverless應用的鏡像部署問題

如何解決大規模集群中源站拉取鏡像面臨帶寬瓶頸的困局？——設計基于P2P的鏡像加速分發系統

如何去除鏡像冗余，實現Serverless容器的快速啟動？——提出按需加載的容器鏡像加速策略

02

理論研究：有狀態Serverless應用鏡像部署

目前，基于Serverless邊緣云的容器鏡像彈性部署相關研究主要集中于Serverless函數放置/調度以及Serverless函數內存資源預測。但仍存在一定不足：（1）很少考慮Serverless函數的狀態管理；（2）未同時考慮函數依賴及復雜狀態依賴；（3）未考慮邊緣節點異質資源；（4）未考慮網絡動態性及不確定性。因此，有狀態Serverless應用鏡像部署研究，將重點聚焦在基于Serverless邊緣云的有狀態細粒度函數部署問題、Serverless應用復雜的函數及狀態依賴關系、未來數據量及網絡延遲的不確定性等方面的內容。

有狀態Serverless應用鏡像部署的理論研究，具體包括以下幾個方面：（1）建立函數執行延遲、成本模型，問題定義。延遲模型包括處理延遲、傳輸延遲；成本模型包括處理成本、傳輸成本、存儲成本；（2）設計面向有狀態Serverless函數的高效部署方法，包括：面向有狀態Serverless函數的啟發式算法；面向有狀態Serverless函數的基于多物最小成本流的近似算法；面向網絡延遲不確定的基于多臂老虎機的學習驅動算法；（3）基于Serverless邊緣云的容器鏡像彈性部署實際驗證。由驗證結果可知，基于Serverless邊緣云的容器鏡像彈性部署策略能極大程度上減少邊緣智能服務供應開銷，提高服務質量、提高用戶服務體驗。

03

工程實踐：基于P2P的鏡像加速分發系統

在實際的工程應用中，大規模集群中從源站拉取文件常常面臨帶寬限制，如何最大限度的利用集群內網帶寬實現鏡像加速部署成為一個值得探索的問題。

基于上述問題，業界提出了基于P2P的鏡像加速文件分發系統——Dragonfly。Dragonfly是CNCF托管的Incubating項目，旨在提高大規模文件傳輸的效率和速度。其能夠最大限度的利用節點之間閑置帶寬，減少回源流量。目前，該項目的Contributer已有100+，用戶包括Intel、ByteDance、DiDi等公司據不完全統計約40+，基本涵蓋國外大型互聯網公司。公有云支持 Google Cloud Platform(GCP)、Volcano Engine Baidu AI Cloud、Alibaba Cloud(Aliyun) 等。

Dragonfly項目整體架構主要包括：

Manager：維護多個 P2P 集群 關聯關系，剔除異常節點，保證 P2P 集群穩定性。并且提供用戶態管理、RBAC、動態配置等功能。

Scheduler：為當前下載節點調度一組最優的父節點。并且在適當時機觸發節點回源做種。

Peer：客戶端提供上傳和下載功能。

Seed Peer：客戶端提供上傳和下載功能。當集群內任務首次下載，Scheduler會觸發Seed Peer回源。

在Dragonfly中，采取了分級異常隔離策略，可有效提高P2P集群整體的穩定性。例如：

服務級別：（1）Scheduler, Seed Peer服務異常隔離，狀態Inactive；（2）Manager服務異常隔離，Peer使用最新Cache；（3）控制臺應急下線異常服務。

節點級別：（1）節點間網絡異常，當前節點隔離對端節點；（2）被訪問錯誤超過上限，P2P集群內暫時隔離節點；（3）基于6sigma隔離當前下載Piece速度過慢節點；（4）節點達到負載上限，P2P集群內暫時隔離節點；（5）節點Announce狀態Inactive。

任務級別：（1）任務狀態失敗，隔離當前節點任務；（2）任務下載有環，隔離當前節點任務；（3）回源下載任務失敗，隔離所有已下載節點任務。

為了優化Dragonfly系統中的Scheduler父節點調度策略，使其選擇更能反映父節點下載優劣的特征，更適用于大規模容器鏡像部署場景，作者本人所在團隊提出了（1）主動測量網絡延遲與收集并推測帶寬相結合的特征機制；（2）構建Trainer模塊，利用探測信息和歷史數據進行圖神經網絡訓練方案。目前，上述方案相關代碼已經合入Dragonfly開源項目主線。

04

工程實踐：按需加載的容器鏡像加速

Serverless容器快速啟動對Serverless冷啟動性能至關重要，但目前容器鏡像冗余極多，啟動容器所需文件體積約占鏡像10%~30%，且邊緣計算、物聯網等場景，帶寬存在瓶頸（鏡像下載約占95%啟動用時）。基于該問題，業界提出了按需加載的容器鏡像加速方案，通過按需加載減少容器啟動過程的傳輸流量，快速啟動容器。

目前，該容器鏡像加速開源框架已經成為Dragonfly的子項目（CNCF托管孵化中項目），Contributer已有100+， 用戶包括阿里云、螞蟻集團、字節跳動、快手等公司。

容器鏡像加速開源框架的鏡像格式為：

OCIv1格式按層存儲 -----------> 文件粒度存儲

缺少文件目錄元數據 ----------> 分離數據（blobs）和元數據（bootstrap）

完全加載鏡像后啟動 ----------> 僅加載元數據后啟動，快速掛載文件系統

容器鏡像加速開源框架的按需加載流程為：

容器發起I/O請求

檢查本地文件緩存（文件粒度）

如果未命中緩存，從遠端存儲中按需加載對應文件

返回I/O請求繼續運行容器

在該項目中，作者本人所在團隊，提出了（1）文件預取重排：算法優化預讀取的文件列表，提升啟動速度；（2）請求碎片合并：將碎片文件合并加載，提高加載性能；（3）鏡像間文件去重：同鏡像內層間去重、相似鏡像間去重，降低鏡像體積等優化方案，且相關代碼已進入項目主線。

05

總結展望

未來，OpenHarmony融合彈性無服務器計算成為可能：將彈性無服務器計算與OpenHarmony融合，為智能服務彈性部署與調度提供統一平臺與中間件，可賦能更多新興智能業務場景。此外，將OpenHarmony融合基于P2P的鏡像加速文件分發系統，也能夠在一定程度上克服有限回源帶寬，進一步提高大規模文件傳輸的效率和速度。

「嘉賓材料暫不分享」

審核編輯 黃宇