云原生時代,Kubernetes(K8s) 已經(jīng)成為云原生應用編排、管理的事實標準,越來越多的應用選擇向 Kubernetes 遷移。

在 CAE 仿真、動漫渲染、物理化學、石油勘探、生命科學、氣象環(huán)境等需要進行大規(guī)模數(shù)據(jù)計算的領域,HPC(高性能計算) 作為傳統(tǒng)的分布式計算模式,有著廣泛的應用。在這些相關領域的從業(yè)者中,也有很多人希望能將 HPC 應用遷移到容器中運行,通過 Kubernetes 強大的功能來進行作業(yè)管理。開源的 Volcano 項目就是一個很好的解決方案。

Volcano 是一個基于 Kubernetes 的云原生批量計算平臺,也是 CNCF 的首個容器批量計算項目,主要用于 AI、大數(shù)據(jù)、基因、渲染等諸多高性能計算場景,對主流通用計算框架均有很好的支持。它提供面向高性能負載的調(diào)度策略、完善的作業(yè)生命周期管理、異構(gòu)硬件管理、面向高性能負載的性能優(yōu)化等能力,目前在很多領域都已落地應用。

業(yè)界在使用一些計算框架進行大規(guī)模運算時,由于不同框架對作業(yè)管理、并行計算等要求不同,導致在高計算密度情況下,資源需求波動大,缺乏高級調(diào)度能力。同時也導致了后續(xù)部署運維復雜等問題。

Volcano 面向主流計算框架提供統(tǒng)一的批量調(diào)度平臺,提高資源利用率。同時還提供通用的作業(yè)管理、隊Fair-share,Gang ,bin-pack 、preempt、reservation等高級調(diào)度算法,簡化運維管理。目前 Volcano 已經(jīng)支持幾乎所有的主流計算框架,包括 MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飛槳、Spark、Flink、HOROVOD 等。

Volcano 支持的部分計算框架

Volcano 整體架構(gòu)

Volcano 利用聲明式的 CRD 定義 API,主要有 3 個核心的 API:Volcano Job、PodGroup、Queue。

Volcano Job 是對高性能作業(yè)通用定義,PodGroup 提供了 Job 中 Task 的管理能力,Queue為作業(yè)排隊、公平調(diào)度提供了基礎。

Volcano 的架構(gòu)

Volcano 核心組件主要包含三個:Admission、ControllerManager、Scheduler 。

Admission 對 Volcano CRD API 提供校驗能力;

ControllerManager 負責對 Volcano CRD 進行資源管理;

Scheduler 對作業(yè)供豐富的調(diào)度能力。

Volcano社區(qū)概況

Volcano 起源于 kube-batch 項目,這個項目最初的目的是解決 Kubernetes 中的分組調(diào)度問題。隨著 AI 和大數(shù)據(jù)服務開始要求 Kubernetes 提供更強大、更靈活的調(diào)度,kube-batch 與各種場景特定的實踐相結(jié)合,提供了更豐富的調(diào)度能力,同時增加了作業(yè)管理、數(shù)據(jù)管理、運行時管理、異構(gòu)硬件管理等,形成了一個統(tǒng)一的批處理系統(tǒng),并被重新命名為Volcano。2020 年 4 月,Volcano 項目由華為云正式貢獻給 CNCF,成為 CNCF 迎來的首個容器批量計算項目。

在開源開放、廠商中立的社區(qū)治理下,目前 Volcano 在代碼托管平臺上已獲得了 2k+ star,430+ fork,有 290+ 來自國內(nèi)外的開發(fā)者參與代碼貢獻。Volcano 社區(qū)擁有 9位 Maintainer,12 位 Reviewer,有超過 50家業(yè)與科研機構(gòu)參與項目合作,合作伙伴包括華為、騰訊、百度、愛奇藝、滴滴出行、京東、建信金融科技等。在未來,Volcano 將在企業(yè)數(shù)字化、云原生轉(zhuǎn)型過程中發(fā)揮越來越重要的作用。

若想了解更多 Volcano 項目的技術原理與實踐干貨,敬請關注 12 月 9 日 - 10 日舉辦的 KubeCon + CloudNativeCon + Open Source Summit China 2021。屆時將有來自華為云的資深云原生技術專家,為廣大開發(fā)者帶來精彩的 Volcano 技術分享:

議題:基于Volcano的離在線業(yè)務混部技術探索

演講嘉賓:

王雷博/華為云批量計算服務架構(gòu)師

吳雷/華為云原生開源團隊核心成員&Volcano社區(qū)Maintainer

議題簡介:為了保證服務SLA,集群需要大量冗余資源,這將導致集群資源利用率低下,資源浪費嚴重。為了提高資源利用率,Volcano將在線服務和離線批處理作業(yè)混合在同一集群上。kubelet使調(diào)度器感知到已分配資源和實際已有資源量的差距。Volcano還提供了資源超賣能力,可將已分配給低優(yōu)先級作業(yè)的空閑資源加以復用。在操作系統(tǒng)維度,Volcano還通過cgroup提供任務隔離,以確保關鍵的在線服務QoS。

KubeCon + CloudNativeCon + Open Source Summit China 2021 由云原生計算基金會 CNCF 主辦。作為云原生領域的頂級技術盛會,歷年的 KubeCon + CloudNativeCon + Open Source Summit China 都匯聚了國內(nèi)外最活躍的開源云原生社區(qū)、最先進的技術代表與行業(yè)的最佳落地實踐,推動云原生計算領域的知識更新和技術進步。本屆大會的議程安排已全面上線,更多詳情請查看大會官網(wǎng)。

編輯：fqj