本文涉及阿里云分布式調(diào)度團(tuán)隊(duì)在分布式調(diào)度系統(tǒng)的設(shè)計(jì)、實(shí)現(xiàn)、優(yōu)化等方面的實(shí)踐以及由此總結(jié)的分布式系統(tǒng)設(shè)計(jì)的一般性原則，具體包括分布式調(diào)度的任務(wù)調(diào)度、資源調(diào)度、容錯(cuò)機(jī)制、規(guī)模挑戰(zhàn)、安全與性能隔離以及未來發(fā)展方向六部分。

　　云計(jì)算并不是無中生有的概念，它將普通的單臺PC計(jì)算能力通過分布式調(diào)度軟件連接起來。其最核心的問題是如何把一百臺、一千臺、一萬臺機(jī)器高效地組織起來，靈活進(jìn)行任務(wù)調(diào)度和管理，從而可以像使用臺式機(jī)一樣使用云計(jì)算。在云計(jì)算中，最核心的模塊是分布式調(diào)度，它好比云計(jì)算的中央處理器。目前，業(yè)界已存在多種分布式調(diào)度實(shí)現(xiàn)方案，如伏羲、Hadoop MapReduce、YARN、Mesos等系統(tǒng)。

　　阿里云伏羲

　　伏羲系統(tǒng)在前人的基礎(chǔ)上進(jìn)行了一系列改造，首先與YARN和Mesos系統(tǒng)類似，將資源的調(diào)度和任務(wù)調(diào)度分離，形成兩層架構(gòu)，使其具備以下優(yōu)勢：

　　規(guī)模：兩層架構(gòu)易于橫向擴(kuò)展，資源管理和調(diào)度模塊僅負(fù)責(zé)資源的整體分配，不負(fù)責(zé)具體任務(wù)調(diào)度，可以輕松擴(kuò)展集群節(jié)點(diǎn)規(guī)模；

　　容錯(cuò)：當(dāng)某個(gè)任務(wù)運(yùn)行失敗不會(huì)影響其他任務(wù)的執(zhí)行；同時(shí)資源調(diào)度失敗也不影響任務(wù)調(diào)度；

　　擴(kuò)展性：不同的計(jì)算任務(wù)可以采用不同的參數(shù)配置和調(diào)度策略，同時(shí)支持資源搶占；

　　調(diào)度效率：計(jì)算framework決定資源的生命周期，可以復(fù)用資源，提高資源交互效率。

　　這套系統(tǒng)目前已經(jīng)在阿里集團(tuán)進(jìn)行了大范圍的應(yīng)用，能支持單集群5000節(jié)點(diǎn)、并發(fā)運(yùn)行10000作業(yè)、30分鐘完成100T數(shù)據(jù)terasort，性能是Yahoo在Sort Benchmark的世界紀(jì)錄的兩倍。

　　伏羲的系統(tǒng)架構(gòu)

　　伏羲的系統(tǒng)架構(gòu)如圖1所示，整個(gè)集群包括一臺Fuxi Master以及多臺Tubo。其中Fuxi Master是集群的中控角色，負(fù)責(zé)資源的管理和調(diào)度；Tubo是每臺機(jī)器上都有的一個(gè)Agent，負(fù)責(zé)管理本臺機(jī)器上的用戶進(jìn)程；同時(shí)集群中還有一個(gè)叫Package Manager的角色，因?yàn)橛脩舻目蓤?zhí)行程序以及一些配置需要事先打成一個(gè)壓縮包并上傳到Package Manager上，Package Manager專門負(fù)責(zé)集群中包的分發(fā)。

　　圖1 伏羲的系統(tǒng)架構(gòu)

　　集群部署完后，用戶通過Client端的工具向Fuxi Master提交計(jì)算任務(wù)；Fuxi Master接收到任務(wù)后首先通知某一個(gè)Tubo啟動(dòng)這個(gè)計(jì)算任務(wù)所對應(yīng)的APP Master；APP Master啟動(dòng)之后，它獲知了自己的計(jì)算任務(wù)，包括數(shù)據(jù)分布在哪里、有多少的任務(wù)需要計(jì)算等等信息；接著APP Master會(huì)向Fuxi Master提交資源申請，表明它需要多少計(jì)算資源；Fuxi Master經(jīng)過資源調(diào)度以后，將資源的分配結(jié)果下發(fā)給APP Master；APP Master在這個(gè)資源的基礎(chǔ)之上進(jìn)行它的任務(wù)調(diào)度，來決定哪些機(jī)器上運(yùn)行哪些計(jì)算任務(wù)，并且將這個(gè)計(jì)算任務(wù)發(fā)送給對應(yīng)機(jī)器上的Tubo進(jìn)程；Tubo接受到命令之后就會(huì)從Package Manager中下載對應(yīng)的可執(zhí)行程序并解壓；然后啟動(dòng)用戶的可執(zhí)行程序，加載用戶的配置（圖1中的APP Worker）；APP Worker根據(jù)配置中的信息讀取文件存儲系統(tǒng)中的數(shù)據(jù)，然后進(jìn)行計(jì)算并且將計(jì)算結(jié)果發(fā)往下一個(gè)APP Worker。其中，數(shù)據(jù)的切片稱之為Instance或者叫計(jì)算實(shí)例。

　　Fuxi Master與Tubo這套結(jié)構(gòu)解決了分布式調(diào)度中的資源調(diào)度，每個(gè)計(jì)算任務(wù)的APP Master以及一組APP Worker組合起來解決任務(wù)調(diào)度的問題。

　　任務(wù)調(diào)度

　　伏羲在進(jìn)行任務(wù)調(diào)度時(shí)，主要涉及兩個(gè)角色：計(jì)算框架所需的APP Master以及若干個(gè)APP Worker。

相關(guān)電子資料下載