麻省理工學院研究人員開發的一種新型系統自動“學習”如何在數千臺服務器上安排數據處理操作 - 這項任務傳統上用于不精確的，人為設計的算法。這樣做可以幫助當今耗電量大的數據中心更有效地運行。

數據中心可以包含數萬臺服務器，這些服務器不斷地從開發人員和用戶運行數據處理任務。群集調度算法實時地在服務器之間分配傳入任務，以有效地利用所有可用的計算資源并快速完成工作。

然而，傳統上，人類根據一些基本指南（“政策”）和各種權衡來微調那些調度算法。例如，他們可以對算法進行編碼以快速完成某些工作，或者在工作之間平均分配資源。但工作負載 - 意味著組合任務的組合 - 具有各種規模。因此，人們幾乎不可能針對特定工作負載優化其調度算法，因此，他們往往無法實現真正的效率潛力。

麻省理工學院的研究人員將所有手動編碼卸載到機器上。在SIGCOMM上發表的一篇論文中，他們描述了一個系統，該系統利用“強化學習”（RL），一種反復試驗的機器學習技術，來定制特定服務器集群中特定工作負載的調度決策。

為此，他們構建了可以訓練復雜工作負載的新型RL技術。在培訓中，系統嘗試了許多可能的方式來跨服務器分配傳入工作負載，最終在利用計算資源和快速處理速度方面找到最佳權衡。除了簡單的指令，例如“最小化工作完成時間”之外，不需要人為干預。

與最好的手寫調度算法相比，研究人員的系統可以在高流量時間內快速完成約20％到30％的工作，并且速度提高一倍。然而，大多數情況下，系統會學習如何有效地壓縮工作負載以減少浪費。結果表明，該系統可以使數據中心使用更少的資源以更高的速度處理相同的工作負載。

“如果你有辦法使用機器進行試驗和錯誤，他們可以嘗試不同的方式來安排工作并自動找出哪種策略比其他人更好，”電子工程與計算機科學系博士生Hongzi Mao說。 （EECS）。“這可以自動提高系統性能。利用率的任何微小改進，甚至1％，都可以為數據中心節省數百萬美元和大量能源。“

“制定調度決策并不是萬能的，”EECS教授兼計算機科學與人工智能實驗室研究員（CSAIL）的合著者Mohammad Alizadeh補充說。“在現有系統中，這些是您必須事先決定的硬編碼參數。我們的系統學會根據數據中心和工作量來調整其計劃策略特征。“

來源：新天域互聯