Caelus是一套 Kubernetes 解決方案，通過運行額外的批處理作業來重新利用節點的閑置資源，這些資源來自于在線作業的利用率不足，尤其是在低流量時期。為了使批處理作業與在線作業兼容，caelus 動態地管理多種資源隔離機制，同時檢查各種指標的異常情況。如果檢測到干擾，批處理作業將被限制甚至終止。

特性：

• 收集各種指標，包括節點資源、cgroup 資源和在線作業延遲

• 批處理作業可以在 YARN 或 Kubernetes 上運行

• 預測節點的總資源使用情況，包括在線作業和內核模塊，例如slab

• 動態管理CPU、內存、磁盤空間等多種資源隔離機制

• 動態檢查各種指標的異常，例如CPU使用率或在線作業延遲

• 當檢測到資源壓力或延遲峰值時限制甚至終止批處理作業

• 支持 Prometheus 指標

• 支持報警

Caelus為了適應各種的混部場景，遵循了幾個關鍵原則，主要包括：

• 不改變業務使用方式，便于業務遷移到Caelus混部平臺。比如大數據任務仍然可以使用原有的方式提交job，如果原來是Yarn，Caelus實現了Yarn on k8s。如果大數據已經是on k8s的方式，也可以更方便的使用統一調度；
• 對基礎生態零入侵。不論是對hadoop，還是對k8s，都是零入侵的實現，因此保證了對多種版本的兼容性，以及后續的可擴展性；
• 非耦合、可擴展的架構。在實現時，充分兼顧了未來的可擴展性，大多功能都是以插件的形式實現。