Jim哥2007年加入VMware中國，經歷了整個企業級市場從服務器虛擬化、私有云、公有云、容器云、混合云到云原生蓬勃發展的過程，也見證了從軟件定義的計算存儲、網絡到軟件定義一切的概念延伸。2021年Jim哥加入趨動科技，投身到軟件定義AI算力的這一波浪潮中。本文不打算說概念和邏輯，而是嘗試通過五大實際客戶場景來看看如何通過軟件定義的方法來對AI算力做優化，解決痛點問題，供各位老板們參考。

GPU服務器相對CPU服務器來說是非常昂貴的，大約是美金和人民幣匯率的差距（以8卡GPU服務器為例），而且在芯片緊缺的年代，GPU到貨周期還比較長！面對資源昂貴、算力又是AI的發動機、AI業務又必須開展之間的矛盾，如何更好的利用和管理GPU資源就變得尤其關鍵。下面一起來看看這五大典型場景。

01.?AI開發測試

大多數的客戶采取的是為一個開發者分配一塊或幾塊GPU卡的方式來滿足開發調試的需求。這種情況下存在什么問題？卡和人綁定，卡分配之后，存在著較大的閑置，開發人員70%以上的時間都在讀論文、寫代碼，只有不到30%的時間在利用GPU資源進行運算調試。利用軟件定義GPU的技術，把卡和人解綁，當有任務調用GPU資源的時候才真正被占用，任務結束，資源釋放，回到資源池。 下圖是一個JupyterLab的開發場景，VSCode server/PyCharm的模式與這個類似，在實際的客戶案例里，使用軟件定義的GPU之后，資源能縮減至25%左右！50個人的開發團隊，16張卡搞定。

圖1: OrionX在AI開發中動態調用卡資源示例

02.?生產環境的AI推理業務

通過調查，絕大多數的用戶業務為了保證業務的隔離性，不受其它AI業務的干擾，保障服務的SLA，都是運行在獨立的GPU卡上。在這種情況下，GPU卡的算力和顯存使用往往不到20%，這樣造成了大量的資源浪費——近80%的算力和顯存其實是被白白消耗，而且還有與之相關的電費，運維費用。通過軟件定義的方式，提供細顆粒度的GPU資源復用單卡，保障業務運行的隔離性，可靠性和性能。大部分采取趨動科技池化方案上線生產業務的客戶，可獲得3倍以上的提升收益。

圖2: OrionX在生產環境中的單卡多業務復用示例

03.?晝夜復用

在前兩種場景中，不管是AI開發，還是AI線上推理，基本上都是白天比較繁忙，卡利用率相對較高。到了晚間，卡資源基本就處于閑置狀態，白白浪費！在一個證券客戶那里，我們嘗試著利用OrionX解決這個問題。通過軟件定義的方式，彈性的分配和調度資源，晚上利用卡資源進行訓練任務的運算，大大提升了閑時(夜間)資源利用率。

圖3: OrionX按需對卡進行晝夜復用示例

04.?CPU和GPU的資源配比

大多數的AI開發涉及到從數據準備，預處理，模型訓練，調參，部署模型，線上推理，持續監控，數據收集，迭代優化的過程。在整個業務流程中，有些工作是需要大量CPU，不需要GPU資源的，在CPU運算的時候，其實GPU是閑置的；在一個自動駕駛客戶那里，我們看到在仿真場景下，一個8卡的GPU的服務器，在CPU耗盡（占用100%）的情況下，最多只能使用到其中的3塊GPU卡，剩下的5張GPU卡處在閑置狀態，無法被充分利用。同樣的道理，也可能存在GPU卡在大量占用，CPU資源被閑置的情況。通過利用軟件定義的AI算力，將CPU和GPU解耦，一舉解決CPU/GPU資源不匹配的問題。

圖4: OrionX優化CPU和GPU資源配比示例

05.?顯存超分

這是我們在一個金融客戶那里遇到的真實案例，我們看到一個大數據AI分析流程，運行在1張16G顯存的T4卡上，其需要占用大約20%的算力，12Gb的顯存，服務常駐用在處理保單的識別和分析。在這種情況下，該卡剩余的80%算力，4Gb（25%）的顯存處在閑置狀態，無法被使用，成了資源碎片。 要想利用資源碎片，一種思路是找到適合碎片的算力任務也運行到這張卡（未必好找）。運用軟件定義的虛擬顯存的技術，使用部分內存來補足顯存，讓兩個任務同時運行在這張卡上。資源不變，通量達到1.8倍！ 你可能還會想到，如果在跑一個訓練任務的時候，模型所需的物理顯存不夠，是不是也可以用內存來補足加載？是的。可以加載運行，但是要付出一定的性能損耗。此方案在必須改模型或要采購大顯存物理卡之外，又提供了一種可能的選擇。

圖5: OrionX顯存超分提升資源利用率示例

以上利用軟件定義GPU的方法來優化AI算力的五大場景，只是我們看到的冰山一角。軟件定義GPU所能帶來的業務價值，還有待于企業客戶在各個領域的不停探索。 除此之外，不得不提一下此項技術額外的Bonus，降低碳排放，保護地球家園！

圖6: OrionX關鍵效能指標收益對比示例 最后，做個小結。軟件定義的核心是通過軟件定義的方法，將各種硬件（CPU、內存、磁盤、I/0等）變成可以動態管理的“資源池”，從而提升資源的利用率，簡化系統管理，實現資源整合，讓IT對業務的變化更具適應力。 軟件定義的AI算力，一方面可以把一顆物理加速芯片（GPU或ASIC）變成幾個或幾十個互相隔離的小的計算單元，也可以把分布在不同物理服務器上的加速芯片聚合給一個操作系統（物理機/虛擬機）或容器，完成分布式任務。此外，沒有加速芯片（GPU或ASIC）的CPU服務器也可以調用遠程服務器上的加速卡(GPU或ASIC)完成AI運算，實現CPU與GPU設備的解耦。軟件定義實質是通過軟件的方法提供更有彈性的硬件。

編輯：黃飛