11月21日,2025AI容器應(yīng)用落地與發(fā)展論壇在上海舉行。華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士在論壇上正式發(fā)布AI容器技術(shù)——Flex:ai,同時,華為聯(lián)合上海交通大學(xué)、西安交通大學(xué)與廈門大學(xué)共同宣布,將此項產(chǎn)學(xué)合作成果向外界開源,助力破解算力資源利用難題。
當(dāng)前,AI產(chǎn)業(yè)高速發(fā)展催生海量算力需求,但全球算力資源利用率偏低的問題日益凸顯,“算力資源浪費”成為產(chǎn)業(yè)發(fā)展的關(guān)鍵桎梏:小模型任務(wù)獨占整卡導(dǎo)致資源閑置,大模型任務(wù)單機(jī)算力不足難以支撐,大量缺乏GPU/NPU的通用服務(wù)器更是處于算力“休眠”狀態(tài),供需錯配造成嚴(yán)重的資源浪費。
本次發(fā)布并開源的Flex:aiXPU池化與調(diào)度軟件,是基于Kubernetes容器編排平臺構(gòu)建,通過對GPU、NPU等智能算力資源的精細(xì)化管理與智能調(diào)度,實現(xiàn)AI工作負(fù)載與算力資源的精準(zhǔn)匹配,可大幅提升算力利用率。該技術(shù)深度融合了三大高校與華為的科研力量,形成三大核心技術(shù)突破:
|算力資源切分,一卡變多卡,服務(wù)多個AI工作負(fù)載
針對AI小模型訓(xùn)推場景中“一張卡跑一個任務(wù)”的資源浪費問題,華為與上海交通大學(xué)聯(lián)合研發(fā)XPU池化框架,可將單張GPU或NPU算力卡切分為多份虛擬算力單元,切分粒度精準(zhǔn)至10%。這一技術(shù)實現(xiàn)了單卡同時承載多個AI工作負(fù)載,且通過彈性靈活的資源隔離技術(shù),可實現(xiàn)算力單元的按需切分,“用多少,切多少”,使此類場景下的整體算力平均利用率提升30%,提高單卡服務(wù)能力。
|跨節(jié)點算力資源聚合,充分利用空閑算力
針對大量通用服務(wù)器因缺乏智能計算單元而無法服務(wù)于AI工作負(fù)載的問題,華為與廈門大學(xué)聯(lián)合研發(fā)跨節(jié)點拉遠(yuǎn)虛擬化技術(shù)。該技術(shù)將集群內(nèi)各節(jié)點的空閑XPU算力聚合形成“共享算力池”,一方面為高算力需求的AI工作負(fù)載提供充足資源支撐;另一方面,可讓不具備智能計算能力的通用服務(wù)器通過高速網(wǎng)絡(luò),將AI工作負(fù)載轉(zhuǎn)發(fā)到遠(yuǎn)端“資源池”中的GPU/NPU算力卡中執(zhí)行,從而促進(jìn)通用算力與智能算力資源融合。
|多級智能調(diào)度,實現(xiàn)AI工作負(fù)載與算力資源的精準(zhǔn)匹配
面對算力集群中多品牌、多規(guī)格異構(gòu)算力資源難以統(tǒng)一調(diào)度的痛點,華為與西安交通大學(xué)共同打造Hi Scheduler智能調(diào)度器。該調(diào)度器可自動感知集群負(fù)載與資源狀態(tài),結(jié)合AI工作負(fù)載的優(yōu)先級、算力需求等多維參數(shù),對本地及遠(yuǎn)端的虛擬化GPU、NPU資源進(jìn)行全局最優(yōu)調(diào)度,實現(xiàn)AI工作負(fù)載分時復(fù)用資源。即便在負(fù)載頻繁波動的場景下,也能保障AI工作負(fù)載的平穩(wěn)運(yùn)行,讓每一份算力都“物盡其用”。
Flex:ai的全面開源開放將向產(chǎn)學(xué)研各界開發(fā)者開放所有核心技術(shù)能力。通過匯聚全球創(chuàng)新力量,共同推動異構(gòu)算力虛擬化與AI應(yīng)用平臺對接的標(biāo)準(zhǔn)構(gòu)建,形成算力高效利用的標(biāo)準(zhǔn)化解決方案,為全球AI產(chǎn)業(yè)的高質(zhì)量發(fā)展注入強(qiáng)勁動能。
-
華為
+關(guān)注
關(guān)注
218文章
36003瀏覽量
262078 -
AI
+關(guān)注
關(guān)注
91文章
39755瀏覽量
301350 -
開源
+關(guān)注
關(guān)注
3文章
4203瀏覽量
46122
原文標(biāo)題:算力利用效率躍升,華為聯(lián)合三大高校發(fā)布并開源AI容器技術(shù)Flex:ai
文章出處:【微信號:huaweicorp,微信公眾號:華為】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
華為攜手中國聯(lián)通舉辦Mobile AI智聯(lián)上行創(chuàng)新發(fā)布會
華為發(fā)布AI容器技術(shù)Flex:ai,算力平均利用率提升30%
融合AI的OpenHarmony應(yīng)用軟件開發(fā):ai學(xué)習(xí)自律輔助軟件
NVIDIA推出面向語言、機(jī)器人和生物學(xué)的全新開源AI技術(shù)
華為發(fā)布星河AI園區(qū)全域安全解決方案
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片的需求和挑戰(zhàn)
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+內(nèi)容總覽
今日看點丨華為發(fā)布AI推理創(chuàng)新技術(shù)UCM;比亞迪汽車出口暴增130%
【書籍評測活動NO.64】AI芯片,從過去走向未來:《AI芯片:科技探索與AGI愿景》
AI應(yīng)用創(chuàng)新與全棧技術(shù)融合分論壇即將召開
軟通動力攜手華為云發(fā)布AI應(yīng)用創(chuàng)新領(lǐng)航計劃
首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計算與嵌入式開發(fā)
擁抱AI時代:華為云泰國發(fā)布全新云服務(wù)系列,加速企業(yè)邁向AI原生架構(gòu)
華為發(fā)布并開源創(chuàng)新AI容器技術(shù)Flex:ai
評論