電子發(fā)燒友網(wǎng)綜合報(bào)道 在當(dāng)前人工智能（AI）領(lǐng)域，算力資源的高效利用已成為各大科技公司爭相追逐的目標(biāo)。近日，阿里云提出的創(chuàng)新計(jì)算池化解決方案“Aegaeon”成功入選頂級學(xué)術(shù)會(huì)議SOSP2025。



SOSP（操作系統(tǒng)原理研討會(huì)）是由ACM SIGOPS主辦的計(jì)算機(jī)系統(tǒng)領(lǐng)域頂級學(xué)術(shù)會(huì)議，每年僅收錄數(shù)十篇論文，被譽(yù)為計(jì)算機(jī)操作系統(tǒng)領(lǐng)域的“奧斯卡”。

在過去的幾個(gè)月里，阿里云對Aegaeon系統(tǒng)進(jìn)行了為期超過三個(gè)月的Beta測試，結(jié)果顯示，該系統(tǒng)在服務(wù)參數(shù)量高達(dá)720億的大型AI模型時(shí)，所需的英偉達(dá)H20 GPU數(shù)量從1192個(gè)減少至213個(gè)，削減比例高達(dá)82%。

這一顯著的減少不僅意味著阿里云可以大幅降低硬件采購成本，更是為那些依賴成千上萬張GPU進(jìn)行模型服務(wù)的大型企業(yè)提供了寶貴的經(jīng)驗(yàn)與借鑒。以服務(wù)數(shù)十個(gè)720億參數(shù)大模型為例，原本需要1192張GPU才能完成的任務(wù)，現(xiàn)在僅需213張即可勝任，硬件成本銳減超80%。

通過數(shù)據(jù)分析，阿里云發(fā)現(xiàn)，現(xiàn)有模型市場中，少數(shù)熱門模型（例如阿里的Qwen）承載了絕大多數(shù)用戶請求，而大量不常被調(diào)用的“長尾”模型卻各自占用大量GPU資源。數(shù)據(jù)顯示，曾有17.7%的GPU算力僅用于處理1.35%的請求，資源閑置現(xiàn)象相當(dāng)嚴(yán)重。

Aegaeon系統(tǒng)通過GPU資源池化的方式，打破了傳統(tǒng)“一個(gè)模型綁定一個(gè)GPU”的低效模式，實(shí)現(xiàn)了更高效的資源配置。具體而言，Aegaeon將多個(gè)GPU的計(jì)算、內(nèi)存等抽象成一個(gè)資源池，按需分配給不同的任務(wù)，避免了單個(gè)任務(wù)獨(dú)占資源導(dǎo)致的閑置。

Aegaeon系統(tǒng)的核心創(chuàng)新點(diǎn)在于Token級調(diào)度。該系統(tǒng)的多模型混合服務(wù)功能能夠在每次生成下一個(gè)token時(shí)動(dòng)態(tài)決定是否切換模型，從而實(shí)現(xiàn)精細(xì)化管理。通過組件復(fù)用、顯存精細(xì)化管理以及KV緩存同步優(yōu)化等全棧技術(shù)，Aegaeon將模型切換的開銷降低了97%。

這一技術(shù)確保了token級調(diào)度的實(shí)時(shí)性，使得模型切換響應(yīng)時(shí)間可支持亞秒級的快速反應(yīng)。據(jù)介紹，Aegaeon系統(tǒng)支持單個(gè)GPU同時(shí)服務(wù)多達(dá)7個(gè)不同模型，相比于現(xiàn)有主流方案，其有效吞吐量提升了1.5至9倍，處理能力提高了2至2.5倍。

Aegaeon的落地將推動(dòng)算力租賃行業(yè)從“按卡計(jì)費(fèi)”轉(zhuǎn)向“按實(shí)際使用量計(jì)費(fèi)”，企業(yè)可通過彈性調(diào)度降低閑置成本。據(jù)測算，采用該技術(shù)的云服務(wù)商可將算力租賃價(jià)格降低40%-60%，加速AI普惠化。

隨著AI技術(shù)的不斷進(jìn)步，對算力的需求將持續(xù)增長。GPU資源的高效利用，是實(shí)現(xiàn)AI規(guī)模化應(yīng)用的關(guān)鍵。阿里云的Aegaeon方案，為AI算力效率提升提供了新的思路和解決方案，未來有望在更多云計(jì)算平臺和AI應(yīng)用場景中得到推廣和應(yīng)用。