第22屆中國計算機大會(CNCC2025)在“冰城”哈爾濱盛大啟幕,主題為“數智賦能,無限可能”。華為數據通信產品線研究部部長鄭曉龍在大會上發表題為《大模型推理加速與演進:網絡如何破局?》的演講,首次提出“網絡+”破局模型,為十萬卡智算集群面臨的通信瓶頸提供了創新方案。他指出,在單卡算力提升日益趨緩的背景下,唯有通過網絡、計算與存儲的跨層協同,才能將集群效率推向全新量級。
為支持十萬卡智算集群的規模化部署與高效運行,華為提出“網絡+”破局模型,旨在系統化解決超大規模集群中的通信瓶頸問題。該主題演講涵蓋架構設計、協議優化與調度策略等多個層面,為構建下一代智算基礎設施提供完整技術路徑。
網絡級負載均衡,應對大EP部署帶來的動態通信模式挑戰,性能提升20%+。
DeepSeek的出現,將大模型架構引向了更稀疏的大EP部署。隨之而來的是通信模式及通信關系的變化。面對通信的隨機性和非對稱性,華為提出的網絡級負載均衡,將通信性能提升20%+,顯著降低P99完成時間。
從Chat LLM進入Agentic AI,“超節點”助力實現極致的TPOT需求
大模型應用從聊天式的Chat LLM向Agentic AI演進,對于token生成速度的要求從50ms提升到了10ms以下。這在當前的部署實踐中,存在多個挑戰:推理階段以小消息通信為主,控制面時延占比高;單純卸載控制面,則會消耗計算資源SM。華為推出了CloudMatrix384超節點及對應的超節點網絡,為滿足極致的TPOT需求提供了可能。
多模態LMM流量混戰,網絡調度“四兩撥千斤”,提升推理性能
大模型從語言文本的處理向多模態轉變,智算集群內的流量模式也更加復雜。采用EPD分離的部署方式,引入EP和PD之間的傳輸流量,與推理的all2allv等集合通信流量相互干擾,對應用性能產生很大影響。華為提出了針對不同流量類型進行網絡識別、隔離不同推理流量、進行差異化調度、提升推理性能的技術目標。
“網絡+”不是簡單的帶寬升級,而是讓網絡成為AI集群的‘第七代算力’。”鄭曉龍最后呼吁,華為愿與業界共建標準,與合作伙伴及行業組織一起,共同定義大模型時代的下一代智算網絡接口。
-
華為
+關注
關注
218文章
36003瀏覽量
262083 -
數據通信
+關注
關注
2文章
526瀏覽量
35090 -
大模型
+關注
關注
2文章
3648瀏覽量
5179
原文標題:活動速遞 | 華為“網絡+”破局模型:開啟大模型推理加速的下一站
文章出處:【微信號:Huawei_Fixed,微信公眾號:華為數據通信】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
華為劉智出席MWC 2026并發表主題演講
上能電氣受邀出席2025海上光伏大會并發表精彩演講
華為陳實出席AfricaCom 2025并發表主題演講
華為宋曉迪出席AfricaCom 2025并發表主題演講
華為白小飛受邀出席CNCC 2025并發表主題演講
華為林偉亮相NetworkX 2025并發表主題演講
華為馬鵬亮相NetworkX 2025并發表主題演講
東軟集團出席IAA MOBILITY 2025并發表主題演講
華為徐直軍出席2025鴻蒙生態大會并發表主旨演講
時擎科技受邀亮相無錫先進封裝產業發展高峰論壇并發表主題演講
華為鄭曉龍受邀出席CNCC 2025并發表主題演講
評論