2025年,隨著DeepSeek等AI大模型的火爆,DAU增長速度不斷刷新行業記錄。然而,另一方面,海量并發用戶請求訪問激增,服務器資源被迅速耗盡,多次出現網頁和API無法訪問的情況。同時,AI大模型的火爆也吸引攻擊者使用多種技術和手段持續攻擊。上述問題暴露了AI大模型規模應用面臨的三大挑戰:AI推理基礎設施能力不足、AI推理網絡架構及技術待完善、AI服務網絡安全防護能力待提升。
近日,在中國云網智聯大會期間,中國移動研究院攜手華為及產業合作伙伴,重磅發布了《分布式推理網絡(Distributed Inference Network,DIN)技術白皮書》,聚焦AI發展面臨的挑戰,定義了分布式推理網絡的目標架構,結合分布式計算、邊緣智能和動態調度技術,加速普惠AI發展進入“推理時刻”。
白皮書從AI模型發展趨勢、推理服務網絡需求、分布式推理架構及關鍵技術等方面進行了闡述,重點闡述了分布式推理網絡采用可擴展分布架構,綜合運用多種關鍵技術實現端、邊、網、算的有效協同,提供差異化、高安全、高并發、高頻次的網絡連接服務保障。
關鍵技術一: 節點間互聯質量保障技術
為滿足推理業務的低時延、高可靠、大帶寬等需求,邊緣推理設備如新一代AI路由器及智能單板等,基于AI進行應用精準識別,根據AI推理呈現應用級QoE,按照業務需要實現路徑調優或精準擴容,實現應用級差異化、確定性的體驗保障。同時,分布式推理業務催生了海量數據高效傳輸需求,這對廣域網絡提出了“零丟包”和“極低抖動”的雙重挑戰,彈性無損、流級流控等關鍵技術實時感知網絡擁塞狀況,基于精準流控反壓、層次化細粒度切片實現網絡無損和微秒級抖動等極致性能。
關鍵技術二: 推理服務的調度技術
模型調度是DIN的主要功能之一,旨在根據用戶需求、設備性能、網絡狀態等多重因素,按需動態生成業務調度策略,將業務沿最佳路徑調度到目的推理服務節點。通過高效的模型調度,DIN能夠在復雜多變的環境中實現資源的智能分配,為用戶提供低延遲、高可用的AI服務,同時降低運營成本。
關鍵技術三: 模型推理安全防護技術
DIN利用嵌入AI技術,具備入侵檢測和防御能力,與安全平臺協同,做到惡意流量快速感知、自動阻斷;通過以太網相干PHYSec技術對模型分發、KV Cache等數據實現低時延、零開銷的物理層比特流安全加密,防止百公里鏈路傳遞過程中被中間節點竊取或篡改。
展望未來,華為積極配合中國移動實現分布式推理網絡的演進和部署,通過華為AI WAN解決方案優勢,助力中國移動構建融合端、邊、網、算的DIN技術體系和標準體系,解決大模型在個人、家庭及企業應用中的成本、效率與場景適配難題,加速AI普惠化發展,引領邁向全面智能社會。
-
華為
+關注
關注
218文章
36003瀏覽量
262090 -
網絡
+關注
關注
14文章
8265瀏覽量
94719 -
中國移動
+關注
關注
22文章
5714瀏覽量
78094
原文標題:AI WAN@517 電信日 | 中國移動攜手華為等推出分布式推理網絡技術,加速普惠AI進入“推理時刻”
文章出處:【微信號:Huawei_Fixed,微信公眾號:華為數據通信】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
華為在MWC 2026聯合發布高品質萬兆AI園區建網技術白皮書
華為聯合發布基于智能體的校園自智網絡技術白皮書
華為聯合發布園區自智網絡技術白皮書
中國移動攜手華為等產業伙伴推出智簡天線能力演進白皮書
華為聯合推出礦山場景智能微網解決方案技術白皮書
奇異摩爾助力OISA全向智感互聯IO芯粒技術白皮書發布
中國移動攜手華為發布分布式推理網絡技術白皮書
評論