過去十多年，云基礎(chǔ)設(shè)施通過“抽象化”實現(xiàn)擴(kuò)展，借助標(biāo)準(zhǔn)化服務(wù)器、虛擬化資源及軟件層，有效彌合了硬件層面的差異。這種模式之所以行之有效，是因為部分工作負(fù)載能夠容忍一定程度的低效。然而，人工智能 (AI) 工作負(fù)載無法容忍低效，也因此暴露出了傳統(tǒng)架構(gòu)在供電、散熱、算力密度、內(nèi)存帶寬及系統(tǒng)整體性能方面的短板。

本質(zhì)上，AI 重新定義了“優(yōu)秀”基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)。相應(yīng)地，平臺設(shè)計的重心也從注重單一的芯片或服務(wù)器，轉(zhuǎn)向了打造機(jī)架級、可擴(kuò)展的系統(tǒng)，在功耗和預(yù)算有限的前提下，實現(xiàn)高效擴(kuò)展。而這一轉(zhuǎn)變背后的原因在于，推理與智能體 AI 工作負(fù)載持續(xù)增長且不間斷運行，對高密度、全天候在線的算力需求正快速提升。

Futurum 在《Arm 處于 AI 和數(shù)據(jù)中心變革的中心》報告中，把這一轉(zhuǎn)變稱為邁向“系統(tǒng)級協(xié)同”。設(shè)計的關(guān)鍵不再是堆多少算力，而是平臺能不能有效地把加速器、CPU、內(nèi)存、網(wǎng)絡(luò)和軟件協(xié)同起來。

正因如此，業(yè)界正加速邁向定制化機(jī)架級系統(tǒng)設(shè)計：即圍繞 AI 負(fù)載特性、功耗波動和持續(xù)利用率來進(jìn)行端到端設(shè)計的平臺。越來越多的架構(gòu)師開始重新思考計算底層設(shè)計，選擇基于 Arm 架構(gòu)來解決現(xiàn)代 AI 平臺面臨的多重約束。

AI 促使行業(yè)重構(gòu)：轉(zhuǎn)向定制化機(jī)架級系統(tǒng)

這一轉(zhuǎn)變的核心原因，并非通用型標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施無法承載 AI，而是碎片化的系統(tǒng)設(shè)計，在 AI 規(guī)模化部署時，終將轉(zhuǎn)化為真實可感的成本代價。

AI 工作負(fù)載在計算、內(nèi)存、網(wǎng)絡(luò)、存儲及軟件各環(huán)節(jié)緊密耦合。CPU 拖后腿，昂貴的加速器就會空等；功耗和散熱波動，利用率就會下滑；數(shù)據(jù)管道、調(diào)度、編排未能針對平臺調(diào)優(yōu)，吞吐量就不可預(yù)測。峰值性能依然重要，但穩(wěn)定性、每瓦性能和系統(tǒng)整體平衡性更關(guān)鍵。

Futurum 指出，超大規(guī)模云服務(wù)提供商正進(jìn)行結(jié)構(gòu)性調(diào)整，旨在實現(xiàn)算力的指數(shù)級增長，同時避免能耗的同步激增。Futurum 引用 Arm 的數(shù)據(jù)指出，到 2025 年末，出貨到頭部超大規(guī)模云服務(wù)提供商的算力中，有近 50% 是基于 Arm 架構(gòu)。

架構(gòu)師現(xiàn)在不再只看紙面跑分，而是更關(guān)心 AI 平臺在實際應(yīng)用中能否長期可靠地運行智能體 AI 和連續(xù)推理工作負(fù)載，比如：

長時間高負(fù)載下，系統(tǒng)表現(xiàn)如何？

在實際環(huán)境中，功耗限制和散熱條件如何影響性能曲線？

在機(jī)架級系統(tǒng)中，計算層如何確保加速器能持續(xù)獲得穩(wěn)定的數(shù)據(jù)供給，而非僅停留在紙面參數(shù)上？

當(dāng)能效、可擴(kuò)展性與系統(tǒng)平衡性成為首要原則時，重新審視 CPU 底層架構(gòu)就成了必然。也正因為此，Arm 憑借領(lǐng)先的架構(gòu)和完善的生態(tài)，正是這場行業(yè)變革的核心所在。

在數(shù)據(jù)中心領(lǐng)域，Arm Neoverse 平臺是推動這一轉(zhuǎn)型的核心引擎。亞馬遜云科技、Google、微軟、NVIDIA 等頭部超大規(guī)模云服務(wù)提供商與 AI 領(lǐng)軍企業(yè)，都在基于 Arm 架構(gòu)或采用 Arm 計算平臺進(jìn)行產(chǎn)品研發(fā)。Arm 的模式既能支持定制化系統(tǒng)設(shè)計，又能保持跨平臺、跨生態(tài)、跨軟件的一致性。對于想要構(gòu)建高集成度平臺、又不愿被單一技術(shù)路徑綁定的團(tuán)隊而言，這種靈活性至關(guān)重要。

智能體 AI 與持續(xù)推理，

重塑規(guī)模化算力的經(jīng)濟(jì)邏輯

隨著 AI 與通用計算工作負(fù)載的融合，AI 工作負(fù)載正在發(fā)生變化，基礎(chǔ)設(shè)施也需隨之調(diào)整，以支持多樣化的工作負(fù)載特性。

行業(yè)重心正在轉(zhuǎn)向智能體 AI，而智能體 AI 本質(zhì)上就是一個連續(xù)推理系統(tǒng)。智能體并不是簡單地給出一個答案， 而是會規(guī)劃、調(diào)用工具、檢索數(shù)據(jù)、驗證結(jié)果，如此循環(huán)往復(fù)。由此便形成了連續(xù)推理模式：穩(wěn)定不間斷的詞元 (token) 生成任務(wù)，請求類型趨于多元化，圍繞加速器的編排和數(shù)據(jù)遷移任務(wù)變得更繁重。

在智能體 AI 里，CPU 不再是配角， 而是整個 AI 系統(tǒng)的控制中樞。CPU 負(fù)責(zé)協(xié)調(diào)控制、調(diào)度任務(wù)、管理 IO、處理網(wǎng)絡(luò)與存儲服務(wù)、執(zhí)行安全策略，并在模型、上下文及工具鏈不斷演進(jìn)的過程中，維持整個系統(tǒng)的平衡。

以承載大語言模型 (LLM) 的服務(wù)為例，它可能同時處理成百上千的并發(fā)請求。就算加速器負(fù)責(zé)核心計算，CPU 也要承擔(dān)請求權(quán)限控制、分詞和預(yù)處理、批處理和隊列調(diào)度、數(shù)據(jù)遷移編排，以及針對模型權(quán)重與 KV 緩存的數(shù)據(jù)路徑協(xié)調(diào)等。到了智能體工作流，CPU 的工作負(fù)擔(dān)進(jìn)一步擴(kuò)展，還要承擔(dān)工具調(diào)用、檢索流程、結(jié)構(gòu)化輸出驗證、多步調(diào)度等持續(xù)運行的任務(wù)。

這一切都表明，CPU的重要性遠(yuǎn)超許多團(tuán)隊的預(yù)期。如果 CPU 跟不上編排節(jié)奏，數(shù)據(jù)遷移、處理流程和加速器都會被“卡住”，面臨結(jié)構(gòu)性的閑置風(fēng)險。

融合型 AI 數(shù)據(jù)中心的建設(shè)，彰顯了 Arm 架構(gòu)的強(qiáng)勁勢頭

Arm 的發(fā)展勢頭正在加快。在業(yè)內(nèi)領(lǐng)先的集成式 AI 系統(tǒng)中，基于 Neoverse 平臺的 CPU 被廣泛用于智能體推理密集型系統(tǒng)的編排層，尤其適合追求高能效、可預(yù)測擴(kuò)展能力和大規(guī)模部署的應(yīng)用場景。

獨立測試也印證了現(xiàn)代 CPU 基礎(chǔ)平臺在“AI 相關(guān)”工作負(fù)載中的價值。Futurum 旗下 Signal65 的獨立基準(zhǔn)測試對比了基于 Arm Neoverse 平臺的 Amazon Graviton4 與同級的 AMD 和 Intel EC2 實例，結(jié)果顯示：在生成式 AI (Llama-3.1-8B)、數(shù)據(jù)庫 (Redis)、機(jī)器學(xué)習(xí) (XGBoost)、網(wǎng)絡(luò) (Nginx) 等測試的各種工作負(fù)載中，基于 Neoverse 平臺的 Graviton4 在性能和性價比方面大幅領(lǐng)先。

測試結(jié)果直接反映了智能體 AI 數(shù)據(jù)中心的現(xiàn)狀：LLM、檢索層、緩存、Web/API、傳統(tǒng)機(jī)器學(xué)習(xí)等全都處于智能體系統(tǒng)的關(guān)鍵路徑上，只有當(dāng) CPU 兼具速度與能效時，整體才能更好地擴(kuò)展。

最新的機(jī)架級 AI 系統(tǒng)在架構(gòu)設(shè)計上，均采用定制化加速器層以及基于 Arm 架構(gòu)的 CPU 層的組合，由后者承擔(dān)調(diào)度編排、數(shù)據(jù)遷移與智能體推理預(yù)處理等關(guān)鍵任務(wù)。NVIDIA Grace Hopper、Grace Blackwell 等系列產(chǎn)品，將 NVIDIA GPU 與基于 Neoverse 架構(gòu)的 Grace CPU 深度融合。而其最新機(jī)架級平臺 Vera Rubin NVL72，更是在系統(tǒng)內(nèi)集成 72 顆 Rubin GPU 與 36 顆基于 Arm 架構(gòu)的 Vera CPU，專為交互式、深度推理型智能體 AI 優(yōu)化，顯著降低推理成本。

亞馬遜云科技也在走同樣的系統(tǒng)級路線：Amazon Trainium3 UltraServer 把 Trainium3 加速器芯片與 Graviton CPU 結(jié)合，強(qiáng)化了“融合型”設(shè)計理念：將加速器與定制的高性能、高能效 CPU 相匹配，以實現(xiàn)高效擴(kuò)展。

“提供更優(yōu)選擇”不再是偏好，而是硬性要求

AI 系統(tǒng)迭代太快，固定架構(gòu)已無法適配其發(fā)展節(jié)奏，因此為客戶提供更優(yōu)選擇已成為風(fēng)險管理的必要舉措。

系統(tǒng)架構(gòu)師想要的是：

平臺能適應(yīng)不同代的硬件、多樣的工作負(fù)載配置及各異的部署環(huán)境；

軟件可移植，以降低系統(tǒng)變更成本。

與此同時，系統(tǒng)架構(gòu)師希望避免因過度依賴單一廠商，而導(dǎo)致在模型組合變化、業(yè)務(wù)規(guī)模擴(kuò)張或新需求出現(xiàn)時陷入被動。在智能體時代尤其如此：推理形態(tài)不斷變化，上下文更長、工具調(diào)用更多、多模態(tài)輸入更頻繁、全天候工作負(fù)載更普遍，效率和平衡遠(yuǎn)比峰值跑分重要。

Arm 架構(gòu)在提升系統(tǒng)性能的同時，保持跨平臺一致性。Arm 架構(gòu)不僅引入了現(xiàn)代 AI 基礎(chǔ)設(shè)施所需的關(guān)鍵特性，而且擁有強(qiáng)大的軟件生態(tài)支持。Arm 計算子系統(tǒng) (CSS) 提供經(jīng)過驗證的基礎(chǔ)設(shè)施級模塊，既加速了芯片開發(fā)，又保留了合作伙伴間的差異化與選擇權(quán)。對于所有基于 Arm 架構(gòu)的平臺，一致性貫穿始終，云工作負(fù)載遷移至 Arm 平臺也極為便捷。同時，在軟件層面，Arm 生態(tài)助力團(tuán)隊在不同環(huán)境與平臺間擁有一致連貫的基礎(chǔ)，從而加速開發(fā)進(jìn)程，無需重寫所有代碼。

智能體 AI 經(jīng)濟(jì)重塑 CPU 選擇格局，Arm Neoverse 平臺成頭部廠商首選

系統(tǒng)架構(gòu)師之所以傾向于 Arm 平臺，因為它精準(zhǔn)匹配定制AI 系統(tǒng)的核心需求：能效、可擴(kuò)展性及每瓦性能。能效重要，因為功耗和預(yù)算是硬上限；系統(tǒng)平衡和 CPU 性能重要，因為加速器閑置成本極高；一致性重要，因為 AI 基礎(chǔ)設(shè)施變化快、跨環(huán)境部署日益增多。

在融合型智能體 AI 數(shù)據(jù)中心里，面對持續(xù)推理的應(yīng)用需求，上述優(yōu)先事項變成了上線即需滿足的硬性指標(biāo)。智能體系統(tǒng)不只需要能生成詞元的加速器，更需要以 CPU 為核心的編排能力，在網(wǎng)絡(luò)、存儲、調(diào)度、安全層面，持續(xù)、高效、大規(guī)模地把資源利用起來。

Arm 如今的強(qiáng)勁增長正源于此：Neoverse 正成為智能體時代的 CPU 基礎(chǔ)平臺，作為計算頭節(jié)點，是讓 AI 系統(tǒng)保持高效、一致并面向未來的核心控制中樞。