在數字化轉型和智能化升級的大背景下，數據的處理和計算能力的部署正逐漸向網絡邊緣和設備邊緣轉移。這種轉變不僅能夠顯著降低應用的響應延遲，確保數據安全，還能夠減少對集中式云服務和核心網絡的依賴，同時提升對多樣化應用場景的適應性和服務能力。隨著大模型和人工智能領域的快速發展，算力需求將愈發成為制約企業轉型、成長的因素。

從邊緣計算向邊緣智算邁進

隨著邊緣計算逐步進入穩健發展期，使用單一邊緣計算技術構建的應用難以充分發揮其價值。2023年，大模型的突破和生成式 AI 的興起，帶來了新的技術發展轉折點，重塑算力格局。邊緣計算與 AI 的結合尤為亮眼，帶來了各種本地化的智能邊緣應用，如智慧交通、智能制造和智慧零售等。

為滿足大模型在行業和企業的落地，基礎大模型會結合行業獨有的知識、流程和數據資源，彌合技術與需求間的差距，進一步分化為行業大模型或企業大模型。在生成式 AI 的驅動力下，邊緣計算加速向邊緣智算邁進，邊緣智算承載行業/企業大模型，滿足無處不在的智能化需求，為數字化轉型與智能化升級提供強大的技術支撐。不僅可以保證私有數據的調用安全，降低云端微調或推理的成本，還可以降低網絡延時，滿足用戶個性化的表達需求，助力落地“人工智能+”的最后一公里。

大模型時代

邊緣智算面臨的挑戰

大模型工作負載主要分成兩類：訓練和推理。其中，訓練的工作負載用于訓練人工智能模型，如 GPT4、LLM，推理的工作負載用于接受用戶的輸入，產生對應的輸出。

相對來說，訓練所需的算力資源遠遠高于推理，因此對應的算力資源需求也有所差異。在這個背景下，企業在邊緣使用大模型通常會遇到以下挑戰：算力需求多元、算力成本需不斷優化、部署環境較為苛刻和計算架構多樣且管理復雜。

基于英特爾 至強 可擴展處理器的

邊緣服務器

為了有效應對大模型時代邊緣智算的挑戰，浪潮信息構建了全棧的邊緣計算產品家族，包括四大硬件產品系列、支撐邊緣海量設備終端的三大管理軟件，以及邊緣 AI、云邊協同等多種解決方案。搭載第五代英特爾至強可擴展處理器的2U元腦 邊緣服務器 NE5260G7 和 1U元腦邊緣服務器 NE3160G7，融合了英特爾最新的處理器技術，支持多種加速算力選項。不僅提供了卓越的計算性能和能效，還具備強大的 AI 推理能力，支持國內主流大模型及行業大模型應用。

基于第五代英特爾 至強 可擴展處理器的元腦 邊緣服務器 NE5260G7，是浪潮信息推出的旗艦 2U 雙路邊緣服務器，同時搭載面向邊緣的英特爾銳炫 GPU，提供了強大的大模型適配能力：

英特爾銳炫 GPU：基于X? HPG 微架構構建，包括 16GB 的大顯存以及稱為英特爾 X? Matrix Extensions（英特爾XMX）的專用 AI 加速硬件，這些內核專門用于 AI 工作負載中常用的矩陣運算，包括深度學習和大模型推理任務。

開放標準軟件堆棧：基于英特爾的開源 OpenVINO 工具套件，開發者可以輕松編寫能在 GPU、CPU 及其他硬件加速器上運行的代碼，避免了供應商鎖定和潛在的斷供風險。

全面的大模型支持：無論是國內還是國外的主流大模型，NE5260G7 都能提供完善的訓練和推理支持，滿足不同行業對于大模型應用的需求。

元腦NE5260G7 支持高達近百 TB 的存儲容量，還可支持多種無線模組靈活接入，無論是面向 AI 算力、大模型應用場景還是存儲場景，都能提供靈活的解決方案。

元腦 NE3160G7 則是針對小基站場景推出的解決方案，單機可處理128路攝像頭接入數據，靈活應對貨架缺貨量分析、商品智能結算、客流量統計等各類 AI 推理任務。支持靈活的網絡和 AI 加速卡擴展、適應惡劣的邊緣環境，支持1588、GPS、級聯3類時鐘同步通信，保證海量數據處理準確無誤，可以穩定用于智能基站、邊緣輕量化推理等場景。

同時，兩款產品均遵循最新的開放計算 OTII (Open Telecom IT Infrastructure) 標準，設計緊湊，適應性強，能夠輕松適應各種邊緣環境。目前的應用場景/實例有：

大模型推理

智能電網調度

智能AGV/AMR調度

智慧交通

智慧物流

小基站

結語

邊緣向 AI 而行，邊緣智算將無處不在。邊緣智算作為新一代計算模式與智能化服務的重要載體，正引領著數字化轉型與智能化升級的新潮流。生成式AI與邊緣計算的融合正在激發全行業數智化創新，英特爾將AI能力融入所有軟硬件產品與方案，力求云、網、邊、端每個觸點支持AI應用，滿足客戶應用場景多元復雜、數據多樣化、算力性能等挑戰。

英特爾將與浪潮信息等生態伙伴攜手共進，共同推動邊緣智算技術的創新與發展，為構建更加智慧、高效、可持續的未來世界貢獻力量。