英特爾在中國推出云端AI訓練芯片Habana Gaudi2，該芯片可滿足大規模語言模型、多模態模型及生成式AI模型的需求。

7月11日，英特爾在中國市場推出云端AI訓練芯片——Habana Gaudi2。該芯片可滿足大規模語言模型、多模態模型及生成式AI模型的需求。據現場介紹，該芯片性能在一些關鍵指標上勝過英偉達A100。

據了解，該Gaudi2處理器及Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構為基礎，具有24個可編程Tensor處理器核心（TPCs）。

每顆芯片集成了21個專用于內部互聯的100Gbps（RoCEv2 RDMA）以太網接口，配備配置96GB HBM高速內存及2.4TB/秒的總內存帶寬，滿足大規模語言模型、多模態模型及生成式AI模型的需求。

據現場介紹，英特爾Gaudi2運行ResNet-50的每瓦性能約是英偉達A100的2倍，運行1760億參數BLOOMZ模型的每瓦性能約達A100的1.6倍。

在發布會上，浪潮信息高級副總裁、AI和HPC總經理劉軍現場發布搭載Gaudi2的新一代AI服務器NF5698G7。

目前，英特爾已與浪潮信息合作，打造基于Gaudi2深度學習加速器的AI服務器NF5698G7。該服務器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強可擴展處理器，支持AMX/DSA等AI加速引擎。當日，該款AI服務器也正式發布。

浪潮信息高級產品經理王磊強調，NF5698G7是專為面向生成式AI市場開發的新一代AI服務器，支持8顆OAM高速互聯的Gaudi2加速器，將為AI客戶提供大模型訓練和推理能力。

新華三集團計算存儲產品線副總裁劉宏程表示，基于英特爾Gaudi2 AI加速器，新華三正與英特爾合作，開發適合大模型訓練和推理的高性能AI服務器。

同時，超聚變數字技術有限公司算力基礎設施領域總裁唐啟明指出，超聚變將與英特爾，共同推出基于Gaudi2的全新產品與解決方案。

此前，英特爾中國區董事長王銳在接受《科創板日報》記者采訪時指出，ChatGPT浪潮帶來計算需求的大幅度提升，目前正與包括百度、阿里等在內的中國的客戶開展共同研究。王銳透露，不管是高性能的計算還是分布式的計算，都已經進行了布局。

一位英特爾技術專家《科創板日報》記者分享了英特爾在大模型領域的布局情況。在訓練層面，針對CPU、GPU、IPU、Habana等異構計算，英特爾用oneAPI以及XPU平臺來提供更多的選擇。在推理方面，第四代Sapphire Rapids發布后，基于AMX加速器，可在行業中解決80%以上的客戶推理需求。同時，也充分利用CPU，包括用于訓練的Ponte Vecchio，和用于推理的Arctic Sound等。

伴隨著大模型的熱潮，云計算的商業模式正朝著MaaS（模型即服務）的方向演進，其所帶來的算力需求也值得關注。

“它的理念是利用預訓練模型，對行業數據進行訓練，從而形成針對特定場景的、面向各行業的細分模型。我們知道通用模型的參數量非常大，例如GPT-3可達到1750億，部署這些模型會比較麻煩，因此，可能需要對大模型進行蒸餾和壓縮，形成行業可部署的模型。”上述技術專家稱。

此外，把大模型進行私有化部署是不少行業的潛在需求。“很多細分行業不接受SaaS服務，尤其金融等行業。因此，英特爾正在探討如何把這個模型小型化之后，在本土落地做私有化部署，使其真正在行業落地。”