近日在北京舉行的2023年中國國際服務(wù)貿(mào)易交易會(huì)（下文簡稱：服貿(mào)會(huì)）上，作為英特爾人工智能產(chǎn)品組合的重要成員，Habana Gaudi2實(shí)力亮相，它在海內(nèi)外諸多大語言模型（Large Language Model，下文簡稱：LLM）的加速上，已展現(xiàn)了出眾實(shí)力，成為業(yè)界焦點(diǎn)。

專為加速LLM的訓(xùn)練和推理設(shè)計(jì)

在千億參數(shù)大模型上大顯身手

數(shù)據(jù)顯示，Habana Gaudi2在GPT-J-99 和GPT-J-99.9 上的服務(wù)器查詢和離線樣本的推理性能分別為78.58 次/秒和84.08 次/秒。該測試采用 FP8數(shù)據(jù)類型，并在這種新數(shù)據(jù)類型上達(dá)到了 99.9% 的準(zhǔn)確率，這無疑再一次印證了Gaudi2的出色性能。此外，基于第四代英特爾至強(qiáng)可擴(kuò)展處理器的7個(gè)推理基準(zhǔn)測試也顯示出其對于通用AI工作負(fù)載的出色性能。截至目前，英特爾仍是唯一一家使用行業(yè)標(biāo)準(zhǔn)的深度學(xué)習(xí)生態(tài)系統(tǒng)軟件提交公開CPU結(jié)果的廠商。

圖 1. BLOOMZ 在 Gaudi2 和第一代 Gaudi 上的推理時(shí)延測試結(jié)果

圖 2.基于HabanaGaudi2，70億和130億參數(shù)Llama 2模型的推理性能

值得一提的是，Habana 的SynapseAI 軟件套件在模型部署和優(yōu)化的過程中起到了至關(guān)重要的作用。SynapseAI 軟件套件不僅支持使用 PyTorch 和 DeepSpeed 來加速LLM的訓(xùn)練和推理，還支持 HPU Graph和DeepSpeed-inference，這兩者都非常適合時(shí)延敏感型應(yīng)用。因此，在Habana Gaudi2上部署模型非常簡單，尤其是對LLM等數(shù)十億以上參數(shù)的模型推理具有較優(yōu)的速度優(yōu)勢，且無需編寫復(fù)雜的腳本。

LLM的成功堪稱史無前例。有人說，LLM讓AI技術(shù)朝著通用人工智能（AGI）的方向邁進(jìn)了一大步，而因此面臨的算力挑戰(zhàn)也催生了更多技術(shù)的創(chuàng)新。Habana Gaudi2 正是在這一背景下應(yīng)運(yùn)而生，以其強(qiáng)大的性能和性價(jià)比優(yōu)勢加速深度學(xué)習(xí)工作負(fù)載。Habana Gaudi2的出色表現(xiàn)更進(jìn)一步顯示了英特爾AI產(chǎn)品組合的競爭優(yōu)勢，以及英特爾對加速從云到網(wǎng)絡(luò)到邊緣再到端的工作負(fù)載中大規(guī)模部署AI的承諾。英特爾將持續(xù)引領(lǐng)產(chǎn)品技術(shù)創(chuàng)新，豐富和優(yōu)化包括英特爾 至強(qiáng) 可擴(kuò)展處理器、英特爾 數(shù)據(jù)中心GPU等在內(nèi)的AI產(chǎn)品組合，助力中國本地AI市場發(fā)展。

參考資料：

1.https://huggingface.co/blog/zh/habana-gaudi-2-bloom

2.Habana Gaudi2深度學(xué)習(xí)加速器：所有測量使用了一臺HLS2 Gaudi2服務(wù)器上的Habana SynapseAI 1.10版和optimum-habana 1.6版，該服務(wù)器具有八個(gè)Habana Gaudi2 HL-225H Mezzanine卡和兩個(gè)英特爾 至強(qiáng) 白金8380 CPU@2.30GHz以及1TB系統(tǒng)內(nèi)存。2023年7月進(jìn)行測量。