前言概述

得益于近十年來在自有“飛槳”人工智能（Artificial Intelligence, AI）框架上的前瞻布局和大力投入，以及在語言與知識技術上積累的豐厚經驗與成果，百度已在自然語言處理（Natural Language Processing，以下簡稱NLP）領域構建起完整的產品體系與技術組合。ERNIE 3.0 作為其飛槳文心 · NLP 大模型的重要組成部分，也在各種 NLP 應用場景，尤其是中文自然語言理解和生成任務中展現(xiàn)出卓越的性能。

隨著 NLP 逐漸進入技術和產業(yè)結合的快車道，并在更多行業(yè)中實現(xiàn)商業(yè)化落地，用戶對 ERNIE 3.0 也提出了更多細分需求，例如更高的處理效率和更廣泛的部署場景等。為此，百度不僅借助其創(chuàng)新技術優(yōu)勢，推出了輕量版 ERNIE-Tiny，也與合作伙伴英特爾攜手，提前引入即將發(fā)布的全新第四代英特爾 至強 可擴展處理器，作為 ERNIE-Tiny 未來的硬件承載基座。

為了讓 ERNIE-Tiny 在第四代英特爾 至強 可擴展處理器及其內置的全新英特爾 高級矩陣擴展（Intel Advanced Matrix Extension，英特爾 AMX）技術的加速支持下實現(xiàn)更優(yōu)推理性能，雙方也攜手開展了多項優(yōu)化工作。而來自對比測試的數據表明，相比通過英特爾 AVX-512_VNNI 技術來實現(xiàn)AI加速的、面向單路和雙路的第三代英特爾 至強 可擴展處理器，ERNIE-Tiny 在升級使用內置英特爾 AMX 技術的第四代英特爾 至強 可擴展處理器后，其整體性能提升高達 2.66 倍1，取得了令人滿意的效果。

引言

“作為百度面向 NLP 領域的重要技術方案，基于輕量化技術的 ERNIE 3.0 輕量版可在搜索排序、推薦、信息抽取、地圖檢索、自然語言推斷等應用場景中為用戶提供響應迅速、質量可靠的能力輸出。全新第四代英特爾 至強 可擴展處理器及英特爾 AMX 技術的引入，使得輕量版 ERNIE 3.0 在通用 CPU 平臺上也能獲得令人滿意的推理效能，從而能幫助更多用戶在其既有 IT 設施中更為方便地部署 ERNIE 3.0，從而進一步普及其應用范圍。”

方案背景：ERNIE 3.0 走向輕量化

為更多行業(yè)用戶提供 NLP 應用助力

作為 AI 領域的重要分支，NLP 正獲得前所未有的市場關注與技術追蹤。有預測數據表明，到 2024 年全球 NLP 市場規(guī)模將達 264 億美元3，并將大幅緩解金融、醫(yī)療、法律等行業(yè)中人力密集型工作環(huán)節(jié)帶來的效率和成本壓力。例如在醫(yī)療健康領域，利用 NLP 應用對醫(yī)療記錄開展篩查有助于發(fā)現(xiàn)藥物的長期不良反應；在法律領域， NLP 應用也在幫助人們從浩如煙海的記錄中梳理出案件的來龍去脈。

作為擁有強大互聯(lián)網基礎的領先 AI 公司，百度憑借其旗下飛槳文心 · NLP 大模型所具備的創(chuàng)新技術優(yōu)勢，在語言理解、語言生成等NLP場景中已獲取了明顯的市場優(yōu)勢，并在中國 AI 公有云 NLP 領域連續(xù)多年取得市場份額第一4。如圖一所示，在大模型中，基于知識增強的多范式統(tǒng)一預訓練框架 ERNIE 3.0 融合了自回歸網絡與自編碼網絡，并加入了大數據預訓練與多源豐富知識相結合、持續(xù)學習等特性，在理解任務、生成任務、零樣本學習任務和常識推理任務上均有著優(yōu)秀的表現(xiàn)，在 14 種類型/45 個 NLP 數據集取得了 SOTA（State Of The Art Model，當前最佳模型）的結果。在中文領域，ERNIE 3.0 的表現(xiàn)則更為突出，不僅刷新了 54 個中文 NLP 任務基準，并登頂 SuperGLUE 全球榜首，同時也因具備非常出色的語言理解能力，還可以完成寫小說、歌詞、詩歌等的文學創(chuàng)作任務5。

圖一 ERNIE 3.0框架基本架構

在 ERNIE 3.0 的實際落地應用過程中，許多細分領域也根據自身業(yè)務特點，對它提出了特定化需求。眾所周知，模型中更多的層數、參數意味著更大的模型體積、更強的計算資源需求以及更長的推理耗時，對于業(yè)務響應速度和構建成本敏感的用戶而言，無疑提高了引入和使用門檻。

借助模型輕量化技術對 ERNIE 3.0 大模型進行蒸餾壓縮，是助力 ERNIE 3.0 推廣到更多行業(yè)與場景的有效方法。為此，百度基于其“在線蒸餾”等創(chuàng)新技術方案，推出多個 ERNIE 3.0 輕量化版本 ERNIE-Tiny，在保持模型平均精度的前提下實現(xiàn)了更短的運算時間以及更少的算力需求。同時，ERNIE-Tiny 在推理時，也無需再為之配備昂貴的專用 AI 算力設備，在通用平臺，如 CPU 平臺上即可高效率完成推理作業(yè)。這無疑能讓用戶在既有公有云或數據中心的 IT 配置上即可使用該模型，而無需增添額外硬件或服務。

圖二 ERNIE-Tiny 模型精度-推理時延對比度6

與此同時，引入更強的通用計算平臺和優(yōu)化方案，也是助力 ERNIE-Tiny 獲得更優(yōu)效率的另一項重要手段。百度為此與英特爾開展深度技術合作：一方面將全新第四代英特爾 至強 可擴展處理器引入 ERNIE-Tiny 的推理計算過程；另一方面，也推進了多項優(yōu)化措施，例如通過英特爾 oneAPI 深度神經網絡庫（Intel oneAPI Deep Neural Network Library，英特爾 oneDNN）來調用英特爾 AMX指令等，以確保 ERNIE-Tiny 可以更為充分地利用這款處理器內置的全新AI加速技術帶來的性能加速“紅利”。

解決方案：三項優(yōu)化方案

助 ERNIE-Tiny 盡釋新平臺 AI 加速潛能

新一代英特爾至強 可擴展處理器為 ERNIE 3.0 帶來更強 AI 加速引擎

百度與英特爾攜手開展的優(yōu)化方案，首先圍繞 ERNIE-Tiny 系列中 Medium 版展開，這一輕量版本與基礎版 ERNIE 3.0 相比，其網絡層數從 12 層減少到了 6 層，以此可有效降低所需的算力資源并縮短推理時長。

優(yōu)化方案中，英特爾為 ERNIE-Tiny Medium 版本（以下簡稱 ERNIE-Tiny）提供了第四代英特爾 至強 可擴展處理器作為推理工作的算力輸出引擎。這一采用 Intel 7 制程工藝的新一代至強 可擴展處理器，可憑借全新的性能核微架構設計來提升處理速度，并在低時延和單線程性能上實現(xiàn)突破。

在整個芯片的架構層面，第四代英特爾 至強 可擴展處理器通過使用嵌入式多芯片互連橋接（Embedded Multi-die Interconnect Bridge，EMIB）技術，可在保持既有單核優(yōu)勢的同時，大幅提升可擴展性。同時，新處理器也提供了對先進內存和下一代 I/O 技術，包括 DDR5、PCIe 5.0、CXL 1.1 以及高帶寬內存（High Bandwidth Memory，HBM）技術的支持，這些技術特性能為 ERNIE 3.0 這樣的 AI 模型所需的高強度工作負載提供更可靠的全局性能加速。

更重要的是，第四代英特爾 至強 可擴展處理器還增添了多種新的內置加速引擎來助力用戶在不同應用場景中提升性能，如英特爾 加速器接口架構指令集（英特爾 AIA）、英特爾 數據流加速器（英特爾 DSA）和英特爾 高級矩陣擴展（英特爾 AMX）。其中，AMX 對于AI工作負載的加速尤為顯著。

基于全新處理器和內置 AI 加速能力，雙方攜手為 ERNIE-Tiny 加入三項優(yōu)化方案

1) 全新 AI 加速引擎優(yōu)化提升處理效率

與英特爾在此前的至強 可擴展處理器中提供的兩種 AI 加速能力，即英特爾 AVX-512_VNNI_INT8 與英特爾 AVX-512_VNNI_BF16 不同，英特爾 AMX 采用了全新的指令集與電路設計。在實際的工作負載中，英特爾 AMX 能同時支持 BF16 和 INT8 數據類型，其每個物理核在每個時鐘周期可實現(xiàn) 2,048 次 INT8 運算和 1,024 次 BF16 運算7，與上一代 AI 加速引擎相比，大幅提升了 AI 工作負載的效率，這顯然有助于提升 ERNIE-Tiny 在推理環(huán)節(jié)的性能表現(xiàn)。

8

2) 利用英特爾 oneDNN 實現(xiàn)對英特爾 AMX 指令的調用

為了讓英特爾 AMX 的加速能力能直接作用于 ERNIE-Tiny，百度與英特爾一同借助英特爾 oneDNN 來實現(xiàn)英特爾 AMX 指令的調用。作為開源的、跨平臺的性能庫，英特爾 oneDNN 可有效助力用戶提升其 AI 應用與框架在英特爾 架構平臺上的性能，而且它也已加入了對英特爾 AMX 的支持。

在本次合作中，雙方除攜手完成了英特爾 oneDNN 與飛槳開源深度學習平臺（PaddlePaddle，https://www.paddlepaddle.org.cn/）的集成外，也根據 ERNIE-Tiny 的實際運行需求開展了一系列增量工作，包括將 Linux 操作系統(tǒng)的內核更新為支持英特爾 AMX 的版本等。

3) 內存性能優(yōu)化

借助第四代英特爾 至強 可擴展處理器與英特爾 AMX 獲得計算性能的大幅提升之后，內存性能的優(yōu)化自然也不可或缺，為此百度與英特爾也制定了針對性的優(yōu)化方案。雙方通過分析發(fā)現(xiàn)，ERNIE-Tiny 在推理過程中有許多串行操作，即每次運算都會先讀數據再寫數據，然后下一次運算也是如此，這會消耗大量操作時間。優(yōu)化方案則是將矩陣乘法與元素的運算及激活融合在一起，即把連續(xù)的操作合并為一個大操作，可使內存的運行效率顯著提升。

同時，方案中針對多線程的優(yōu)化也被證明可助力 ERNIE 3.0 提升推理計算性能，與上一版本相比，方案進一步優(yōu)化了多線程的效率，并提升了多核的擴展性。

優(yōu)化方案驗證：

第四代英特爾 至強 可擴展處理器

可大幅提升 ERNIE-Tiny 性能表現(xiàn)

為了驗證第四代英特爾 至強 可擴展處理器與上述多項優(yōu)化方案對 ERNIE-Tiny 性能提升的實際作用，英特爾協(xié)助百度推進了性能對比測試。測試在第四代英特爾 至強 可擴展平臺與第三代英特爾 至強 可擴展平臺之間展開。后者使用英特爾 AVX-512_VNNI 對模型進行了 INT8 量化提速，而前者則啟用英特爾 AMX 技術進行加速。

測試結果如圖四所示，ERNIE-Tiny 的性能（測試采用吞吐量 (Throughput) 作為測評指標）獲得了顯著的提升，對比上一代英特爾 至強 可擴展平臺，其吞吐量提升到了它的 2.66 倍9。

圖四 ERNIE-Tiny 在不同處理器平臺上的性能對比10

如圖五所示，目前，各個 ERNIE-Tiny 不僅已部署在零門檻 AI 開發(fā)平臺 EasyDL、全功能 AI 開發(fā)平臺 BML 和 ERNIEKit（旗艦版）產品中，它們也將與平臺和產品的其它能力一起協(xié)同，在基于第四代英特爾 至強 可擴展處理器的基礎設施上，為使用者提供文本分類、關系抽取、文本生成以及問答等能力。同時，它們也將作為百度飛槳 PaddleNLP 自然語言處理開發(fā)庫的核心模型，搭配訓練-壓縮-推理端到端全流程應用與豐富的產業(yè)實踐范例，全力加速 NLP 技術產業(yè)落地。

（如欲了解更多詳情，請訪問：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-3.0）

圖五 ERNIE-Tiny 對外能力輸出

未來展望

百度與英特爾本次協(xié)作優(yōu)化的成功，再一次證明各個行業(yè)用戶在通用的 CPU 平臺上也能同樣方便地部署高效能的 ERNIE-Tiny，用以應對越來越多的 NLP 應用需求。使用這一方案，用戶不必額外采購昂貴的專用 AI 算力設備，這將大幅降低企業(yè)借助 NLP 能力提升業(yè)務效率的門檻，并加速更多 NLP 技術與應用的商業(yè)落地過程。

面向未來，英特爾還將與百度一起在 NLP 領域開展更多也更為深入的技術合作，讓新一代至強 可擴展處理器及其內置的更強 AI 加速技術為更多 AI 應用的落地與實踐提供更多助力。

審核編輯 ：李倩