英特爾的年度創(chuàng)新活動最近在圣何塞舉行，該公司希望重新獲得在過去幾年中慢慢失去的大量技術(shù)動力。雖然英特爾一直在努力發(fā)布新產(chǎn)品，但進度的延遲和無法向親臨現(xiàn)場的觀眾展示他們的產(chǎn)品，使該公司及其產(chǎn)品失去了一些光澤。因此，對于在這次自疫情爆發(fā)以來舉辦的最大的現(xiàn)場技術(shù)活動，該公司正在盡可能多地展示其產(chǎn)品，以說服媒體、合作伙伴和客戶相信其CEO Pat Gelsinger的努力已經(jīng)使該公司回到了正軌。

在英特爾過去幾年的奮斗中，沒有比他們的Sapphire Rapids服務(wù)器/工作站CPU更好的產(chǎn)品了。作為Intel真正的下一代產(chǎn)品，它帶來了從PCIe 5、DDR5到CXL的一切，以及一系列硬件加速卡，對于Sapphire Rapids的延遲，真的沒有什么可寫的。

但Sapphire Rapids即將到來。英特爾終于能夠看到這些開發(fā)工作隧道盡頭的光亮了。距離2023年第一季度的全面上市只有一個多季度，英特爾終于可以向更多人展示Sapphire Rapids了。或者從更務(wù)實的角度來看，英特爾現(xiàn)在需要在Sapphire Rapids的發(fā)布之前開始認(rèn)真推廣它。

在今年的展會上，英特爾邀請媒體成員觀看預(yù)生產(chǎn)的Sapphire Rapids芯片的現(xiàn)場演示。演示的目的，除了讓媒體能夠說 "我們看到了它；它真的存在！"之外，也是為了開始展示Sapphire Rapids的一個更獨特的功能：其專用加速器塊的集合。

除了為CPU的處理器核心提供急需的更新外，Sapphire Rapids還為幾個常見的CPU關(guān)鍵服務(wù)器/工作站工作負(fù)載添加了專用加速器塊。簡單地說，這個想法是，固定功能芯片可以用一小部分功率完成任務(wù)，甚至比CPU核心更好，而且只需增加一小部分芯片尺寸。隨著超大規(guī)模企業(yè)和其他服務(wù)器運營商在計算密度和能源效率方面尋求重大改進，像這樣的特定領(lǐng)域加速器是英特爾向其客戶提供這種優(yōu)勢的一個好方法。而且，競爭對手AMD預(yù)計不會有類似的加速器模塊，這對他們也沒有什么影響。

01Sapphire Rapids芯片

在我們進一步討論之前，我們先來看看Sapphire Rapids芯片的情況。

為了進行演示（以及提供給最終的評測者使用），英特爾使用預(yù)生產(chǎn)的芯片組裝了一些雙插口Sapphire Rapids系統(tǒng)。為了便于拍照，他們打開了一個系統(tǒng)并取出了CPU。

在這一點上，除了它的工作原理外，我們對芯片沒有什么可說的。由于它仍然是預(yù)生產(chǎn)產(chǎn)品，英特爾沒有披露時鐘速度或型號，也沒有透露非最終芯片的勘誤表。但我們所知道的是，這些芯片有60個CPU內(nèi)核在運行，還有演示的加速器塊。

Sapphire Rapids加速器：：AMX、DLB、DSA、IAA和AMX

不算Sapphire Rapids CPU核心上的AVX-512單元，服務(wù)器CPU將在每個CPU塊中配備4個專用加速器。

這些加速器是英特爾動態(tài)負(fù)載平衡器（DLB）、英特爾數(shù)據(jù)流加速器（DSA）、英特爾內(nèi)存分析加速器（IAA）和英特爾快速輔助技術(shù)（QAT）。所有這些都作為專用設(shè)備掛在芯片網(wǎng)格上，本質(zhì)上是作為PCIe加速器，已經(jīng)集成到CPU芯片本身。這意味著加速器不消耗CPU核心資源（內(nèi)存和I/O是另一回事），但這也意味著可用的加速器核心數(shù)量不會隨著CPU核心數(shù)量的增加而直接增加。

在這些加速器中，除了QAT，其他都是英特爾的新產(chǎn)品。QAT是個例外，因為該技術(shù)的上一代是在用于第三代至強（Ice Lake-SP）處理器的PCH（芯片組）中實現(xiàn)的，而從Sapphire Rapids開始，它被集成到CPU芯片本身。因此，雖然英特爾實施特定領(lǐng)域的加速器并不是一個新現(xiàn)象，但該公司在Sapphire Rapids的想法上是全力以赴的。

所有這些專用加速塊都是為了卸載一組特定的高吞吐量工作負(fù)載而設(shè)計的。例如，DSA可以加速數(shù)據(jù)復(fù)制和簡單計算，例如計算CRC32。同時，QAT是一個加密加速塊，也是一個數(shù)據(jù)壓縮/解壓縮塊。IAA也是類似的，即時數(shù)據(jù)壓縮和解壓縮，允許大型數(shù)據(jù)庫（即大數(shù)據(jù)）以壓縮形式保存在內(nèi)存中。最后，DLB是加速服務(wù)器之間負(fù)載平衡的一個塊。

最后，還有Advanced Matrix Extension（AMX），它是Intel之前宣布的矩陣數(shù)學(xué)執(zhí)行塊。與張量核和其他類型的矩陣加速器類似，這些是高效執(zhí)行矩陣數(shù)學(xué)的超高密度塊。與其他加速器類型不同，AMX不是專用加速器，而是CPU內(nèi)核的一部分，每個內(nèi)核都有一個塊。

AMX是Intel在深度學(xué)習(xí)市場上的重頭戲，通過使用更密集的數(shù)據(jù)結(jié)構(gòu)，它超越了目前使用AVX-512所能達到的吞吐量。雖然Intel將擁有超越這一點的GPU，但對于Sapphire Rapids，Intel希望解決需要人工智能推理的客戶群體，這些推理發(fā)生在非常靠近CPU內(nèi)核的位置，而不是在一個靈活性較低、更專用的加速器中。

02實例演示

在活動上的演示中，Intel派出了測試團隊，設(shè)置并展示了一系列利用新加速器的真實情況演示，并可以對其性能進行基準(zhǔn)測試。為此，英特爾希望展示其在自己的Sapphire Rapids硬件上與非加速（CPU）操作相比的優(yōu)勢，即為什么應(yīng)該在這些類型的工作負(fù)載中使用其加速器，并展示與在主要競爭對手AMD的EPYC（米蘭）CPU上執(zhí)行相同工作負(fù)載相比的性能優(yōu)勢。

當(dāng)然，英特爾已經(jīng)在內(nèi)部運行這些數(shù)據(jù)。因此，這些演示的目的除了揭示這些性能數(shù)據(jù)外，還在于展示這些數(shù)據(jù)是真實的，以及它們是如何獲得這些數(shù)據(jù)的。毫無疑問，這是英特爾想要邁出的最好的一步。但它是用真正的芯片和真正的服務(wù)器來實現(xiàn)的，工作負(fù)載（對我來說）似乎是測試的合理任務(wù)。

QuickAssist技術(shù)演示

首先是QuickAssist Technology（QAT）加速器的演示。Intel從NGINX工作負(fù)載開始，測量OpenSSL加密性能。

為了達到大致相同的性能，Intel能夠在其Sapphire Rapids服務(wù)器上實現(xiàn)大約每秒66K的連接，僅使用QAT加速器和120（2x60）個CPU內(nèi)核中的11個來處理演示的非加速位。相比之下，在Sapphire Rapids上無需任何QAT加速即可實現(xiàn)相同的吞吐量需要67個內(nèi)核，而在雙插槽EPYC 7763服務(wù)器上則需要67個核心。

第二個QAT演示是在相同硬件上測量壓縮/解壓縮性能。正如我們對專用加速器塊的期望一樣，這個基準(zhǔn)測試非常失敗。QAT硬件加速器超過了CPU，甚至在使用Intel高度優(yōu)化的ISA-L庫時超過了CPU。與此同時，這幾乎是一項完全卸載的任務(wù)，因此它消耗了4個CPU內(nèi)核的時間，而軟件工作負(fù)載中的所有120/128個CPU內(nèi)核都是如此。

內(nèi)存分析加速器演示

第二個演示是內(nèi)存分析加速器。盡管名稱如此，它實際上并沒有加速任務(wù)的實際分析部分。相反，它是一個壓縮/解壓縮加速器，準(zhǔn)備用于數(shù)據(jù)庫，以便可以在內(nèi)存中操作它們，而無需大量的CPU性能成本。

在ClickHouse DB上運行演示，該場景演示了Sapphire Rapids系統(tǒng)與AMD EPYC系統(tǒng)相比，每秒查詢數(shù)達到59%的性能優(yōu)勢（Intel沒有運行僅限軟件的Intel設(shè)置），并且總體上減少了內(nèi)存帶寬使用量和內(nèi)存使用量。

第二次IAA演示是在RocksDB上進行的，使用相同的Intel和AMD系統(tǒng)。Intel再次展示了IAA加速SPR系統(tǒng)，其性能提高了1.9倍，延遲幾乎降低了一半。

高級矩陣擴展演示

Intel設(shè)置的最后一個演示站配置為顯示Advanced Matrix Extensions（AMX）和Data Streaming Accelerator（DSA）。

從AMX開始，Intel使用TensorFlow和ResNet50神經(jīng)網(wǎng)絡(luò)運行圖像分類基準(zhǔn)測試。該測試在CPU上使用了非加速的FP32操作，AVX-512在Sapphire Rapids上加速了INT8，最后AMX也在Sappphire Rapid上加速了INT8。

這是加速器的又一次爆炸。由于CPU內(nèi)核上的AMX塊，Sapphire Rapids系統(tǒng)在batch size為1的AVX-512 VNNI模式下的性能提高了2倍，而在bach size為16的情況下，性能提高了兩倍以上。當(dāng)然，與EPYC CPU相比，這種情況看起來更適合Intel，因為當(dāng)前Milan處理器不提供AVX-512VNNI。這里的總體性能提升不如從純CPU升級到AVX-512，但AVX-512s本身已經(jīng)部分成為矩陣加速塊（除其他外）。

數(shù)據(jù)流加速器演示

最后，Intel演示了數(shù)據(jù)流加速器（DSA）塊，該塊將在Sapphire Rapids上展示專用的加速器塊。在這個測試中，Intel使用FIO設(shè)置了一個網(wǎng)絡(luò)傳輸演示，讓客戶端從Sapphire Rapids服務(wù)器讀取數(shù)據(jù)。這里使用DSA來卸載用于TCP數(shù)據(jù)包的CRC32計算，這一操作在Intel測試的非常高的數(shù)據(jù)速率（2x100GbE連接）下，CPU需求迅速增加。

這里使用單個CPU內(nèi)核來展示效率（因為幾個CPU內(nèi)核就足以使鏈路飽和），與在相同工作負(fù)載上僅使用Intel優(yōu)化的ISA-L庫相比，DSA塊允許Sapphire Rapids在128K QD64順序讀取上提供76%的IOPS。EPYC系統(tǒng)的領(lǐng)先優(yōu)勢甚至更大，DSA的延遲遠低于2000 us。

使用較小的16K QD256隨機讀取，在2個CPU內(nèi)核上運行，也進行了類似的測試。DSA的性能優(yōu)勢在這里沒有那么大——與Sapphire Rapids上的優(yōu)化軟件相比，只有22%——但與EPYC相比，它的優(yōu)勢更大，延遲更低。

這就是：在Intel的第4代Xeon（Sapphire Rapids）CPU上首次發(fā)布專用加速塊（和AMX）的新聞演示。我們看到了它，它確實存在，它是Sapphire Rapids計劃從明年開始為客戶帶來的一切的冰山一角。

鑒于特定于領(lǐng)域的加速器的性質(zhì)和目的，我覺得這里沒有什么應(yīng)該讓普通技術(shù)讀者感到驚訝的。DSA的存在正是為了加速專用工作負(fù)載，特別是那些CPU和/或能源密集型工作負(fù)載，這就是Intel在這里所做的。隨著服務(wù)器市場的競爭預(yù)計將成為CPU總體性能的一個熱點，這些加速塊是Intel為其Xeon處理器增加更多價值的一種方式，并且在AMD和其他推出更多CPU內(nèi)核的競爭對手中脫穎而出。

預(yù)計在未來幾個月內(nèi)，隨著英特爾最終將推出下一代服務(wù)器CPU，Sapphire Rapids將有更多的應(yīng)用。

審核編輯 ：李倩