借助 Grace Hopper 超級芯片，有助于用戶個性化互聯(lián)網(wǎng)的大規(guī)模 AI 模型的性能更加準(zhǔn)確。

作為互聯(lián)網(wǎng)的經(jīng)濟引擎，推薦系統(tǒng)獲得了 NVIDIA Grace Hopper 超級芯片的全新加持。

推薦系統(tǒng)每天向數(shù)十億人提供數(shù)萬億的搜索結(jié)果、廣告、產(chǎn)品、音樂和新聞報道。這些系統(tǒng)在幫助用戶從嘈雜的信息中獲取有用信息時令人難以置信地高效，因此是我們這個時代最重要的 AI 模型之一。

這些機器學(xué)習(xí)工作流使用 TB 級數(shù)據(jù)。推薦系統(tǒng)消耗的數(shù)據(jù)越多，結(jié)果就越準(zhǔn)確，所提供的投資回報就越多。

為了應(yīng)對這些數(shù)據(jù)海嘯，各公司已經(jīng)開始采用加速計算來為客戶提供個性化服務(wù)。Grace Hopper 將把加速計算帶來的好處提升到一個新的高度。

GPU 可將參與度提高 16%

圖片共享社交媒體公司 Pinterest 通過采用 NVIDIA GPU，可以將推薦系統(tǒng)模型的規(guī)模提升至原來的 100 倍。直接幫助其 4 億多用戶的參與度提高了 16%。

該公司的一位軟件工程師在最近的一篇博客中表示：“通常情況下，能有 2% 的增長我們就已經(jīng)感到很滿意了，而現(xiàn)在，16% 僅僅是個開始。我們看到了額外的收益，它打開了許多機會之門。”

新一代 NVIDIA AI 平臺有望為使用超大規(guī)模推薦系統(tǒng)模型處理大規(guī)模數(shù)據(jù)集的公司帶來更大的收益。

由于數(shù)據(jù)是 AI 的燃料，Grace Hopper 相比地球上任何其他處理器旨在將更多數(shù)據(jù)輸送給推薦系統(tǒng)。

NVLink 加速 Grace Hopper

Grace Hopper 能夠?qū)崿F(xiàn)這一點，是因為它是一種超級芯片，一個單元包含兩個芯片，共享高速的芯片到芯片互連。它包括一個基于 ARM 的 NVIDIA Grace CPU 和一個 Hopper GPU，它們之間通過 NVIDIA NVLink-C2C 進行通信。

此外，NVLink 還將許多超級芯片連接成一個超級系統(tǒng)，是專為運行 TB 級推薦系統(tǒng)而構(gòu)建的計算集群。

NVLink 以高達每秒 900 GB 的速度傳輸數(shù)據(jù)，是 PCIe 5.0 帶寬的 7 倍，后者是即將推出的前沿系統(tǒng)將使用的互聯(lián)帶寬。

這意味著 Grace Hopper 向推薦系統(tǒng)提供 7 倍以上的向量表示（包含上下文），滿足用戶對個性化結(jié)果的需求。

內(nèi)存越大，效率越高

Grace CPU 使用 LPDDR5X，這種內(nèi)存在用于推薦系統(tǒng)和其他要求苛刻的工作負載時，能夠在帶寬、能效、容量和成本之間達到最佳平衡。它提供的帶寬增加 50%，而每 GB 的功耗僅為傳統(tǒng) DDR5 內(nèi)存子系統(tǒng)的八分之一。

集群中的任何 Hopper GPU 都可以通過 NVLink 訪問 Grace 的內(nèi)存。這是 Grace Hopper 的一項功能，可提供之前沒有的龐大的 GPU 顯存池。

此外，NVLink-C2C 每傳輸一位數(shù)據(jù)僅需 1.3 皮焦，其能效是 PCIe 5.0 的 5 倍以上。

總體效果上，與采用傳統(tǒng) CPU 的 Hopper 相比，推薦系統(tǒng)在使用 Grace Hopper 時的性能和效率提升高達 4 倍（請參閱下圖）。

您需要的所有軟件

Grace Hopper 超級芯片使用全堆棧的 NVIDIA AI 軟件，這些軟件被用于當(dāng)今世界最大的推薦系統(tǒng)之中。

NVIDIA Merlin 是推薦系統(tǒng)的強大動力，它包含構(gòu)建 AI 系統(tǒng)的模型、方法和庫的集合，可以提供更好的預(yù)測并增加點擊率。

NVIDIA Merlin HugeCTR 是一種推薦系統(tǒng)框架，可在 NVIDIA 集合通信庫的幫助下，幫助用戶在分布式 GPU 集群下快速處理大量數(shù)據(jù)集。

審核編輯：湯梓紅