作者：黃晶晶

LPDDR5X具有高帶寬、低功耗、高容量密度等特性，可用于AI推理等對能效和成本有嚴(yán)苛要求的場景?？萍即髲S例如英偉達(dá)、高通、微軟等都將LPDDR5X應(yīng)用于AI數(shù)據(jù)中心領(lǐng)域。而存儲廠商們包括三星、美光、SK海力士以及長鑫存儲等也不斷拉高LPDDR5X的規(guī)格，有望拓展繼智能終端之后AI數(shù)據(jù)中心這類新應(yīng)用。

三星電子

三星發(fā)布的比前代快1.25倍、功耗效率提升25%的高端低功耗DRAM LPDDR5X，不僅應(yīng)用于移動設(shè)備，還廣泛用于PC、服務(wù)器、汽車以及新興的端側(cè)AI應(yīng)用，未來將引領(lǐng)低功耗DRAM市場的擴(kuò)展。

設(shè)備自身運行AI的端側(cè)AI時代。LPDDR5X支持高達(dá)10.7Gbps的驚人超高速數(shù)據(jù)處理速度。對于需要高性能計算的5G、AI、AR、VR、自動駕駛和元宇宙等未來IT技術(shù)和端側(cè)AI生態(tài)系統(tǒng)，LPDDR5X是優(yōu)化的內(nèi)存解決方案。



LPDDR5X采用了最先進(jìn)的12nm工藝和創(chuàng)新的電路設(shè)計。通過應(yīng)用更高級的電壓可變優(yōu)化技術(shù)(FDVFS)和低功耗運行區(qū)間擴(kuò)展技術(shù)，相較于上一代產(chǎn)品，性能提升且功耗減少近25%。在智能手機和筆記本電腦等移動設(shè)備中，LPDDR5X提供了更長的電池續(xù)航時間；在用于數(shù)據(jù)中心的服務(wù)器中，它有助于降低運營成本（CTO），從而減少碳排放。

移動 DRAM LPDDR5X 在單個封裝中支持高達(dá)32 GB 的容量，將應(yīng)用范圍從智能手機和筆記本電腦擴(kuò)展到高性能 PC、服務(wù)器和設(shè)備上的人工智能應(yīng)用。三星的LPDDR5X還通過了 AEC-Q100 認(rèn)證，可在極高和極低溫度下提供可靠的性能。

SK海力士

SK 海力士基于第5代10 納米級（1b nm）工藝的 16Gb LPDDR5X 內(nèi)存運行速率為 10.7Gbps，相較上代 9.6Gbps LPDDR5T 速度高出約 10%，能效方面提升達(dá)到 15%。SK 海力士計劃以 SOCAMM 和 LPCAMM 的模組形態(tài)向服務(wù)器和 PC 市場推出 LPDDR5X 產(chǎn)品，以響應(yīng) AI 計算對高性能 DRAM 的需求。



美光科技

美光科技全球首款基于 1γ（1-gamma）工藝節(jié)點的LPDDR5X內(nèi)存支持業(yè)界最快的10.7 Gbps 速率，同時功耗最高可降低 20%，封裝厚度壓縮至 0.61 毫米 ，相比競品薄 6%，較上一代產(chǎn)品厚度降低14%。



NVIDIA Grace Hopper GH200是首款采用 LPDDR5X 技術(shù)的商用產(chǎn)品。該創(chuàng)新系統(tǒng)將 ARM CPU 與H100 GPU相結(jié)合，代表高性能計算基礎(chǔ)設(shè)施的前沿方案。

根據(jù)美光的對比分析，基于LPDDR5X的Grace Hopper與同期的DDR5 服務(wù)器配置來看，二者的核心架構(gòu)差異體現(xiàn)在內(nèi)存封裝方式，LPDDR5X 內(nèi)存直接焊接在 Grace Hopper 板卡上，而 DDR5 則是通過 64 位帶寬的模塊連接到 CPU。Grace Hopper 的架構(gòu)采用32個內(nèi)存控制器，每個控制器管理來自單個 LPDDR5X 封裝的16位通道。這種配置在數(shù)據(jù)處理中提供了更高的并行性與效率，因為每個通道可獨立運行。
相比之下，DDR5 系統(tǒng)采用了更傳統(tǒng)的設(shè)計，4 個內(nèi)存控制器，每個控制器包含 4 條 32 位通道（使用 2 條 32 位子通道），總計 16 條 32 位通道。LPDDR5X 配置支持 4 個 rank，而 DDR5 僅支持2個rank，進(jìn)一步提升訪問并行性（因為每個 rank 可獨立運行）。性能數(shù)據(jù)凸顯了 LPDDR5X 的優(yōu)勢，其峰值理論帶寬達(dá) 384GB/s，略高于DDR5 的358GB/s。這種更高的數(shù)據(jù)速率、更強的并行性與更大的帶寬相結(jié)合，使 LPDDR5X 成為高性能計算應(yīng)用與混合內(nèi)存訪問模式的優(yōu)選技術(shù)。

在 CPU/GPU系統(tǒng)中使用 LPDDR5X 進(jìn)行大語言模型推理的效果如何呢。美光科技評估了 LPDDR5X 在兩種場景下的大語言模型推理性能：僅使用 CPU 的配置和 CPU+GPU 的配置。

在僅使用 CPU | Llama 3 8B的評估下，在 LPDDR5X 和 DDR5 系統(tǒng)上都運行Llama 3 8B 模型。參數(shù)規(guī)模在 80 到 200 億之間的模型通常被認(rèn)為適合僅在 CPU 上運行。DDR5 系統(tǒng)配備了高性能的 x86 CPU，時鐘頻率為 3.9 GHz，且具有大容量的末級緩存（L3），其原始性能更優(yōu)：生成tokens的速度快1.7 倍，首token延遲也低約 1.1 倍。

然而，在評估每瓦性能（衡量能效的關(guān)鍵指標(biāo)）時，LPDDR5X 系統(tǒng)表現(xiàn)更出色。它借助 LPDDR5X 內(nèi)存和低功耗的基于ARM架構(gòu)的 Grace CPU，實現(xiàn)了1.1 倍的能效提升，這有望顯著降低推理部署成本。

在CPU 和 GPU | Llama 3 70B的評估下，為了更好地理解在 CPU+GPU 場景下的推理運行中 LPDDR5X 所起的作用，美光科技研究了一個擁有 700 億參數(shù)的 Llama 3 模型。這種規(guī)模的模型由于對帶寬和計算有更高的要求，需要GPU 和HBM 資源。

并采用了兩種配置的 H100/HBM3 GPU：?集成了 H100/HBM3 GPU 的LPDDR5X 系統(tǒng)（NVIDIA Grace Hopper 超級芯片）?標(biāo)準(zhǔn) DDR5 系統(tǒng)，為了使對比保持一致，在該系統(tǒng)中安裝了相同的 H100/HBM3。

關(guān)鍵的差異在于互連性能。Grace Hopper 超級芯片配備了集成的 NVIDIA NVLink，具有 900 GB/s 的雙向帶寬，而標(biāo)準(zhǔn) DDR5 系統(tǒng)的 PCIe Gen5 鏈路僅提供 128 GB/s 的雙向帶寬。

LPDDR5X 系統(tǒng)的性能大幅優(yōu)于 DDR5 系統(tǒng)，主要體現(xiàn)在
?互連速度（CPU - GPU）快 7 倍
?設(shè)備到主機的傳輸速度為346 GB/s，主機到設(shè)備的傳輸速度為 334 GB/s，而 DDR5 的單向傳輸速度為 55 GB/s
?推理吞吐量高 5 倍
?推理延遲低 80%



長鑫存儲

LPDDR5/5X 是第五代超低功耗雙倍速率動態(tài)隨機存儲器。通過創(chuàng)新的封裝技術(shù)和優(yōu)化的內(nèi)存設(shè)計，長鑫存儲 LPDDR5X在容量、速率、功耗上都有顯著提升，目前提供12Gb和16Gb兩種單顆粒容量，最高速率達(dá)到10667Mbps ，達(dá)到國際主流水平，較上一代LPDDR5提升了66%，同時可以兼容LPDDR5，功耗則比LPDDR5降低30%。



英偉達(dá)、微軟、高通將LPDDR應(yīng)用于AI數(shù)據(jù)中心

近日，Cadence宣布與微軟合作開發(fā)出一款面向數(shù)據(jù)中心的LPDDR5X9600Mbps內(nèi)存系統(tǒng)解決方案。

該方案將Cadence的 LPDDR5X IP 與微軟專有的糾錯算法RAIDDR（冗余獨立雙倍數(shù)據(jù)速率陣列）ECC（糾錯碼）相結(jié)合。該方案可同時實現(xiàn)高性能、低功耗和高可靠性。微軟計劃在其數(shù)據(jù)中心部署此方案。雙方強調(diào)，通過應(yīng)用RAIDDR ECC技術(shù)，實現(xiàn)了與現(xiàn)有服務(wù)器DDR5 內(nèi)存相當(dāng)?shù)臄?shù)據(jù)保護(hù)能力。

此前，美光與英偉達(dá)合作開發(fā)了SOCAMM，專為支援英偉達(dá) GB300 Grace Blackwell Ultra 超級芯片而設(shè)計，能為英偉達(dá)的相關(guān)AI平臺提供低功耗、高容量的內(nèi)存支持。

去年，高通推出面向數(shù)據(jù)中心的下一代AI推理優(yōu)化解決方案，基于Qualcomm AI200與AI250芯片的加速卡及機架系統(tǒng)。Qualcomm AI200帶來專為機架級AI推理打造的解決方案，每張加速卡支持768GB LPDDR內(nèi)存，實現(xiàn)更高內(nèi)存容量與更低成本，為AI推理提供卓越的擴(kuò)展性與靈活性。

Qualcomm AI250解決方案將首發(fā)基于近存計算（Near-Memory Computing）的創(chuàng)新內(nèi)存架構(gòu)，實現(xiàn)超過10倍的有效內(nèi)存帶寬提升并顯著降低功耗，為AI推理工作負(fù)載帶來能效與性能的跨越性提升。

兩款機架解決方案均支持直接液冷散熱，以提升散熱效率，支持PCIe縱向擴(kuò)展與以太網(wǎng)橫向擴(kuò)展，并具備機密計算，保障AI工作負(fù)載的安全性，整機架功耗為160千瓦。據(jù)悉，Qualcomm AI200與AI250預(yù)計將分別于2026年和2027年實現(xiàn)商用。