(電子發燒友網 文/黃晶晶)無疑生成式AI的火熱帶動了互聯網廠商、運營商、云服務商以及各類應用方等對數據中心、AI服務器的大力投入。同時,像中國的“東數西算”工程正構筑著堅實的算力基建。為了適應大數據、人工智能的發展,必須要解決如何增強算力、存力和運力的問題。那么高速的數據傳輸是不可缺少的核心環節。在此背景下,我們需要前瞻布局哪些數據傳輸的接口技術來適應發展呢?最近,Rambus 解決方案營銷高級總監Tim Messegee接受采訪,分享了他對于數據中心高速接口技術和市場的洞見。
圖:Rambus 解決方案營銷高級總監Tim Messegee
Tim Messegee表示,總體上,新數據中心的架構設計應考慮到性能、可擴展性、可靠性和安全性,滿足生成式AI和大數據應用的具體需求。新數據中心首先需要配備高性能計算(HPC)基礎設施來滿足生成式AI和大數據應用的密集計算需求,比如使用功能強大的處理器、GPU、內存、網絡、專用硬件加速器等高效處理大量數據并執行復雜計算。
新數據中心架構的設計應該使內存、存儲等易于擴展。例如,CXL技術可以幫助建立內存池,從架構上將CPU和內存分離,不僅能夠共享內存,還能在性能需求日益增加的情況下更加輕松地增加內存。
突破數據傳輸的瓶頸
業界一直都存在“內存墻”的問題,其根源還是數據傳輸的速率性能瓶頸。Tim Messegee說道,與“木桶定律”中的例子一樣,限制數據中心數據傳輸速率的元素不止一個,而是所有相關元素的性能。顯然,解決這一問題需要強大的 CPU、高速內存、高帶寬網絡以及許多其他方面的支持。
實際上大家都不希望自己是最短板的那一塊。而以Rambus來看,其擅長的是提供先進內存接口芯片和接口IP解決方案幫助滿足數據中心對帶寬不斷增長的需求。對此,Tim Messegee進行了解析。
具體來看,DDR5 DIMM芯片組:Rambus DDR5內存接口芯片組由 DDR5 RCD、SPD Hub 和溫度傳感器組成,專為滿足最新一代DDR5內存系統的大容量、高帶寬性能要求而量身定制。這些芯片使服務器和客戶端計算系統能夠處理最苛刻的工作負載和應用。
CXL技術:CXL可使數據中心從原來每臺服務器擁有專用的處理和內存以及網絡和加速器等其他資源的模式,轉變為使用共享資源池的分解模式,共享資源池可根據特定工作負載的需求進行高效組合。
PCIe 6接口子系統IP:PCIe 接口是在 CPU、GPU、FPGA 和特定工作負載加速器等不同計算節點之間以高帶寬和低延遲傳輸數據的關鍵骨干。Rambus PCIe 6解決方案支持下一代數據中心的性能要求,具有延遲、功耗、面積和安全性方面的優勢。
HBM內存控制器:HBM是一種高性能內存標準,具有功耗低、外形小的特點。Rambus HBM 3.0和2E/2控制器可為AI/ML、圖形和HPC應用提供高帶寬、低延遲的內存性能。
新的接口技術何時落地
以上列舉了幾種應用于數據中心的先進的接口技術,包括DDR5、PCIe 6.0、HBM、CXL等。然而它們有各自的應用進程。
首先是DDR5。Tim Messegee表示,DDR5內存已于2021年進入市場。我們現在看到服務器和PC市場都在使用DDR5內存。根據IDC的預測,DDR5的跨越點,即DDR5位出貨量超過DDR4位出貨量的時刻將在2023年底出現。隨著時間的推移,DDR5有望在數據中心和消費市場得到更廣泛的應用。
其次,PCIe在服務器和PC之外也得到了廣泛應用,其規模經濟效益使其對物聯網、汽車等領域以數據為中心的應用極具吸引力。盡管如此,PCIe 6.0的初期部署將針對需要盡可能高帶寬的應用,這些應用都是數據中心的核心,如AI/ML、HPC、云計算、網絡等。Tim Messegee預計第一代PCIe 6.0系統將在2026年問世。
再者,HBM正在成為超級計算機的首選內存。市場對AI/ML的需求推動了 HBM 在數據中心的廣泛應用。如今,英偉達推出的H200 GPU以及GH200超級芯片開始配備141GB HBM3E。HBM的發展大致以兩年為一個周期,技術還在不斷演進當中。
此外,隨著CXL標準從1.0發展到 3.0,行業頭部廠商正在積極支持CXL。Tim Messegee說,要真正在市場上得到廣泛應用,可能還需要一段時間。可以肯定的是,由于CXL的特性,最早采用這項技術的將是那些需要最高帶寬、最低延遲和多設備一致性的應用。目前,我們預計CXL將于2026年在數據中心得到廣泛應用。
誠然,特定技術的應用周期取決于多種因素,包括市場需求、軟硬件生態、成本和性能優勢等。Tim Messegee指出,一般來說,內存和總線技術升級通常需要更長的時間,這是因為它們需要與整個生態兼容,而且所有相互連接的軟硬件元素都需要時間來驗證和檢驗。因此,一項技術的采用情況會因技術特性、復雜程度和市場需求而異。總之,隨著數據中心建設的加速,DDR5、PCIe 6.0、HBM和CXL等高速連接技術將在未來幾年繼續發展和普及,但其采用率可能會因技術和細分市場的不同而有所差異。
觀察市場的反饋,Tim Messegee看到的趨勢是,許多為數據中心開發的技術正在向客戶端擴散。AI推理向邊緣以及AI賦能的客戶端和終端系統轉移,這一趨勢將繼續加速。我們的IP解決方案可以集成到客戶端系統的芯片中,我們的產品路線圖上有支持未來客戶端平臺的Rambus芯片解決方案。
小結:
AI大模型的參數量越來越龐大,內容形式也越來越豐富,隨著數據中心工作負載的增加,DDR、HBM、PCIe和CXL等內存技術將繼續為數據中心提供更高容量、更低延遲和更高能效的數據傳輸速率以滿足不斷增長的算力需求。同時,Rambus也希望通過內存解決方案的不斷改進總體上為提高數據中心的整體能效帶來真正的機會。

Tim Messegee表示,總體上,新數據中心的架構設計應考慮到性能、可擴展性、可靠性和安全性,滿足生成式AI和大數據應用的具體需求。新數據中心首先需要配備高性能計算(HPC)基礎設施來滿足生成式AI和大數據應用的密集計算需求,比如使用功能強大的處理器、GPU、內存、網絡、專用硬件加速器等高效處理大量數據并執行復雜計算。
新數據中心架構的設計應該使內存、存儲等易于擴展。例如,CXL技術可以幫助建立內存池,從架構上將CPU和內存分離,不僅能夠共享內存,還能在性能需求日益增加的情況下更加輕松地增加內存。
突破數據傳輸的瓶頸
業界一直都存在“內存墻”的問題,其根源還是數據傳輸的速率性能瓶頸。Tim Messegee說道,與“木桶定律”中的例子一樣,限制數據中心數據傳輸速率的元素不止一個,而是所有相關元素的性能。顯然,解決這一問題需要強大的 CPU、高速內存、高帶寬網絡以及許多其他方面的支持。
實際上大家都不希望自己是最短板的那一塊。而以Rambus來看,其擅長的是提供先進內存接口芯片和接口IP解決方案幫助滿足數據中心對帶寬不斷增長的需求。對此,Tim Messegee進行了解析。
具體來看,DDR5 DIMM芯片組:Rambus DDR5內存接口芯片組由 DDR5 RCD、SPD Hub 和溫度傳感器組成,專為滿足最新一代DDR5內存系統的大容量、高帶寬性能要求而量身定制。這些芯片使服務器和客戶端計算系統能夠處理最苛刻的工作負載和應用。
CXL技術:CXL可使數據中心從原來每臺服務器擁有專用的處理和內存以及網絡和加速器等其他資源的模式,轉變為使用共享資源池的分解模式,共享資源池可根據特定工作負載的需求進行高效組合。
PCIe 6接口子系統IP:PCIe 接口是在 CPU、GPU、FPGA 和特定工作負載加速器等不同計算節點之間以高帶寬和低延遲傳輸數據的關鍵骨干。Rambus PCIe 6解決方案支持下一代數據中心的性能要求,具有延遲、功耗、面積和安全性方面的優勢。
HBM內存控制器:HBM是一種高性能內存標準,具有功耗低、外形小的特點。Rambus HBM 3.0和2E/2控制器可為AI/ML、圖形和HPC應用提供高帶寬、低延遲的內存性能。
新的接口技術何時落地
以上列舉了幾種應用于數據中心的先進的接口技術,包括DDR5、PCIe 6.0、HBM、CXL等。然而它們有各自的應用進程。
首先是DDR5。Tim Messegee表示,DDR5內存已于2021年進入市場。我們現在看到服務器和PC市場都在使用DDR5內存。根據IDC的預測,DDR5的跨越點,即DDR5位出貨量超過DDR4位出貨量的時刻將在2023年底出現。隨著時間的推移,DDR5有望在數據中心和消費市場得到更廣泛的應用。
其次,PCIe在服務器和PC之外也得到了廣泛應用,其規模經濟效益使其對物聯網、汽車等領域以數據為中心的應用極具吸引力。盡管如此,PCIe 6.0的初期部署將針對需要盡可能高帶寬的應用,這些應用都是數據中心的核心,如AI/ML、HPC、云計算、網絡等。Tim Messegee預計第一代PCIe 6.0系統將在2026年問世。
再者,HBM正在成為超級計算機的首選內存。市場對AI/ML的需求推動了 HBM 在數據中心的廣泛應用。如今,英偉達推出的H200 GPU以及GH200超級芯片開始配備141GB HBM3E。HBM的發展大致以兩年為一個周期,技術還在不斷演進當中。
此外,隨著CXL標準從1.0發展到 3.0,行業頭部廠商正在積極支持CXL。Tim Messegee說,要真正在市場上得到廣泛應用,可能還需要一段時間。可以肯定的是,由于CXL的特性,最早采用這項技術的將是那些需要最高帶寬、最低延遲和多設備一致性的應用。目前,我們預計CXL將于2026年在數據中心得到廣泛應用。
誠然,特定技術的應用周期取決于多種因素,包括市場需求、軟硬件生態、成本和性能優勢等。Tim Messegee指出,一般來說,內存和總線技術升級通常需要更長的時間,這是因為它們需要與整個生態兼容,而且所有相互連接的軟硬件元素都需要時間來驗證和檢驗。因此,一項技術的采用情況會因技術特性、復雜程度和市場需求而異。總之,隨著數據中心建設的加速,DDR5、PCIe 6.0、HBM和CXL等高速連接技術將在未來幾年繼續發展和普及,但其采用率可能會因技術和細分市場的不同而有所差異。
觀察市場的反饋,Tim Messegee看到的趨勢是,許多為數據中心開發的技術正在向客戶端擴散。AI推理向邊緣以及AI賦能的客戶端和終端系統轉移,這一趨勢將繼續加速。我們的IP解決方案可以集成到客戶端系統的芯片中,我們的產品路線圖上有支持未來客戶端平臺的Rambus芯片解決方案。
小結:
AI大模型的參數量越來越龐大,內容形式也越來越豐富,隨著數據中心工作負載的增加,DDR、HBM、PCIe和CXL等內存技術將繼續為數據中心提供更高容量、更低延遲和更高能效的數據傳輸速率以滿足不斷增長的算力需求。同時,Rambus也希望通過內存解決方案的不斷改進總體上為提高數據中心的整體能效帶來真正的機會。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
IP
+關注
關注
5文章
1872瀏覽量
156224 -
數據中心
+關注
關注
18文章
5701瀏覽量
75155 -
AI
+關注
關注
91文章
40427瀏覽量
302017 -
高速接口
+關注
關注
1文章
76瀏覽量
15321
發布評論請先 登錄
相關推薦
熱點推薦
如何突破AI存儲墻?深度解析ONFI 6.0高速接口與Chiplet解耦架構
6.0)支撐高性能 PCIe 5.0 SSD 存取
工藝覆蓋全制程 (包含 5nm, 8nm, 12nm 等)滿足消費級至數據中心全場景
信號優化1-tap DFE, Pi-LLT確保高速傳輸下
發表于 01-29 17:32
未來的數據中心需要怎樣的布線方案
隨著數字時代的發展,數據中心對能源效率和環境可持續性的需求日益迫切。為了滿足這些日益增長的需求,數據中心必須變得更加環保和可持續。光纖布線已成為實現可持續數據中心目標的關鍵技術。本文探
微軟最新AI技術數據中心即將啟用
微軟在美國威斯康星州 Mount Pleasant 建設的最新AI技術數據中心即將投入使用,預計 2026 年初正式啟用。第二座同規模中心也在規劃中,總投資將超過 70 億美元。
Credo攜1.6T Bluebird DSP破解AI數據中心算力瓶頸
高速連接17年的企業再擲重磅——發布 新一代1.6T Bluebird DSP ,為AI數據中心的“算力軍備競賽”注入關鍵動力。 當下,AI大模型訓練集群的GPU數量已突破百萬級,單節
技術資訊 I 數據中心能否承受高溫運行?
通常,當我們討論面向數據中心的數字孿生軟件時,會重點介紹工程師如何運用基于物理原理的仿真技術,通過我們的數據中心軟件建立復雜熱力學模型,為IT設備尋找高效的冷卻方案。但從提高效能和節約成本的角度出發
村田中國亮相2025開放數據中心大會:技術創新賦能數據中心發展
居先的綜合電子元器件制造商村田中國(以下簡稱“村田”)也將攜多款高效節能產品及解決方案亮相大會,以創新技術和高品質產品支撐數據中心高質量發展,展位號:2樓B13。 ? 數字經濟時代背景下,隨著云服務、
睿海光電:400G光模塊技術創新與AI數據中心變革
睿海光電:400G光模塊技術創新與AI數據中心變革 一、400G光模塊:新一代數據中心的核心引擎 在AI大模型訓練、邊緣計算和云服務快速發展
睿海光電以高效交付與廣泛兼容助力AI數據中心800G光模塊升級
合作案例,成為AI數據中心升級的關鍵推動者。
一、技術實力:AI光模塊的研發與量產先鋒
睿海光電作為全球AI光模塊的領先品牌,專注于為
發表于 08-13 19:01
加速AI未來,睿海光電800G OSFP光模塊重構數據中心互聯標準
定義數據中心互聯的新范式。
一、技術實力:800G OSFP光模塊的卓越性能表現
睿海光電800G OSFP光模塊系列采用行業領先的PAM4調制技術,具備以下核心優勢:
超高速率 :單
發表于 08-13 16:38
PCIe協議分析儀在數據中心中有何作用?
升數據中心的整體可靠性。以下是其核心作用及具體應用場景的詳細分析:一、性能優化:突破帶寬瓶頸,提升計算效率
鏈路帶寬利用率分析
場景:在AI訓練集群中,GPU通過PCIe與CPU交換數據,若帶寬利用率低
發表于 07-29 15:02
國民技術發布面向AI數據中心的3 kW數字電源參考設計方案
在人工智能(AI)算力爆發式增長與全球能源結構轉型的雙重驅動下,電力供給體系正經歷從”粗放式”到”智能化”的范式變革。AI數據中心的單機功耗已突破15kW,根據Uptime Insti
中型數據中心中的差分晶體振蕩器應用與匹配方案
同步模塊等。
2. 高校/科研機構智能計算中心
應用背景: 服務于AI訓練、大數據建模與圖像處理的科研計算平臺,要求高速網絡與大容量數據同步
發表于 07-01 16:33
小型數據中心晶振選型關鍵參數全解
。建議使用良好的接地設計和低阻抗走線來減少干擾。
總結
在小型數據中心中,差分晶體振蕩器(DCO)扮演著至關重要的角色,尤其是在交換機、路由器、網絡接口卡(NIC)、存儲設備和光纖通信設備等高速、精密
發表于 06-11 13:37
AD、DA轉換器接口技術與實用線路
板設計。 全文從頭至尾都突出一個“用”字,除闡述基本原理、基本接法和計算機的接口技術之外,列舉了大量的實用電路和應用軟件,使該書具有理論聯系實際的特色,這對于具體設計檢測儀器、智能儀表、數據
發表于 04-10 15:10
AI加持下的數據中心,需要怎樣的高速接口技術?
評論