在目前廣泛應用于AI的內存方案中，包括片上存儲、HBM和GDDR。

作者 | 吳優

人工智能經過幾十年的發展，在數據爆炸時代正處于良性循環，大量的數據用于制造和訓練神經網絡，而后利用神經網絡篩選并理解這些數據。

不過，我們仍然對于更好的人工智能有巨大需求，據Open AI的一份報告顯示，從2012到2019年，人工智能訓練集增長將近30萬倍，每3.43個月翻一番，比摩爾定律快25000倍，在摩爾定律將近失效的今天，那么怎么樣才能讓人工智能提供更好的性能？

內存帶寬限制人工智能模型本身

早在兩年前，業內就有人提出，在計算能力和數據量足夠的年代里，內存帶寬才是人工智能發展的瓶頸。

德克薩斯高級計算中心（TACC）研究科學家曾在其2016年的報告《HPC系統中的內存帶寬和系統平衡》中比較過去25年某些HPC服務器的浮點計算情況，結果顯示內存、網絡延遲和帶寬大幅度落后于處理器性能，其中內存帶寬大約每十年落后浮點計算4.5倍。

“一個非常有趣的現象是，內存對人工智能的限制一部分體現在人工智能模型本身，以及用來訓練這些模型的數據量規模急劇增長。”Rambus 大中華區總經理蘇雷在Rambus 2020中國設計峰會上說到。

根據蘇雷的介紹，這種限制在人工智能傳統訓練模型和并行訓練模型上均有體現。

傳統神經網絡訓練通常只使用一個AI/ML引擎，即將神經網絡模型和訓練數據全都嵌入一顆芯片中，訓練的數據在芯片中迭代循環，通過不斷更新模型實現對數據的分類、識別和處理，這一場景下其性能直接取決于計算引擎和緩存速度、內存帶寬。

為提高數據訓練時間，具體多個AI/ML引擎的神經網絡得以出現，這種方法是神經網絡模型的完整副本同時嵌入多個芯片中，神經網絡模型所需的訓練工作量被均分到每一顆芯片中，多個芯片引擎并行處理訓練集，進而提高訓練時間。

并行方案的每一個訓練步驟可分為兩個階段，每個階段受到的帶寬限制不盡相同。

在第一階段，每個訓練的并行引擎將通過它們的訓練結果更新其模型副本，因此并行訓練的每個芯片在運行完每一次訓練迭代后，都會有不同的訓練更新，因此這一階段數據傳輸到芯片的速度直接取決于內存帶寬的大小。

在第二階段，即規約階段（Reduction），需要每個引擎與所有其它引擎交互更新信息，讓芯片彼此了解其它芯片的更新并接受來著其他芯片的更新，得以更新自己的模型，恢復模型間的同步，再次擁有相同的模型副本。顯然，這一階段的性能主要取決于芯片間鏈路帶寬的限制。

HBM 2和GDDR 6，更多的內存選擇

“為縮小內存帶寬和高性能浮點計算之間的差距等問題，我們有新的系統架構和面向特定領域的硅，或者將更多的數據直接放在芯片上，以獲得更高的帶寬，更好的功率和更低的延遲，但是數據總是越來越大，需要更多的內存，所以依然需要在片外存儲器和鏈路性能上取得突破。”Raymond Su表示。

在目前廣泛應用于AI的內存方案中，片上存儲（On-Chip Memory）就是Raymond Su所言的擁有最高帶寬和功率效率但容量有限的方案，其他兩種方案分別是HBM和GDDR，即DRAM解決方案。

HBM是一種基于3D堆棧工藝的高性能DRAM。第一代HBM誕生于2013年，最新一代HBM標準已經演進到HBM2E，能夠支持12個DRAM的堆棧，內存容量高達每堆棧24GB，當傳輸速率達到每管腳3.6Gbps時，HBM2E可以實現每堆棧461GB/s的內存帶寬。

由于HBM2E堆棧需要通過高達1700多條數據“線”的接口連接到相關處理器，遠遠超過標準PCB能夠支持的范圍，因此使用硅中介層作為連接內存堆棧和處理器的中介，在硅中介層中完成精細的數據走線，獲得HBM接口所需數量的數據線數。

HBM2E通過堆疊技術實現高帶寬和高容量，但由于硅中介層的使用，成本偏高。

GDDR是雙倍數據傳輸率存儲器，采用傳統的方法將標準PCB和測試的DRAMs與SoC連接在一起，具有較高的帶寬和較好的能耗效率，其缺點在于更難保證信號完整性和電源完整性。

比較256GB/s下HBM2和GDDR6，HBM2E的接口寬而慢，GDDR6的接口窄而快。HBM2占有面積優勢和能耗優勢，但GDDR6具有成本和方案工程上的實現優勢。

HBM2與GDDR6內存解決方案的高帶寬已經顯而易見，不過想要真正落實到實現高性能人工智能的應用上，還需要IP供應商的支持，在HBM2和GDDR6內存解決方案的IP供應中，Rambus就扮演重要角色。

根據Rambus資深應用工程師曹汪洋在Rambus 2020中國設計峰會上的介紹，Rambus的HMB2E接口解決方案（PHY和控制器）專為AI/ML、HPC的高性能和低延遲而設計。Rambus HBM Gen2 PHY 完全符合JEDEC HBM2E標準，支持每個數據引腳高達3.6Gbps 的數據速率，總帶寬因此達到461 GB/s。該接口具有8個獨立信道，每個信道包含128位，總數據寬度為 1024 位，支持2、4、8 或 12個DRAM的堆棧高度。

Rambus GDDR6 PHY每個引腳的速度高達16 Gbps，可用于TSMC 7nm工藝，GDDR6接口支持2個信道，每個信道有16位，總數據寬度為32位。另外，Rambus GDDR6 PHY 每個引腳的速度高達16 Gbps，最高可提供 64 GB/s 的帶寬。

在Rambus 2020中國設計峰會的交流環節，蘇雷向雷鋒網表示： “Rambus 是全球HBM IP技術的引領者，且在市場份額上排名第一，全球范圍內擁有50多個成功案例，Rambus最新的Rambus HBM2E的方案可以實現全球最高的4Gpbs速率，GDDR6方案可以實現18Gbps速率，位于業界頂尖水平，這能夠幫助客戶的方案設計提供足夠裕量空間，保證整個系統的穩定性，目前燧原已將選擇了Rambus作為其下一代AI訓練芯片的合作伙伴。”

高帶寬之后，信號完整性也是挑戰

在上述文章中提到，HBM和GDDR是可以為AI/ML提供高帶寬，其中速率更高的GDDR6面臨著信號完整性和電源完整性的挑戰。

據雷鋒網了解，信道中不同類型的損耗是影響信號完整性的主要因素，具體又可以分為插入損耗、反射和串擾，插入損耗產于介電損耗或金屬電阻表面粗糙程度，主要通過較好的PCB和封裝設計來控制。信號反射源于阻抗，最終會導致眼圖閉合和信號丟失。串擾由于兩個信號之間的電容和電感耦合引起的，由于從信號中消除串擾的電路很復雜，因此串擾是GDDR6 DRAM信號完整性最具挑戰性的問題。

針對信號完整性問題，蘇雷表示：“ 要確保信號的完整性，就需要從發送端到接收端進行的完整系統建模，需要采用協同設計的方案。Rambus 的GDDR6 PHY解決方案可以穩定在18Gbps并確保傳輸眼圖清晰，走在業界最前列。在高速的傳輸下，還需要對電路板上的封裝設計進行建模，使用比如DFE和反轉等技術，可以提高性能讓眼圖更好的打開 。”

當然除了信號完整性和電源完成性，DRAM數據速率的增長還導致更多其他的問題，“我們需要做的還是兼顧能耗的制約，不斷找尋和提升內存帶寬的方法，為AI/ML更高的性能。”蘇雷說道。

責任編輯：PSY