為了解決未來應用的算力需求，半導體產業內的IP與工藝創新仍在持續發展，如今多晶片（multi-die）系統已經變得愈發普遍。然而，負載需求已經開始影響到計算陣列、內存以及DDR、HBM和UCIe的帶寬等，因為新一代的硬件都已轉為面向未來的AI負載設計。

真正驅動多芯片系統發展的因素

? ? SoC性能一直在迭代升級，多核設計在推動性能提升上的重要性也是被廣泛討論的話題之一，因為“登納德縮放定律”(Dennard scaling)也被視為即將迎來終結（圖1）。

圖1：SoC性能的迭代升級

即便忽略這一趨勢，為了滿足性能需求，晶圓代工廠持續推進下一代工藝節點，使其實現更高的頻率和更高的邏輯密度從而集成更多的處理單元，同時減少功耗面積。這一持續創新的趨勢可見圖2。

圖2：最新的IMEC工藝節點路線預測圖

除了工藝節點的創新外，多核架構和處理器陣列也在積極克服性能迭代提升的問題。然而，無論是多核架構的創新，還是工藝節點的迭代升級，兩者都需要一個新的多芯片系統架構。解決內存墻的問題無疑是多芯片系統的主要驅動需求之一（見圖3）。下圖向我們展示了內存密度正以每兩年翻倍的速度增長，而工作負載所需的內存密度正以每兩年翻240倍的速度增長。如需了解更多詳情，可以瀏覽發表在Medium上的《AI與內存墻》一文。

圖3：訓練先進模型所需的算力（單位Peta FLOPs），用來訓練SOTA模型，包括不同的CV、NLP和語音模型，以及不同Transformer模型的規模擴展速度（兩年翻750倍）；同時包括所有模型的平均規模擴展速度（2年翻15倍）。

為了滿足內存帶寬方面的性能需求，我們已經看到當前片外內存市場被高帶寬內存（HBM）等新技術所顛覆。業界已經看到HBM3成為HPC市場的主流。這一革新仍將繼續，因為 HBM 有一個很好的未來性能提升路線圖。 遺憾的是，以上所表述的內存墻僅限于片外內存，而片上內存系統在如今大多數SoC設計中都起到了至關重要的作用，所以不久的將來，這一行業的革新同樣不可避免。

當下的設計重心

AI與安全相關的負載計算量正在急劇地提升，這也推動了不少頻率提升之外的片上性能創新。其中絕大多數創新都集中在負載所需的處理器上。例如人工智能算法推動了大規模乘法累加并行運算以及創造性嵌套循環的設計，在減少了運算周期的同時提高了單個周期完成的工作量。

不過，這些負載也需要更大的內存密度來存儲權重、系數和訓練數據。這就推動了更大容量和更高帶寬的片上與片外內存的出現。在片外內存方面，業界已經迅速普及了新一代的HBM、DDR和LPDDR內存。然而，芯片供應商最大的差異化方案還是體現在片上內存配置上。例如，在AI加速器領域，每個供應商都在力求在全局SRAM和緩存上集成更高帶寬和更高密度的內存。利用特殊方法優化每個處理單元的內存配置，也是這一創新難題中最關鍵的一環。

從SoC性能提升退一步看，業界面臨的另一大問題就是云端AI系統的功耗。圖4展示了谷歌數據中心的耗電量。顯而易見，設計出具備更高能效CPU的SoC是至關重要的，多家SoC初創公司都公開宣傳其AI處理器其的高效性，并聲稱可以解決這一問題。但是，整體的系統性能還應該將片外內存計算在內，比如DRAM的功耗往往占總功耗的18%。由于HBM的pJ/bit冠絕群雄，所以在設計中采用更低功耗的HBM越來越普遍。

圖4：谷歌數據中心耗電量

回到性能的話題上來，在討論更為廣泛的SoC系統時，AI加速器的片上競爭點很明顯，往往都是如何在每一代產品中集成比競品更多的SRAM和緩存。例如，英偉達等市場主導者會積極采用最新的工藝技術，每一代產品都集成了更大的二級緩存和更高的全局SRAM密度，以獲得AI負載下更高的性能。

針對AI負載進行芯片設計的額外的挑戰

? ? 當針對AI負載進行芯片設計時，還有幾個因素是需要納入考量的。其中一個老生常談的問題是內存帶寬。許多AI SoC芯片供應商將內存帶寬作為關鍵的性能指標。然而，內存帶寬還需要結合更多因素來看。比如，從全局內存訪問數據所需的周期數可能是二級緩存的 1.9倍，而二級緩存所需的周期數幾乎是一級緩存的6倍，以下數據來源于英偉達Ampere GPU的測試數據。

全局內存訪問（最高80GB）：~380周期

L2緩存：~200周期

L1緩存或共享內存訪問（每個流處理器最高128kb）：~34周期

乘加運算，a*b+c（FFMA）：4周期

向量核心矩陣乘法運算：1周期

因此，要想提高這些負載的性能，在前幾代系統中進一步提高L1和L2緩存就非常重要了。對于具有大規模處理并行性的AI計算負載而言，提高接近處理單元的緩存密度是最高效的設計改進之一。 片上系統內存優化的另一種方法則涉及AI算法相關的特定知識。例如，根據這些AI算法的最大中間激活值來設計本地內存。這就消除了片上傳輸數據的瓶頸。這種方法更適合用于邊緣側，因為軟硬件協同設計將決定效率的高低。可惜的是，這就需要對終端應用有著足夠深入的了解。同樣，這類系統的建模可在提高硬件性能上發揮關鍵作用，而新思恰好在為開發者提供解決方案上具備得天獨厚的優勢。

下一輪創新的側重點是什么？

? ? 我們已經討論了采用DDR/LDDRP和HBM等片外內存接口來提高內存帶寬，但這些技術還無法跟上芯片內集成的AI處理器算力。片外內存的發展差距正在明顯地擴大。Meta在近年的一次OCP峰會上指出了這一趨勢（圖5）。

圖5：不斷增加的片外內存性能差距

接口 IP 標準最近在下一代標準的進步方面有所上升，以跟上這種性能差距。例如，下一代標準接口通常每四年發布一次，最近又加快到每兩年發布一次。AI和安全工作負載的出現有助于更快地采用下一代技術。

圖6：下一代標準的發布速度逐漸加快，用于補全性能差距。

處理單元與內存的差距不僅體現在片外內存的進步上，也體現在了片上內存的革新上。仔細觀察工藝節點的演進，我們可以發現三類持續創新（表1）

先進晶圓代工廠（如臺積電）每一代處理器的最高頻率都在提升，且他們開發的16nm、7nm、3nm等工藝節點也在逐漸提高性能

每個工藝節點的功耗都會降低25%以上

更高的邏輯密度意味著每mm2上可集成更多的處理器，如下表所示，其密度增加了40%以上。

表1.工藝節點演進帶來的革新

然而，正在放緩的創新是代工廠提供的片上SRAM/緩存等的密度改進。規模的削減可能已經放緩。這種減慢甚至表明，從5nm節點遷移到3nm節點可能會看到SRAM密度的輕微降低或沒有降低。這給未來的計算帶來了一個問題，因為人工智能工作負載需要每個處理元素更高效、更高密度的內存。新思科技專注于這一市場挑戰，以確保在每個節點遷移時提高內存的密度。

除了改善片上內存之外，改善這種計算與內存比的另一種方法是在分布式計算和內存系統架構中擴展這些片上存儲。為了提高性能，未來的架構必須利用多芯片系統，以滿足單個芯片上正確的處理器和內存比的需求，并將該性能擴展到復雜系統中的多芯片系統中。

UCIe和XSR標準的出現，填補了連接多個裸片擴展性能的可靠標準方案空白。AI加速器產業幾乎都在這類負載中用到了die-to-die互聯技術。UCIe是一種標準的并行die-to-die接口，在目前性能領先的multi-die系統中，UCIe正迅速成為主流接口。最重要的是，這些die-to-die互聯標準已經普及到了嵌入式內存，性能明顯優于供特定處理單元訪問的外部內存。這也是各大企業競相角逐性能最高密度最高的嵌入式內存陣列的原因，即為了滿足未來持續增長的負載需求。 性能顯然是下一代單片SoC和多芯片（multi-die）系統架構創新的主要驅動力。

為了進一步提高性能，業界開發出了獨特而創新的AI處理器。未來的工藝節點為實現更高的處理單元密度提供了可能，所以性能的提升不可避免。然而，內存性能也必須得到提升。最高效的內存永遠是那些布局臨近處理單元的。為了更好地擴展這些未來SoC的性能，除了靠新接口IP標準提高帶寬外，還將利用multi-die系統架構。下一代接口IP比如HBM3和UCIe等都將用于提高帶寬，但創新型的嵌入式內存同樣不可或缺，以便在每一代工藝節點上擴展性能。

結語

多芯片系統（Multi-Die System）是業界熱度最高的話題之一。然而，要想滿足當下AI與安全負載需求，解決內存技術挑戰必將推動下一代SoC架構的創新。隨著工藝節點的演進，這些架構需要更高的性能和更高的內存密度。如果內存的擴展速度慢于處理單元，但負載卻要求更高的內存密度，那么就必須打造顛覆性的內存技術。一個明確的解決方案就是多芯片系統（Multi-Die System），充分利用更多高帶寬和高密度的片上內存。這些內存與IO創新將得到快速應用，以滿足未來負載的需求，并為即將到來的行業革新帶來機遇。