如今，人工智能 （AI） 無處不在，從互聯網核心的數據中心到互聯網邊緣的傳感器和手持設備（如智能手機）以及介于兩者之間的每個點，例如自主機器人和車輛。?

人工智能有兩個主要方面：訓練，主要在數據中心進行，以及推理，可以在從云到最不起眼的人工智能傳感器的任何地方進行。

人工智能貪婪地消耗了兩樣東西：計算處理能力和數據。在處理能力方面，ChatGPT 的創建者 OpenAI 發布了報告，顯示自 2012 年以來，大型 AI 訓練運行中使用的計算量每 3.4 個月翻一番，而且沒有放緩的跡象。

在內存方面，像 ChatGPT-4 這樣的大型生成式 AI （GenAI） 模型可能有超過一萬億個參數，所有這些參數都需要以一種允許同時處理大量請求的方式訪問。此外，還需要考慮需要流式傳輸和處理的大量數據。

速度慢的方案

假設我們正在設計一個包含一個或多個處理器內核的片上系統 （SoC） 設備。我們將在設備內部包含相對少量的內存，而大部分內存將駐留在 SoC 外部的設備中。

最快的存儲器類型是SRAM，但每個SRAM單元需要六個晶體管，因此SRAM在SoC內部很少使用，因為它會消耗大量的空間和功率。相比之下，DRAM每個單元只需要一個晶體管和電容器，這意味著它消耗的空間和功率要少得多。因此，DRAM 用于在 SoC 外部創建大容量存儲設備。盡管DRAM提供高容量，但它比SRAM慢得多。

隨著用于開發集成電路的工藝技術不斷發展，結構越來越小，大多數設備變得越來越快。可悲的是，作為DRAM核心的晶體管-電容器位單元并非如此。事實上，由于其模擬性質，比特單元的速度幾十年來基本保持不變。

話雖如此，從外部接口可以看出，DRAM的速度隨著每一代產品的發展而翻了一番。由于每次內部訪問都相對較慢，因此實現此目的的方式是在設備內部執行一系列burst訪問。如果我們假設我們正在讀取一系列連續的數據單詞，那么接收第一個單詞將需要相對較長的時間，但我們會更快地看到任何后續單詞。

如果我們希望流式傳輸大塊連續數據，這很有效，因為我們在傳輸開始時會受到一次性點擊，之后后續訪問會高速進行。但是，如果我們希望對較小的數據塊執行多次訪問，則會出現問題。?

速度更快的方案

解決方案是使用高速SRAM在處理設備內部創建本地cache存儲。當處理器首次從 DRAM 請求數據時，該數據的副本將存儲在處理器的cache中。如果處理器隨后希望重新訪問相同的數據，它將使用其本地副本，該副本的訪問速度要快得多。

在 SoC 內部使用多級cache是很常見的。這些稱為 1 級 （L1）、2 級 （L2） 和 3 級 （L3）。第一個cache級別具有最小的容量，但訪問速度最高，每個后續級別的容量更高，訪問速度更低。如圖 1?所示，假設系統時鐘為 1GHz，DDR4 DRAM，處理器訪問其 L1 cache僅需 1.8 ns，訪問 L2 cache只需 6.4 ns，訪問 L3 cache只需 26 ns。從外部 DRAM 訪問一系列數據字中的第一個需要高達 70 ns。

圖1??cache和 DRAM ?訪問?速度??????????

cache在 AI 中的作用

AI 的實現和部署方案種類繁多。就我們的 SoC 而言，一種可能性是創建一個或多個 AI 加速器 IP，每個 IP 都包含自己的內部cache。假設我們希望與 SoC 處理器集群保持cache coherence，我們可以將其視為保持數據的所有副本相同。然后，我們將不得不使用coherent interconnect形式的硬件cache coherence解決方案，例如 AMBA 規范中定義的 CHI。

圖2 cache示例。

維護cache一致性會產生開銷。在許多情況下，AI 加速器不需要保持cache一致性，達到與處理器集群相同的程度。例如，可能只有在加速器處理了大量數據后，才需要重新同步，這可以在軟件控制下實現。AI 加速器可以采用更小、更快的互連解決方案（圖 2b）。

在許多情況下，加速器 IP 的開發人員在其實現中不包括cache。有時，在性能評估開始之前，沒有認識到對cache的需求。一種解決方案是在 AI 加速器和互連之間加入一個特殊的cache IP，以提供 IP 級性能提升（圖 2c）。另一種可能性是將cache IP 用作最后一級cache，以提供 SoC 級性能提升（圖 2d）。

cache設計并不容易，但設計人員可以使用可配置的現成解決方案。

許多 SoC 設計人員傾向于只在處理器和處理器集群的上下文中考慮cache。但是，cache的優勢同樣適用于許多其他復雜 IP，包括 AI 加速器。因此，以 AI 為中心的 SoC 的開發人員越來越多地評估和部署各種支持cache的 AI 場景。

?審核編輯：黃飛

?