Meta：正在多款自研芯片上使用RISC-V

在DAC 2023上，Meta 的 ASIC 工程經理 Himanshu Sanghavi 談到了 Meta 正在使用 RISC-V 開展的各種項目。他表示，定制指令是“我們決定采用 RISC-V 架構的關鍵因素”，因為 Meta 從 IP 提供商處定制 RISC-V 內核，“以加速計算、降低能耗并創建更靈活的 ASIC”。

Sanghavi 進行了更詳細的介紹：“我在 Meta 的團隊正在開發基于 RISC-V 的 ASIC，用于視頻轉碼以及機器學習應用。這些 ASIC 正在我們的數據中心運行一些計算最密集的工作負載。這些是大型、高性能的設備，由多個不同的處理器、硬件加速器、內存系統、接口 IP 組成，全部位于一個芯片上。大約四年前，當我們開始這項工作時，我們評估了多種不同的處理器架構，并決定對這些 SoC 的一些關鍵插槽采用 RISC-V。這一選擇的驅動因素是 RISC-V 是一種開放架構，并且有多個處理器 IP 提供商實現了該架構。快進到今天，Meta現在有幾個可用的 ASIC，它們使用 RISC-V 處理器進行控制處理和數據處理。特別是后者確實使用自定義指令。為一些對我們的工作負載很重要的專門計算定義的自定義指令，以及在同一芯片上的處理器內核和硬件加速器之間構建自定義接口。”

Meta自研芯片計劃詳情

Meta 最近發布了一系列與其內部 AI 基礎設施和芯片相關的公告。其中一些主題包括遷移到具有更多液體冷卻、更高功率和設施級別變化的數據中心。在硅方面，有趣的是，Meta 正在采取與谷歌完全相同的策略。

Meta 只是在談論他們已經擁有的舊芯片，就像新的東西已經準備就緒一樣。例如,他們在去年使用 16,000 個 Nvidia A100 構建的研究集群上發布了整個博客，只是在他們已經開始使用 H100 構建更大的集群之后。正如我們過去報道的一樣，H100 集群的基礎設施設置非常奇怪。

本問將涵蓋 Meta 自 2021 年以來擁有的舊芯片以及 Meta 目前正在開發的新芯片。我們將討論架構、路線圖、各種設計合作伙伴和未來的抱負。

Meta可擴展視頻處理器 (MSVP)

Meta 展示了他們自 2021 年以來一直在部署的視頻編碼 ASIC。視頻編碼 ASIC 對公司來說是非常重要的基礎設施。例如，這是亞馬遜不得不通過 Twitch 提供比谷歌的 YouTube 差得多的直播服務的主要原因。

谷歌是第一個設計視頻編碼芯片的公司，代號為 Argos，我們在多年前就介紹過了Google的布局。大規模部署的谷歌 Argos VPU 完成了超過 1000 萬個英特爾 CPU 的 VP9 編碼工作.，這為谷歌節省了數十億美元的成本。我們 We have 還介紹了 NetInt 的 VCU，這是一家擁有類似視頻編碼 ASIC 的初創公司，他們設計的產品正在出售給字節跳動、百度、騰訊和阿里巴巴等公司。

Meta 有大量視頻上傳到 Instagram 和 Facebook，因此該產品對于降低成本至關重要。此外，第二M代ndMeta 的可擴展視頻處理器使他們能夠如此普遍地在卷軸中部署 AV1。注意 Meta今天只公開了第一代。

Meta 聲稱該芯片是內部開發的，但事實并非如此。宣布的 MSVP 和即將推出的下一代版本都是與 Broadcom 共同設計的。Google 的前兩代視頻編碼 ASIC 也是與 Broadcom 共同設計的。

每個 MSVP ASIC 芯片都擁有 4K 的最大轉碼能力，在最高質量設置下以 15fps 的速度運行，配置為一個輸入流到五個輸出流。它能夠在標準質量配置下以 60fps 的速度擴展到 4K。Meta 聲稱性能隨著分辨率的增加而統一。所有這些都是通過 PCIe 模塊大約 10W 的功率使用來實現的。H.264 性能提升 9 倍，VP9 性能提升 50 倍。

該芯片采用 M.2 22110 格式，支持 4 條 PCIe Gen 4 通道，即 8GB/s。展示的主板中還有 2 個 4GB 的 Micron LPDDR5，總共 8GB，內存帶寬為 88GB/s。封裝約為 24mm x 19mm，芯片尺寸約為 112mm^2。

Meta訓練和推理加速器 (MTIA)

人工智能是Meta 數據中心中最重要、成本最高的工作負載。Meta 至少從 2019 年就開始開發他們的 AI 芯片。第一代剛剛發布，雖然處理器類別被命名為 Meta Training 和 Inference Accelerator，但需要明確的是，第一代僅可用于推理。

Meta 的主要工作負載是當今的推理DLRM inference，因此，他們嘗試構建他們的芯片，尤其是針對該工作負載。提醒一下，DLRM 模型仍然是最大的大規模 AI 工作負載。這些 DLRM 是百度、Meta、字節跳動、Netflix 和谷歌等公司的支柱。它是廣告、搜索排名、社交媒體訂閱等方面年收入超過一萬億美元的引擎。

雖然生成式人工智能很快就會在硬件需求方面超過它，但這種轉變還沒有完全發生。

DLRM 模型正在持續增長，這導致 Meta 的基礎架構發生重大變化。有一段時間，他們大量使用英特爾的 NNP-I 推理加速器，但很快就讓位給了 GPU。在某些方面，第一代 MTIA 可以被認為是第二代 NNP-I，因為系統架構（不是 uarch）非常相似。

Meta 多年前就推出了他們的半定制 AI 加速器項目，他們的目標非常明確。更好的 DLRM 模型和易用性的推理成本更低。他們的第一代可以被認為是一種軟件工具，用于開發利用 PyTorch 2.0 的急切模式和全圖模式與 LLVM 編譯器的能力。他們正在致力于實施 Dynamo、Inductor 和 Triton。

我們的數據顯示，Meta 是今年 Nvidia H100 GPU 的最大個人買家。這不是巧合。Meta 需要 GPU 來進行訓練和推理，而在大多數情況下，H100 是滿足這種需求的最具成本效益的方式。

Meta 分享了他們各種生產推薦模型的概況。這些模型具有不同的大小和復雜性。Meta 還分享了各種硬件在這些工作負載中的性能。

雖然 Meta 沒有分享他們比較的 GPU，但我們四處詢問，似乎是舊的 Ampere GPU，而不是新的 Hopper 和 Lovelace GPU。雖然這看起來不公平，但請記住 Meta 的第一代stMTIA 也是一款較舊的芯片。一旦您疊加了新的 Nvidia 芯片的額外性能，第一代 MTIA 在每瓦性能方面失去了大部分工作負載。

話雖如此，第一代 MTIA 只是一個開始。

Meta 在 2021 年獲得了視頻中的芯片。MTIA 在臺積電的 7nm 晶圓廠制造，并由 Amkor 封裝。芯片標記表明這發生在 2021 年 8 月 23 日至8 月 29日。

該芯片具有 102.4 TOPS 的 INT8 和 51.2 TFLOPS 的 FP16 以及 25W TDP。共有 128 MB SRAM，運行速度為 800GB/s。該 SRAM 位于內存控制器旁邊，可以充當直接尋址為可尋址內存的內存端緩存。在以 176GB/s 運行的 256 位總線上還有高達 128GB 的 LPDDR5-5500。值得注意的是，Meta 使用了能夠達到 6400 MT 的 LPDDR5，但以降頻運行。還有 8 個 PCIe 4.0 通道。