數據中心生成式 AI 推理計算的先驅 d-Matrix，以及高效率、低功耗 RISC-V 處理器核心的領先供應商、RISC-V 國際協會的創始首席會員 Andes 晶心科技 (Andes Technology，TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)，今日共同宣布 d-Matrix 已選擇 AndesCore AX46MPV 作為其下一代 Raptor 推理架構的處理器。本次合作代表著針對數據中心規模的 AI計算工作，以存儲為中心的計算 (memory-centric computing) 與開放標準處理器創新技術的融合。

正在開發中的 Raptor 加速器，將是首款采用 d-Matrix 革命性 3D 存內計算 (3DIMC) 技術的芯片。3DIMC 是一種高效的小芯片 (chiplet-based) 方案，也是全球首個用于規模化 AI 推理的 3D DRAM 解決方案。它將計算單元和存儲單元堆疊在一起，能將數據移動的能耗和延遲降低到1/10，從而解決了限制傳統 AI 推理系統的存儲器瓶頸問題。

Andes 晶心科技的 AX46MPV 既是調度引擎，也是向量計算引擎，負責管理 Raptor 高帶寬計算架構中的工作負載分配、存儲器協調和運行控制，同時還分擔了諸如激活函數等計算任務。

d-Matrix 創始人兼首席執行官 Sid Sheth 表示：「Raptor 的創新設計，正在將推理效率和可擴展性推向遠超傳統架構所能達到的水平。AX46MPV 的 RISC-V 架構為我們的 3DIMC 方法提供了理想的 CPU，使我們能夠以前所未有的每瓦性能交付數據中心規模的推理。」

Andes 晶心科技董事長兼首席執行官 林志明 表示：「我們與 d-Matrix 的合作，展示了 RISC-V 如何賦能真正的數據中心級推理系統。通過將 d-Matrix 開創性的 3D 存內計算與Andes 晶心科技先進的 RISC-V 向量 CPU 相結合，我們正在將下一代生成式 AI 推理變為現實。」

本次合作標志著 RISC-V 進軍大規模 AI 推理領域的又一個里程碑。它將Andes 晶心科技成熟的 CPU IP 和軟件生態系統，與 d-Matrix 創新的小芯片式 3DIMC 架構完美結合。兩家公司正共同重新定義規模化生成式 AI 部署的每瓦性能和總擁有成本 (TCO)。

技術亮點

AX46MPV 是一款基于開放標準 RISC-V 指令集架構的 64 位、支持 Linux 的多核 CPU IP。其亮點包括：

配備高達 2048 比特 (bit) 的向量處理單元 (RVV 1.0)，在歸約求和 (reduction sum) 方面具有顯著性能提升。

雙加載/存儲單元，可用于標量/向量加載和存儲的任意組合。

高帶寬向量存儲器 (HVM)，能夠處理亂序 (out-of-order) 的數據返回。

支持多個未完成總線請求。

這些特性共同提供了數據中心級推理系統所需的性能余裕和軟件靈活性。針對 Transformer 和大型語言模型工作負載的核心參考內核(Reference kernels)顯示，相較于前代處理器 AX45MPV，性能提升高達 2.3 倍。

關于 d-Matrix

d-Matrix 正在開創 AI 推理的加速計算，突破延遲、成本和能耗的限制。其 Corsair 加速器、JetStream 網絡和 Aviator 軟件，為數據中心規模帶來了快速、可持續的 AI 推理。

關于Andes 晶心科技

Andes晶心科技股份有限公司于2005年成立于新竹科學園區，2017年于臺灣證交所上市 (TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)。Andes晶心是RISC-V國際協會的創始首席會員，也是第一家推出商用RISC-V向量處理器的主流CPU供貨商。為滿足當今電子設備的嚴格要求， Andes晶心提供可配置性高的32/64位高效能CPU核，包含DSP、FPU、Vector、超純量(Superscalar)、亂序執行(Out-of-Order)、多核及車用系列，可應用于各式SoC與應用場景。Andes晶心提供功能齊全的整合開發環境和全面的軟/硬件解決方案，可幫助客戶在短時間內創新其SoC設計。截至2024年底，Andes-Embedded SoC累計出貨量已超過170億顆。