談到如何設計AI加速器，許多工程師都會給出不同的答案，但歸根結底仍是在一顆先進制程的芯片上排列組合數十億個晶體管。然而當前超大規模的AI推理依然面臨著不少挑戰，比如成本和復雜度高居不下，傳統架構下的性能、功耗和可編程性無法滿足超大規模的要求等。初創公司Esperanto作為去年才開始冒頭的初創企業，卻打算用RISC-V來解決這一問題。

Esperanto創立于2014年，其董事長Dave Ditzel曾在英特爾負責下一代微處理器架構的設計。Esperanto的工作方向是基于RISC-V這一開放架構，開發高性能、高效率的計算方案。為此，他們打造了ET-SoC-1，一個千核的RISC-V處理器，也是他們開發的首個AI加速器。

ET-SoC-1 / Esperanto
ET-SoC-1的名字寓意并不是傳統的SoC，而是面向超大規模數據中心的“片上超級電腦”。它包含了近乎1100個RISC-V核心，近240億晶體管。需要指出的是，ET-SoC-1是一個AI推理加速器，并不是訓練加速器。

據CEO Art Swift介紹，該芯片采用了臺積電7nm制程，在特定的工作任務上，能耗效率提高可至100倍。ET-SoC-1在其他關鍵工作任務上，性能提升要遠高于傳統的CPU加GPU方案。比如在模擬測試中，用于推薦網絡時，其性能提升高達50倍，在圖像分類上，性能提升高達30倍。雖然這些暫時只是紙面測試參數，但這樣的性能和功耗無疑可以給AI客戶帶來很大的吸引力。

據了解，這一芯片直至2021年第二季度才正式流片，預計2022年早期才會開始量產。這是因為Esperanto花了很多時間在驗證上，作為一家初創公司，Esperanto采用了架構、硬件和軟件聯合設計的方式，這樣一來雖然節省了時間，卻也讓規格一直在持續變動。因此Esperanto在驗證團隊上投入了許多精力，也率先采用了新思的ZeBu FPGA仿真方案，以求減少查錯和除錯時間。

ET-SoC-1芯片架構 / Esperanto

ET-SoC-1用到了兩種Esperanto自研的RISC-V核心，分別是4個ET-Maxion（超標量亂序核）和1089個ET-Minion（順序多線程核心）。ET-Maxion是一顆可以運行Linux的大核心，核心頻率超過2GHz，作為ET-SoC-1的控制CPU，而ET-Minion則用于矩陣乘法等重度機器學習數據處理。

ET-Maxion作為核心頻率超過2GHz的10級流水線RISC-V核心，其實原本是伯克利大學Boom V2開源核心的的分支，但Esperanto對此進行了大刀闊斧的改進。在SPEC2006測試下，其性能已經超過了Cortex-A57，不過還是次于Cortex-A72以及SiFive最近公布的P550。

雖然是一個小核，但ET-Minion也是一個64位RISC-V核心。ET-SoC-1內，32個ET-Minion和4MB的L2 SRAM組成了“Minion Shire”，一共34個Shire采用Mesh的方式連接在一起，多出來的一個ET-Minion則用作服務處理器。Esperanto用這一千多個ET-Minion做到了強大的浮點性能，某些傳統加速器僅支持INT8運算，而ET-SoC-1在FP16或FP32上都能展現出不俗的優勢。


搭載6個ET-SoC-1的Glacier Point v2 / Esperanto

Art Swift提到，Facebook推出的開源AI板卡Glacier Point v2可以搭載6個ET-SoC-1芯片，這樣以來就可以直接接入已有的開源計算項目（OCP）設備中。這一張卡上就包含了6558個RISC-V核心和192GB的LPDDR4X DRAM，帶寬可達822GB/s的同時還擁有較低的功耗。據估計，這一設計的板卡峰值性能可達800 TOPS（INT8）以上。

在軟件層面上，Esperanto也為C++、Pytorch和TensorFlow常見的機器學習框架提供了支持。只需采用Facebook的開源編譯器，就可以在多個ET-SoC-1芯片上運行機器學習模型。

結語

RISC-V雖然在傳統的CPU與GPU市場還未徹底崛起，但在AI加速上，已經以其獨到的優勢迅速攻城略地。這種千核式的設計其實已經應用于Arm等架構，不少數據中心、超算卻依然在嘗試用RISC-V作為加速器。

RISC-V憑借其開放性、擴展性和自主性，并沒有像Arm那樣由低至高地發展市場，而是低端和高端兩頭抓，一旦消費市場也開始普及RISC-V生態，那時的RISC-V就有與Arm全市場爭霸的希望了。