大數據真的很厲害，相信很多人都感受到了，比如你剛逛完某寶開始刷某音，卻發現某音給你推送了你剛剛看過的商品的廣告，以及相似品類的帶貨直播；再比如某頭條每次給你推送的內容都是你感興趣的。這些APP似乎比你更了解你自己。

“精準推薦”的背后，其實是大量具有挑戰性的開發工作，是人工智能技術的加持。AI加速器是推薦系統的關鍵技術，它的速度和能效是預測準確性的關鍵。

2019年，Meta（前Facebook）呼吁業界在其開發的開源深度學習推薦模型（DLRM）基礎上進行推薦系統硬件加速的開發。Neuchips Inc.的開發團隊倍受啟發，他們隨后設計出推薦模型容量更大的DLRM加速器Neuchips RecAccel-N3000。

RecAccel-N3000是專為數據中心的推薦模型而設計的，它能做到每焦耳能量實現100萬次DLRM推斷，舉個例子來說，也就是當芯片工作在20W時，每秒可進行2000萬次推斷。

這款AI加速器是使用新思科技的EDA工具開發的，并將采用臺積電7nm工藝制造，樣品計劃在2022年底完成。

正常來說，這一過程通常需要100多人花3到4年才能完成，但Neuchips僅30人的開發團隊在短短18個月內就制造出了400mm2的人工智能芯片。今天的文章中我們將詳細介紹他們是如何做到的。

開創一種獨特的

“直連ASIC”開發方法

以DLRM為代表的人工智能推薦系統，是利用云計算和大數據方面的最主要的機器學習應用之一。優化過的DLRM可以產生更加有效的推理結果，但卻需要平臺能夠在能耗和存儲不大幅增加的情況下提供更多的算力。

Neuchips開創了一種獨特的“直連ASIC”開發方法，通過專門構建的特定領域AI加速器以及共同設計的編譯器和runtime軟件來進行加速。在該公司的異步、異構數據流架構中，用來優化DLRM邏輯架構的每種IP和處理器都是精心定制的。

此外，RecAccel-N3000還具有以下特點：

160MB片上SRAM

4x64帶有ECC的LPDDR5

高達128GB的卡上DRAM

多達16通道的PCI Express（PCIe）3.0、4.0和5.0

嵌入式安全硬件信任根模塊

為了能夠率先進入市場，Neuchips積極尋求能夠幫助該公司加快設計周期的支持、設計和驗證工具以及IP。Neuchips在人工智能芯片設計實驗室找到了所需的資源，這一實驗室是新思科技與臺灣工業技術研究院（ITRI）的合作項目。因為團隊內的很多成員已經非常熟悉新思科技的技術，因此Neuchips很快決定與新思科技合作開展這一項目。

該人工智能芯片設計實驗室位于臺灣新竹的工研院總部，已獲得臺灣工業技術部門（DoIT）和經濟部門（MOEA）技術發展計劃的支持。人工智能芯片設計實驗室的主要產品之一是基于ARC人工智能參考設計平臺的新思科技系統級解決方案，涵蓋了架構設計、虛擬原型、系統驗證等。該設計平臺旨在幫助降低進入人工智能領域的門檻，縮短設計周期。

將芯片開發時間縮短一年以上

基于其獨特的特性，DLRM可能難以用通用的AI加速器來加速。Neuchips開發的RecAccel-N3000具有定制的硬件IP，可以加速Embedding、矩陣乘法和特征交互。Neuchips與新思科技合作，實現了由ARC AI參考設計平臺支持的早期硬件/軟件協同開發，為芯片開發節省了一年多的時間。

借助該設計平臺，Neuchips團隊能夠在早期開發和驗證RecAccel-N3000特定領域人工智能加速器的PCIe 5.0子系統和LPDDR5子系統，然后將其集成到整個芯片中。新思科技的云端ZeBu Server 4硬件加速系統用于驗證這些子系統以及整個RecAccel-N3000。

RecAccel-N3000采用了新思科技的一系列IP模塊，包括：

ARC HS48處理器

ARC EV72處理器

用于AMBA、LPDDR5和PCIe的接口IP

具有高級電源管理功能的內存編譯器

硬件安全模塊，具有信任根，為數據中心的IT設備提供安全保障，確保啟動代碼的完整性和設備認證

使用經驗證的新思科技IP幫助Neuchips團隊降低了集成風險，大幅縮短了設計周期。新思科技的應用開發者還支持Neuchips優化其基于云的芯片設計代碼、配置IP，并在基于FPGA的ZeBu Server 4系統上進行仿真和驗證，這將整個ASIC RTL仿真的時間從兩周縮短到了20分鐘左右。

助力RecAccel-N3000開發過程的其他設計和驗證工具包括 Design Compiler RTL綜合解決方案、VCS功能驗證解決方案、SpyGlass靜態和形式化驗證平臺、Verdi自動調試系統、Formality等效性檢查、PrimeTime靜態時序分析工具、PrimePower RTL to signoff功率分析工具以及IC Compiler II布局布線解決方案。

推薦系統在數智化世界中的應用逐漸廣泛且日益精準， RecAccel-N3000的出現恰逢其時。通過加速數據中心的推薦，這一高性能、高能效、可擴展的人工智能平臺有望幫助各行各業實現個性化的用戶體驗。通過與新思科技、工研院以及臺灣半導體領域的其他公司的密切合作，Neuchips Inc.已經實現了快速上市的目標，在提供有影響力的人工智能解決方案的競爭中取得了先機。