NeuRRAM在邊緣計算領域的新突破。

近日清華大學團隊參與的一個國際研究團隊設計并制造了一種芯片——NeuRRAM，該芯片可以直接在內存中運行計算，并且可以運行各種 AI 應用程序。

NeuRRAM 神經形態芯片使人工智能更接近于在廣泛的邊緣設備上運行，與云斷開連接，它們可以隨時隨地執行復雜的認知任務，而無需依賴與中央服務器的網絡連接。應用遍及世界的每一個角落和我們生活的方方面面，從智能手表到 VR 耳機、工廠中的智能傳感器和用于太空探索的漫游車。 NeuRRAM 芯片的能效不僅是最先進的“內存計算”芯片的兩倍，這種在內存中運行計算的創新混合芯片，它還提供與傳統數字芯片一樣準確的結果。傳統的人工智能平臺體積更大，通常受限于使用在云中運行的大型數據服務器。 NeuRRAM芯片用途廣泛，支持多種不同的神經網絡模型和架構。因此，該芯片可用于許多不同的應用，包括圖像識別和重建以及語音識別。

NeuRRAM在邊緣計算上的潛能

傳統觀點認為，內存計算的更高效率是以多功能性為代價的，但 NeuRRAM 芯片在不犧牲多功能性的情況下獲得了效率。

目前，人工智能計算既耗電又昂貴。邊緣設備上的大多數人工智能應用程序都涉及將數據從設備移動到云端，人工智能在云端對其進行處理和分析。然后將結果移回設備。這是因為大多數邊緣設備都是電池供電的，因此只能用于計算的電量有限。

通過降低邊緣 AI 推理所需的功耗，這款 NeuRRAM 芯片可以帶來更強大、更智能、更易于訪問的邊緣設備和更智能的制造。它還可以帶來更好的數據隱私，因為將數據從設備傳輸到云會帶來更高的安全風險。

在 AI 芯片上，將數據從內存轉移到計算單元是一大瓶頸。研究人員表示“這相當于每天兩個小時的通勤時間為八小時。”

為了解決這個數據傳輸問題，研究人員使用了電阻式隨機存取存儲器，這是一種非易失性存儲器，允許直接在存儲器內而不是在單獨的計算單元中進行計算。使用 RRAM 芯片進行計算不一定是新事物，但通常會導致在芯片上執行的計算的準確性降低，并且芯片架構缺乏靈活性。

NeuRRAM 的新特點是，現在極高的效率與各種 AI 應用的極大靈活性相結合，與標準數字通用計算平臺相比，準確性幾乎沒有損失。精心設計的方法是在硬件和軟件的抽象層上進行多層次“協同優化”的關鍵，團隊需要考慮從芯片的設計到運行各種 AI 任務的配置。

NeuRRAM芯片性能

研究人員通過一種稱為能量延遲積或 EDP 的方法來測量芯片的能量效率。EDP結合了每次操作消耗的能量和完成操作所需的時間。通過這一措施，與最先進的芯片相比，NeuRRAM 芯片的 EDP 低 1.6 到 2.3 倍（越低越好），計算密度高 7 到 13 倍。

研究人員在芯片上運行各種 AI 任務。它在手寫數字識別任務上達到了 99%的準確率；85.7%的圖像分類任務；84.7%的谷歌語音命令識別任務。此外，該芯片還在圖像恢復任務中實現了 70%的圖像重建誤差降低。這些結果可與現有的數字芯片相媲美，這些芯片在相同的位精度下執行計算，但大大節省了能源。

研究人員指出，該論文的一個關鍵貢獻是所有特色結果都是直接在硬件上獲得的。在之前的許多內存計算芯片工作中，AI 基準測試結果通常部分通過軟件模擬獲得。

下一步包括改進架構和電路，并將設計擴展到更先進的技術節點。研究人員還計劃解決其他應用，例如脈沖神經網絡。研究人員說：“我們可以在設備層面做得更好，改進電路設計以實現附加功能并解決各種應用。”

NeuRRAM新架構

NeuRRAM 能源效率的關鍵是一種創新的方法來檢測內存中的輸出。傳統方法使用電壓作為輸入并測量電流作為結果。但這導致需要更復雜和更耗電的電路。在 NeuRRAM 中，該團隊設計了一種神經元電路，可以感應電壓并以節能的方式執行模數轉換。這種電壓模式感測可以在單個計算周期內激活 RRAM 陣列的所有行和所有列，從而實現更高的并行度。

在 NeuRRAM 架構中，CMOS 神經元電路與 RRAM 權重物理交錯。它不同于傳統的設計，其中 CMOS 電路通常位于 RRAM 權重的外圍。神經元與 RRAM 陣列的連接可以配置為用作神經元的輸入或輸出。這允許在各種數據流方向上進行神經網絡推理，而不會產生面積或功耗方面的開銷。這反過來又使架構更易于重新配置。

為了確保人工智能計算的準確性可以在各種神經網絡架構中保持不變，研究人員開發了一套硬件算法協同優化技術。這些技術在各種神經網絡上得到了驗證，包括卷積神經網絡、長短期記憶和受限玻爾茲曼機。

作為神經形態 AI 芯片，NeuroRRAM 跨 48 個神經突觸核心執行并行分布式處理。為了同時實現高通用性和高效率，NeuRRAM 通過將神經網絡模型中的層映射到多個核上以對多個數據進行并行推理來支持數據并行。此外，NeuRRAM 通過將模型的不同層映射到不同的內核并以流水線方式執行推理來提供模型并行性。

審核編輯：劉清