（文章來源：Thinker）
? ? ?? 深度學習廣泛用于各種人工智能任務中，傳統的深度學習加速器側重于面向數據流的計算架構優化。然而傳統馮·諾依曼體系結構所帶來的「存儲墻」問題日益突顯，計算單元與存儲單元間的頻繁數據搬移造成了大量的能耗。

存內計算（computing-in-memory，簡稱 CIM）技術是解決「存儲墻」問題的有效途徑，但存內計算只能支持向量內積等有限運算。為支持完整的 AI 應用，該團隊基于可重構計算架構，融合存內計算技術，設計了數模混合計算芯片（代號 Thinker-IM），在語音識別應用中實現了極低能耗。

為了獲得極低的能耗，在算法層面上使用二值化的循環神經網絡（RNN）建立語音聲學模型，從而降低了計算復雜度并節省了存儲開銷。圖 1 展示了基于二值化 RNN 的語音識別系統，包括前端信號處理、二值 RNN 聲學模型處理以及譯碼輸出。

在硬件設計層面為了打破傳統的馮·諾依曼體系結構的存儲墻瓶頸，設計了數模混合計算架構。其中數字部分實現了必要的語音信號處理，而通過模擬計算方式在 SRAM 中實現了同或（XNOR）計算操作，并構建了基于 SRAM 存內計算（SRAM-CIM）的 RNN 計算模塊。

該芯片使用 16 個 SRAM-CIM 宏單元完成 RNN 計算任務，從而避免了存儲單元與計算單元的大量數據搬移所產生的能耗。當使用 SRAM-CIM 計算單元構建一顆全功能的語音芯片時，存在以下三方面挑戰。

挑戰一：需要設計融合多個 SRAM-CIM 單元的計算架構和數據流調度方案。一般情況下，單個 SRAM-CIM 無法存下 DNN 中的全部權重。因此需要多個 SRAM-CIM 單元協同計算，需要考慮如何組織它們的計算方式。

挑戰二：需要針對復雜 AI 任務設計多比特輸出 SRAM-CIM 單元。對于簡單 AI 任務（如手寫體識別），SRAM-CIM 單元 1 比特輸出精度可以滿足識別需求。但對于復雜的識別任務（如語音識別），SRAM-CIM 單元 1 比特輸出就會導致 Partial Sum（部分和）的精度損失，影響最終識別精度。

挑戰三：RNN 推理過程是一種時域上的迭代計算，其計算過程相當耗時。我們發現在二值 RNN 中的累加過程中存在一些冗余計算。見圖 2(c)，在累加過程中，如果中間數據足夠大而超過剩余累加的最大值，將保證最終結果大于 0。此時剩余累加周期的計算就是冗余的，如能去除這些計算，將能夠有效加速 RNN 計算。