1. 產業趨勢

近年來，物聯網和工業物聯網的快速發展促發了從云端到設備端AI處理的重要轉變。越來越多設備需要能夠在端側運行人工智能任務，從而最大限度地減少安全問題、數據傳輸成本和延遲。在為物聯網和工業物聯網應用程序選擇SoC或MCU時，運行AI/ML任務的能力逐步成為必備條件。

嵌入式設備通常面臨資源限制，在嵌入式平臺上如何高效運行人工智能算法成為新挑戰。Codasip工程團隊從軟件和硬件的角度研究了如何讓它變得更容易。我們使用Codasip L31 RISC-V內核和Codasip Studio，探索并定制了與CPU流水線緊密耦合的高效緊湊的人工智能加速器的設計。

2. 項目概述

Codasip工程團隊使用TensorFlow Lite for Microcontrollers（TFLite Micro）作為專用人工智能框架，對Codasip L31 RISC-V核進行了定制，并對使用標準指令集（ISA）的L31性能和包含了AI加速器指令的自定義擴展后的L31性能進行了比較。該AI加速器使用不到200行CodAL代碼即可實現，性能提高了5倍以上，功耗降低了3倍以上。該項目凸顯了Codasip Studio工具所提供的定制設計靈活性和CodAL易用性的優勢。這些工作大幅提高了神經網絡（NN）在嵌入式RISC-V核上的性能。

3. 應用開發

我們使用了基于Codasip L31 RISC-V核的TensorFlow Lite Micro運行卷積神經網絡進行圖像分類。神經網絡（NN）架構包含兩個卷積和池化層、至少一個完全連接層、矢量化非線性函數、數據大小調整和歸一化操作（圖1）。

? ? ? ? ? ? ? ? ? ? ? ? ?圖1?卷積神經網絡架構

我們采用了著名的“MNIST手寫數字分類”作為基準來評測，使用Codasip Studio分析器（圖2）來分析圖像分類任務。通過Codasip Studio軟件可以很容易地看出哪些代碼部分是最為關鍵的，占用了最多的處理器時間，這些部分將是優化的主要目標。

?圖2 Codasip Studio分析器 報告

通過基準評測顯示，約84%的周期用于圖像卷積函數，該函數是由深度嵌套的for循環實現。為了進行簡單的3x3卷積，通用RISC-V處理器必須運行9條加載指令、9次乘法運算和8次加法運算，并且存在一些流水線停滯的開銷。因此，卷積似乎是優化的主要目標。

圖3?卷積加速器原理

所提出的卷積加速器方案如圖3所示。它與核心流水線緊密耦合，并基于可以存儲多個圖像行的FIFO寄存器鏈。通過將圖像像素推送到FIFO，并讀取某些FIFO元素，從而可以在單個處理器時鐘周期內訪問單個卷積所需的所有圖像數據，避免來自存儲器的多次加載。修改后的ALU* 通過圖像像素與卷積權重的并行乘法，并將結果相加。該加速器由幾條自定義指令控制，可以在單個時鐘周期內完成卷積結果，從而顯著減少了整個圖像卷積所需的時間。

所描述的加速器也可以用行業標準的常用硬件描述語言來實現，然而CodAL提供了一種更簡單、更緊湊的方法來實現。

圖4 CodAL與HDL（Veriflog）比較

CodAL是一種專門為處理器描述而設計的高級語言。它有助于簡化某些標準處理器功能的定義，例如寄存器文件、緩存、緊密耦合存儲器和片上調試器。生成的CodAL描述比其他HDL所提供的要緊湊得多（圖4）。

由于這種緊湊性，上述卷積加速器可以僅用200行代碼在CodAL中實現。它包括了硬件資源覆蓋率和自定義控制指令實現。由此產生的加速器設計可以處理多達64 x 64個圖像，并構成多達5 x 5個卷積。同時自動生成編譯器和分析器，進一步簡化了對加速器性能的評估。

4. 實施結論

通過添加卷積加速器和自定義指令，從而獲得了比標準L31 RISC-V核具有更好性能和更低功耗的定制L31核。

圖5?L31 RISC-V核 嵌入AI定制前后比較

圖像分類所需的時鐘周期數減少了5倍以上，功耗減少了3倍以上。后者與電池壽命直接相關，這意味著在一個充電周期之間，可以完成原來3倍的圖像分類。性能和功耗的大幅改善伴隨著硬件成本的提高，RISC-V核的硅面積增加了48%。這是由于增加了卷積加速器模塊內部的并行乘法器，對于顯著的性能和功耗收益來說，這可以被認為是合理的成本。

（注：AI和ML應用程序的計算要求各不相同。上面提供的定制設計示例僅供參考，并不代表是一個完整和最優的解決方案。通過其他自定義指令和/或加速器設計可能會進一步改進PPA。）

審核編輯：黃飛

?