2017 年 8 月出版了《神經網絡最完整的圖表，解釋》，并確定了 27 種不同類型的神經網絡。從那時起，隨著工程師和數據科學家為他們的用例尋找人工智能 （AI） 的優化實現，神經網絡類型的數量不斷增加。

處理器架構師一直在爭先恐后地提供能夠執行這些工作負載的新型計算平臺，但也正在努力在軟件方面提高神經網絡的效率。一種這樣的技術是修剪，或從神經網絡中刪除重復的神經元和冗余，使其更小更快（圖 1）。

圖 1. 修剪可以產生更快、更小的神經網絡，但具有相同的精度。

一般來說，修剪是嵌入式系統深度學習的重要推動力，因為它降低了達到相同精度水平所需的計算量。剪枝技術還可以進一步減少神經網絡的特定低效率，例如稀疏性。

通過神經網絡進行稀疏

在神經網絡圖中，稀疏性是指包含零值或與相鄰神經元沒有連接的神經元（圖 2）。這是存在于深度神經網絡的輸入和輸出層之間的隱藏矩陣的固有特征，因為當數據通過圖時，給定的輸入通常會激活越來越少的神經元。神經網絡矩陣中的連接越少，稀疏度越高。

圖 2. 左圖將具有活躍連接的神經元密集化為黃色立方體，而右圖描繪了分布在整個神經網絡中的稀疏隨機連接。

Tensilica 高級總監兼營銷和業務開發主管 Lazaar Louis 說：“當您通過這些層并將 1 與 0 相乘時，您會得到 0，因此神經元激活的稀疏性會隨著您通過層而增加。” Cadence Design Systems 的產品。“平均而言，當前的神經網絡在從輸入到輸出的激活中表現出 50% 的稀疏性。”

與使用處理器和內存資源來計算稀疏神經網絡的零值不同，修剪網絡以誘導稀疏性可以轉化為計算優勢。稀疏度的修剪可以通過將接近零的值強制為零來實現，這與模型再訓練一起可以將稀疏度提高到 70%。

一旦神經網絡被修剪以增加稀疏性，Cadence 的 Tensilica DNA 100 處理器 IP 等計算技術就可以通過僅對非零值執行乘法累加 （MAC） 運算來利用這一優勢（圖 3）。這要歸功于集成的稀疏計算引擎，其中包括一個直接內存訪問 （DMA） 子系統，該子系統在將可執行文件傳遞給處理單元之前讀取值。

圖 3. Cadence Design Systems DNA 100 處理器 IP 包含一個稀疏計算引擎，該引擎僅執行非零值的乘加 （MAC） 操作，從而提高吞吐量。

總體而言，這為 DNA 100 IP 提供了更高的 MAC 利用率，與具有類似陣列大小的替代解決方案相比，性能提高了 4.7 倍。

發光編譯

與任何嵌入式處理器一樣，DNA 100 利用編譯器來幫助解釋神經網絡圖的稀疏性。Tensilica 神經網絡編譯器從 Caffe、TensorFlow、TensorFlow Lite 和 Android 神經網絡 （ANN） 應用程序等深度學習開發框架獲取浮點輸出，并將它們量化為整數和針對 Cadence IP 優化的機器代碼。

編譯器還有助于將接近零的權重推至零，并在可能的情況下將多個神經網絡層融合到單獨的操作中。這些功能對于提高 DNA 100 等設備上的神經網絡吞吐量至關重要，同時還將精度保持在原始浮點模型的 1% 以內。

然而，盡管 Tensilica 神經網絡編譯器具有優勢，工程師們已經受到越來越多的神經網絡類型、深度學習開發框架和 AI 處理器架構的挑戰。隨著這一趨勢的繼續，開發人員將尋求編譯器，使他們能夠在最多樣化的處理器目標上使用最廣泛的神經網絡類型和工具。另一方面，像 Cadence 這樣的供應商將需要能夠讓他們支持技術進一步發展的解決方案。

意識到市場需求，Facebook 開發了Glow，這是一種基于 LLVM 編譯器基礎架構的異構硬件架構的降圖機器學習編譯器。Glow 的目標是接受來自 PyTorch 等框架的計算圖，并使用與數學相關的優化為多個硬件目標生成高度優化的代碼。它通過將神經網絡數據流圖降低為中間表示，然后應用兩階段過程來實現（圖 4）。

圖 4. Facebook 的 Glow 編譯器是一種與硬件無關的編譯器，它使用兩階段過程來優化嵌入式計算加速器的神經網絡。

Glow 中間表示的第一階段允許編譯器執行特定領域的改進，并根據神經網絡數據流圖的內容優化高級構造。在這個階段，編譯器是獨立于目標的。

在 Glow 表示的第二階段，編譯器在生成特定于硬件的代碼之前優化指令調度和內存分配。由于其增量降低階段以及它支持大量輸入運算符的事實，Glow 編譯器能夠利用專門的硬件功能，而無需在每個受支持的硬件目標上實現所有運算符。這不僅減少了所需的內存空間量，而且還使其可擴展用于僅關注少數線性代數基元的新計算架構。

Esperanto Technologies、英特爾、Marvell、高通和 Cadence 已經承諾在未來的硅解決方案中使用 Glow

“Facebook Glow 讓我們能夠快速優化尚未到來的技術，”Louis 說。“假設引入了一個新網絡。要么有人會做出貢獻，要么我們會做。他們希望建立一個開源社區，這樣人們就可以進來并貢獻和加速通用的事情。

“他們還在 Glow 中引入了插入各種加速器的功能，因此我們可以使其適合我們的架構，”Louis 繼續說道。我們將 Glow 視為我們編譯器中的底層引擎 ［向前發展］。”

嵌入式神經網絡：少即是多

在過去的幾年里，圍繞人工智能的炒作、研究和開發呈爆炸式增長，但正如嵌入式技術經常出現的情況一樣，事實證明，少即是多。

修剪神經網絡正迅速成為神經網絡開發人員的一種常見做法，因為他們試圖在不犧牲準確性的情況下提高性能。與此同時，Facebook Glow 正在解決處理器碎片化問題，以免阻礙人工智能的采用。

非常好地使用一個正確的工具通常會導致成功。對于神經網絡，使用 Glow 編譯器和稀疏計算技術可以完成工作。

審核編輯：郭婷