西井科技發明的AI芯片結構，利用同一種卷積引擎硬件結構來適配多種神經網絡結構，從而有效的提高了乘法器資源的利用率以及實現了數據的動態分布。

西井科技成立于2015年，從研發類腦芯片起步，專注于AI芯片和算法的研發落地。2016年，通過將技術和產品相結合方式服務于智慧港口，利用人工智能技術來完成各種復雜任務，提高港口自動化程度。

而其解決港口客戶對碼頭的智能化升級需求，并服務于集裝箱數據智能識別、無人駕駛等項目，重點依靠的技術就是其自主研發的AI芯片。AI芯片主要應用于人工智能領域，其主要使用的算法就是神經網絡算法。

卷積神經網絡是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元，對于大型圖像處理有出色表現。它主要包括卷積層和池化層，目前，卷積神經網絡已廣泛應用于圖像分類、物體識別、目標追蹤。

但是對于卷積神經網絡的處理芯片，還存在著一系列的問題需要研究人員們去解決，例如如何通過乘法器和加法器的排布、設計提高乘法器資源的利用率，且根據不同的卷積核的尺寸實現不同的乘法器資源分配，以實現數據的動態分布。

為此，西井科技在2020年6月24日申請了一項名為“芯片結構及其乘加計算引擎”的發明專利（申請號：202010587029.X），申請人為上海西井信息科技有限公司。

根據該專利目前公開的資料，讓我們一起來看看這項AI芯片技術吧。

由于乘加計算引擎中包括多個卷積引擎，而卷積引擎又包括多個乘法器和加法器，如上圖，為卷積引擎應用于尺寸為3*3的卷積核的示意圖。3*3的卷積大小是目前主流神經網絡模型中經常使用的，每個卷積引擎包括15*M*4個乘法器，每個卷積組11包括3行4列乘法器且對應一個卷積核計算，因此5組卷積組同時可以支持5個不同的卷積核并行計算。

而上圖只是一個以3*3卷積核為例的示例，在神經網絡的實際應用中，還有5*5、7*7等常用卷積核，因此該專利對于其大小并沒有進行限制，每個卷積引擎在應用于卷積核時，可以按照卷積核的尺寸劃分為多個卷積組，每個卷積組的乘法器的行數與卷積核的行數一致，每個卷積組的乘法器的列數為N，這樣就可以根據不同的卷積核的尺寸實現不同的乘法器資源分配，進一步實現數據的動態分布。

如上圖，為這種卷積引擎的示意圖，可以看到其具有多個輸入特征圖通道，這是為了當輸入的特征圖具有較高維度時可以進行并行加速。此外，這種卷積引擎還可以進行M倍于輸入特征通道的并行加速，每個卷積組輸出的N行部分累加值可以疊加到下一層的輸入中，這與神經網絡算法的設計也是相一致的。

考慮到常用的主流卷積神經網絡模型，輸入特征通道的數量通常以偶數出現，一般是2的n次方的形式。由此，可以利用16個卷積組，用于支持16個不同的輸入特征圖的通道進行計算。

圖中所展示的16個不同的輸入特征圖，以一個輸入像素點為例，一個輸入像素點要進行16個通道的數據乘加，也就是16個乘法和M/2個加法，而在硬件的角度進行實現時，需要設計硬件加速方案，這種硬件加速方案由卷積引擎組成多級聯結構，每組級聯結構包括M/2個級聯的處理單元，如下圖所示。

如圖，為處理單元的示意圖，每個處理單元50包括第一輸入接口511至第五輸入接口515、第一觸發器531至第五觸發器535、兩個乘法器（541和542）以及兩個加法器（551和552），此外，該結構還具有輸出接口、時鐘信號和觸發器等部件。

第一輸入接口至第四輸入接口分別與第一至第四觸發器相連，時鐘信號也與觸發器相連，用于開啟觸發器，從而控制處理器進行乘加運算。

而在16個輸入特征通道的例子中，可以使用8個級聯的方式來完成一個像素點在16個通道內的乘加運算，具體的連接方式如下入所示：

可以看到級聯的處理單元的輸出結果為一個輸入特征圖像素點的16通道乘累加結果，在這個架構下，以3*3的卷積核為例，9個輸入像素點的16個輸入特征通道值進行相加，在6個時鐘周期下生成最終的卷積操作的運算結果。

以上就是西井科技發明的AI芯片結構，這種硬件結構的特點就在于，利用不變的卷積引擎，應用在不同神經網絡、不同大小的卷積核中。從而可以有效的提高乘法器資源的利用率，并且根據不同的卷積核的尺寸可以實現不同的乘法器資源分配，也就可以做到數據的動態分布，達到需要的計算方式。

關于嘉德

深圳市嘉德知識產權服務有限公司由曾在華為等世界500強企業工作多年的知識產權專家、律師、專利代理人組成，熟悉中歐美知識產權法律理論和實務，在全球知識產權申請、布局、訴訟、許可談判、交易、運營、標準專利協同創造、專利池建設、展會知識產權、跨境電商知識產權、知識產權海關保護等方面擁有豐富的經驗。
責任編輯:tzh