總部在加利福尼亞州歐文市的Syntiant公司和總部在德克薩斯州奧斯汀的Mythic公司都認為,它們可以使用嵌入式閃存來大大減少執行深度學習計算所需的電力。它們可能都是對的。
越來越多的公司希望推出加速其他計算繁重的深度學習應用的芯片,并且在某種程度上它們都有相似之處,因為“這些是面向相同形態的一類問題的解決方案”,Mythic創始人兼CTODaveFick解釋說。
當在CPU中執行深度學習計算時,那類問題在形態上就像數據的交通堵塞。神經網絡由連接和表示那些連接有多強的“權重”組成,必須移動這些權重以便它們可以在正確的時間和位置以數字方式被表示,是如今的深度學習中主要的耗能之處。
Syntiant的CEOKurtBush解釋說:“我們的方法是通過在內存中進行計算來完全消除內存帶寬和內存功耗的penalties問題”。
Syntiant和Mythic這兩家公司所采用的方法中,網絡權重實際上是存儲在閃存單元陣列中的電荷水平。電荷改變了流過電池的電流量,電池是以電流可產出至關重要的“乘法和累加”運算的方式排列的,這樣的運算是能從日落中讀出停止信號或從“大灰獅子狗”中讀出“OKGoogle”的網絡所需要的。
因為權重總是在它們需要在的位置,所以不需要花費任何時間或精力來移動它們。計算的模擬性質也使得功耗保持在低水平。雖然訓練神經網絡通常是通過使用相當精確的(8位或16位)數字進行計算來實現的,但實際上,使用經過訓練的網絡(稱為推理)可以更快地完成,并且可以使用更低精度的數字(5位或者甚至3位)作為權重以更低的功耗完成。Busch說:“通過模擬計算,你可以建立低精度但非常非常準確的乘法和累加運算”。
Mythic的目標是每次乘法和累加運算僅消耗0.5焦耳,這將導致每瓦特可支持約4萬億次操作(TOPS/W)。Syntiant希望達到20TOPS/W。根據Syntiant的說法,NvidiaVoltaV100GPU可以達到0.4TOPS/W。然而,Fick指出,在機器學習領域,真正的蘋果對蘋果(apples-to-apples)的比較是很難確定的。
每個創業公司在多大范圍使用模擬電路,是它們之間的關鍵差異。Syntiant的整個網絡都是模擬的,而Mythic環繞著帶有可編程數字電路的模擬閃存陣列。Mythic使用周圍的電路來增加其芯片可以運行的網絡的大小和類型的靈活性。Fick說:“在我們的芯片上,所有的網絡拓撲的運行效率大致相同”。
這種差異也會影響兩家公司的目標客戶和應用程序。在Syntiant,“我們經常說,Mythic百分之百出現在投資會議上,而從不對顧客這樣表現殷勤”,Busch說。兩家公司都表示他們正在尋求增加處在前沿的人工智能領域的客戶。但人工智能是一個寬泛的范疇,包括從自動駕駛汽車到人工智能增強助聽器的所有內容。
Syntiant正在尋求較小的、通常為毫瓦級的電力應用。它的第一個設備將能執行諸如識別喚醒詞和識別說話者之類的事情。
Mythic正在開發需要更復雜網絡的應用程序,這些網絡能夠在具有很低的一位數瓦特功率的系統中處理高分辨率視頻,例如自動無人機和智能手機。Fick說,這些應用程序所需的每秒操作數與Syntiant的那些應用程序所追求的每秒操作數之間存在數量級的差異。
-
智能手機
+關注
關注
66文章
18690瀏覽量
186074 -
嵌入式
+關注
關注
5198文章
20449瀏覽量
334079 -
無人機
+關注
關注
236文章
11300瀏覽量
195684 -
深度學習
+關注
關注
73文章
5599瀏覽量
124398
原文標題:兩家初創公司都使用嵌入式閃存來減少執行深度學習計算所需的電力
文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
鎧俠UFS 5.0嵌入式閃存出樣
嵌入式單片機開發學習路徑
嵌入式軟件測試找bug的常見方法和秘訣
arm嵌入式主板優缺點
嵌入式硬件設計解析
CW32嵌入式軟件開發的必備知識
嵌入式和FPGA的區別
嵌入式電力儀表在配電系統中的應用與選型
盤點嵌入式就業所需要的技能有哪些?
入行嵌入式應該怎么準備?
Linux嵌入式和單片機嵌入式的區別?
嵌入式力矩電機的設計方法研究
嵌入式適合自學嗎?
飛凌嵌入式「2025嵌入式及邊緣AI技術論壇」議程公布
Syntiant和Mythic認為可以通過嵌入式閃存的方法減少所需電力
評論