技術的進化階段是一個熟悉的地方，近年來的主要技術人工智能也不例外。在人工智能中 - 新一代添加更多的MAC，多層量化，這個功能，那個功能 - 所有這些都是為了追求改進的TOPS/Watt。

在這種環境下，我們已經通過我們的CEVA NeuPro平臺成功地將AI邊緣解決方案引入各個市場。現在，用戶想要更多，但有時僅靠進化是不夠的。

起初，用戶強調易用性，以幫助他們引入這種新的邊緣人工智能技術。但隨著他們在先進人工智能技術方面的專業知識不斷深入，他們希望獲得所有可能的方法，將差異化融入到他們的產品中，并超越當前最先進的方法一個數量級。通過進化不可能快速到達那里;革命性的改進是必要的。他們想要的已經從易用性轉變為以最大吞吐量和最小功率實現最大的算法靈活性。

向上測量

TOPS/W 是一個很好的營銷數字，但它太粗糙了，在實際應用中沒有用處。例如，在視覺推理中，每秒幀/瓦特 （FPS/W） 是一個更有意義的指標。在這種情況下，好分數的價值很容易理解。檢測前方的行人或汽車或從后面經過的汽車需要快速響應。幾乎沒有時間剎車或轉向，而且這兩個動作都不是瞬間的。推理引擎必須能夠以盡可能低的功率管理至少 100 FPS，因為這只是汽車周圍的眾多傳感器/AI 系統之一。這需要更高的 fps/W 才能獲得競爭力。

市場機會是毋庸置疑的。汽車和電信應用預計將成為這一增長的最大貢獻者，而在汽車領域，智能成像繼續保持強勁。順便說一下，手機中的“多攝像頭”趨勢也是如此。事實上，此類相機中的成像管道已經開始用神經網絡取代傳統算法，用于降噪、圖像穩定、超分辨率和其他新穎功能，所有這些都在非常有限的能量包絡內以 60fps 的速度運行。

重大進步需要什么

圍繞模擬人工智能和峰值神經網絡發生了一些有趣的事情，但產品制造商不想離他們今天可以擴展到數量的東西太遠。這種限制仍然留下了很多算法潛力，但現在產品構建者希望以更大的靈活性訪問所有這些算法，以最小的功耗擠出最大的性能。

優化可能性的列表很長：廣泛的量化選項、winograd 支持、跳過乘以零的稀疏性優化、各種位大小的激活和權重的數據類型多樣性、與神經乘法并行的矢量處理能力、數據壓縮以減少權重和激活的加載時間、矩陣分解支持，通過參考網絡提供高達 50：1 的加速度， 以及下一代 NN 架構，如變壓器和 3D 卷積支持。

行動呼吁

產品構建者現在在人工智能方面擁有更多經驗，知道他們想要構建什么以及如何構建它。他們需要的是一個平臺，提供他們已經理解的所有神經網絡組件算法，為他們的產品構建最佳解決方案。

這是一份夢寐以求的算法和優化清單，可提供高級邊緣 AI 所需的真正突破性功能、吞吐量和低功耗。但為什么只是一個夢想？高級產品構建者不再滿足于人工智能的漸進式改進。他們現在希望平臺能夠與他們對可能性的大幅提高的理解保持一致。

審核編輯：郭婷