恩智浦敢為人先，敢于引領和創新。恩智浦一直致力于為i.MX應用處理器的攝像頭模塊接口提供支持。恩智浦也在許多SoC上實現了CPU和GPU等共享資源的機器學習。這一功能仍然運行良好 （根據應用的需求而異），這篇文章將闡述恩智浦為何決定對其進行升級，并在i.MX 8M Plus中添加圖像信號處理器 （ISP） 和機器學習 （ML） 加速器。

機器學習的重要性與日俱增

在云端進行機器學習是支持人們使用智能手機語音助手或智能揚聲器語音助手的關鍵技術，它還支持社交媒體甚至手機對包含特定人員的照片進行分組。但這些用例都依賴在云端服務器上運行的機器學習。

恩智浦解決的真正挑戰是邊緣機器學習。所有機器學習推理在i.MX 8M Plus等邊緣處理器進行本地運行。在邊緣運行ML推理意味著，即使網絡訪問中斷，應用也能夠繼續運行——這對于監控或異常檢測等應用至關重要，對在沒有網絡接入的偏遠地區運行也非常重要。與必須將數據發送到服務器進行處理并將結果發回的情況相比，在邊緣運行ML推理還降低了決策延遲。例如，當執行工業工廠現場目視檢查時，或需要決定是接受還是拒絕一掠而過的產品時，低延遲至關重要。

邊緣機器學習的另一個關鍵優勢是保護數據安全。收集的專有數據（如邊緣設備捕獲的員工、生產和物流數據）將在邊緣進行處理并保存在本地。系統不會把信息發送到云端進行處理，僅在云端進行記錄和跟蹤。企業的隱私不會受到損害，企業可自行決定是否在云端共享信息。

需要什么程度的邊緣機器學習？

現在，考慮到對邊緣機器學習的需求較大，問題變成了需要什么程度的機器學習。衡量機器學習加速器的一種方法是每秒的運算次數 （通常是8位整數相乘或累加），通常稱為TOPS（即每秒萬億次運算）。這是基本基準，因為整體系統性能也受許多其他因素影響，但TOPS是使用最多的機器學習測量方法之一。

事實證明，在邊緣進行完整的語音識別 （不只是關鍵字識別） 需要大約1-2個TOPS （具體取決于算法，如果希望了解用戶想表達的意思，而不僅僅是將語音轉換為文本，則需要更多運算次數）。以60fps執行目標檢測 （使用Yolov3等算法） 也需要大約2-3個TOPS。因此，機器學習加速 （如i.MX 8M Plus的2.3 TOPS） 是這類應用的最佳選擇。

下一步：圖像信號處理器 （ISP）

所有基于攝像頭的系統中都具有ISP功能，盡管有時可以集成到攝像頭模塊或嵌入到應用處理器中，并且可能對用戶隱藏。ISP通常會進行多種類型的圖像增強，其主要目的是將原始圖像傳感器的每像素輸出的單色分量轉換為系統中其他部分更常用的RGB或YUV圖像。

當攝像頭輸入來自網絡或網絡攝像頭 （一般通過以太網或USB連接到應用處理器） 時，沒有ISP的應用處理器在基于視覺的系統中運行良好。對于這些應用，攝像頭可以與處理器保持一定距離，甚至可以達到100米左右。攝像頭本身內置了ISP和處理器，可轉換圖像傳感器信息并對視頻流進行編碼，然后再通過網絡發送。

沒有ISP的應用處理器也適用于分辨率相對較低的攝像頭。在100萬像素或更低的分辨率下，圖像傳感器通常內置了ISP，可將RGB或YUV圖像輸出到應用處理器，處理器內不需要ISP。

但在約200萬像素 （1080p） 或更高的分辨率下，大多數圖像傳感器沒有內置ISP，而是依賴系統中其他部件的ISP。可能依賴獨立的ISP芯片 （可以運行，但會增加系統的功率和成本），也可能依賴集成在應用處理器中的ISP。正因如此，恩智浦選擇采用i.MX 8M Plus的解決方案——提供高質量的成像，同時也是優化的成像解決方案，特別是在200萬像素和更高分辨率的情況下。

借助基于智能視覺的系統，智能工廠可以提高生產率、質量和安全性。

推動智能邊緣設備的發展

綜上所述，i.MX 8M Plus應用處理器集2.3 TOPS機器學習加速器和ISP于一身，無論是用于智能樓宇、智慧城市還是工業物聯網應用，都將成為邊緣嵌入式視覺系統的關鍵元件。

借助嵌入式ISP，它可以打造直連到本地圖像傳感器的高質量圖像優化系統，甚至可以將這些圖像數據提供給較新的機器學習算法，所有這些都可以減輕本地機器學習加速器的負擔。

采用為機器學習和視覺系統而優化的i.MX 8M Plus架構，邊緣設備設計人員能夠像恩智浦一樣敢為人先，敢于引領和創新。他們擁有強大的機器學習能力，配合高清攝像頭系統，能夠讓設備看得更清晰、更遠。嵌入式領域不斷涌現新的創新機遇。