導讀

現在，被稱為是單片機的微控制器（MCU）已經越來越“不簡單”。隨著物聯網設備的普及和應用場景的擴大，對于更智能化和自主決策能力的需求也在增加，作為物聯網設備中必不可少的大腦——MCU，正朝著更智能化、更強大的方向發展。越來越多的傳統微控制器單元（MCU）巨頭們開始意識到將AI功能與MCU相結合的潛力，并積極投入到AI領域的研發中。傳統認知中，人工智能（AI）相關的深度學習應用，只有算力充沛的MPU或者是PC才能玩得轉。那么，MCU廠商們將如何應對這一新趨勢呢？

01. 為什么要在MCU集成AI？

首先，讓我們來了解下，為何MCU大廠要在MCU產品中布局AI，在MCU上跑AI或者將MCU與NPU等集成在一起的好處有哪些？大致可歸納為如下幾個方面：

低功耗和高效性能：MCU通常具有較低的功耗和較高的能效特性，適合應用于低功耗場景。將AI算法和處理能力與MCU集成在一起，可以在低功耗的情況下實現高效的AI計算。這對于一些需要長時間運行、依賴于電池供電或功耗敏感的應用非常重要。

實時性和即時響應：將AI能力集成到MCU上，使得AI算法可以實時地在設備本地進行處理和響應，而無需依賴于云端或其他遠程服務器。這提高了系統的實時性和即時響應能力，使得設備能夠更快速地做出決策和反應，適用于許多實時應用場景，如嵌入式控制、邊緣計算等。

隱私和數據安全：將AI算法和數據處理能力放在設備本地，可以減少對云端的依賴，從而增強隱私和數據安全性。敏感數據可以在本地設備上進行處理，減少了數據傳輸的風險和隱私泄露的可能性。這對于一些對隱私和數據安全要求較高的應用，如智能家居、醫療設備等非常重要。

靈活性和定制化：將MCU與NPU等AI處理單元集成在一起，可以為設備提供更大的靈活性和定制化能力。根據特定的應用需求，可以選擇不同的MCU和AI處理單元的組合，以實現最佳的性能和能效平衡。這種靈活性和定制化能力可以適應各種應用場景和需求的變化。

減少系統復雜性和成本：相對于將AI處理能力集中在獨立的處理器或芯片中，將其集成在MCU中可以減少組件數量和系統復雜性，從而降低了系統設計和制造的成本。

總之，有AI功能的MCU可以為物聯網設備提供更高級的控制和計算能力，使其能夠進行復雜的推理和決策。因此，現在為邊緣設備創建機器學習模型正成為一種大的趨勢，這些模型稱為微型機器學習或TinyML，它主要適用于內存和處理能力有限的設備，以及互聯網連接不存在或有限的設備。TinyML使在MCU上運行深度學習模型成為可能。TinyML在MCU上的應用越來越普遍。

但是，想讓深度學習模型在MCU上跑起來，不是易事。MCU上跑AI，最關鍵的是如何將訓練好的深度學習的模型，轉換并部署到MCU上，這需要一整套工具和方法，這對于傳統的MCU廠商而言還是有一定門檻的。因此，要在MCU上部署AI，必須在軟件和硬件兩方面同時著力。那么MCU巨頭們都是如何做的呢？

02. MCU廠商自行設計機器學習軟件

AI應用通常需要硬件和軟件的緊密配合。但從MCU本身的屬性來看，它的資源非常有限，因此需要特定的軟件庫和工具來支持AI任務。然而，與傳統的計算機平臺相比，MCU上的AI軟件庫和工具的選擇和可用性相對較少。開發人員可能需要自行優化和適配現有的庫，或者開發專門針對MCU的AI軟件。在幾大MCU巨頭廠商里，恩智浦和ST均已經自行設計了機器學習相關的軟件。

恩智浦在2018年推出了機器學習軟件eIQ軟件，該軟件能夠在恩智浦EdgeVerse微控制器和微處理器（包括i.MX RT跨界MCU和i.MX系列應用處理器）上使用。

后來，為了降低MCU運行AI算法的門檻，恩智浦還打造了一個適用于MCU的AI工具鏈——NANO.AI。它主要包含兩部分，一部分是將原始算法模型轉換成MCU上能夠快速運行的數據和庫，另一部分包含一個輕量級推理引擎，能做出一個能跑在MCU上、只需幾兆Flash甚至幾兆SDRAM的方案。

目前，恩智浦已經推出了帶有AI功能的MCU產品，MCX N系列是恩智浦集成NPU的第一個產品家族，MCX N94x和MCX N54x MCU系列中集成了恩智浦設計的用于實時推理的專用片上神經處理單元 （NPU）。據悉，與單獨使用 CPU內核相比，片上NPU的ML吞吐量最高可提高 30 倍。

2019年ST也發布了一款STM32Cube.AI工具，這使開發者在MCU上優化AI模型成為可能。STM32Cube.AI是一款用來評估、轉換、優化和部署已訓練好的神經網絡模型的工具，適合主流的人工智能框架，可為開發者提供評估和調整算法的能力。

而其實ST很早就在AI上進行起布局，這大約可以追溯到2017年，在2017年ISSCC（國際固態電路會議）上ST 揭曉了一種能夠加速深度卷積神經網絡算法的超低功耗片上系統 （SoC）—Orlando。Orlando使用Cortex-M4微控制器 （MCU） 和 128 KB 內存、八個可編程集群，每個集群包含兩個 32 位 DSP 和四個 SRAM 組，每個組提供四個模塊，每個模塊為 2 x 64 KB。與這個高效核心相結合的是圖像和 CNN 協處理器（稱為神經處理單元或 NPU），它集成了八個卷積加速器 （CA） 等。

03. 與第三方軟件工具商合作

與第三方軟件工具商合作，對于MCU廠商而言，也不失為是一個好的策略，第三方機器學習軟件工具商通常擁有豐富的機器學習算法和工具庫，MCU廠商可以基于這些軟件工具構建自己的解決方案，并根據客戶需求提供定制化的選擇。在這方面，Microchip、瑞薩、ST都有相關的布局。

2020年9月，Microchip宣布與Cartesiam（現已被ST收購）、Edge Impulse和Motion Gestures合作，將這些合作伙伴的軟件和解決方案的接口引入其設計環境，使Microchip的32位MCU和MPLAB X集成開發環境，能夠在其 AI/ML 項目的所有階段為客戶提供獨特的支持，包括數據收集、模型訓練和推理實施。

據悉，Microchip機器學習 （ML） 技術的核心是用于MPLAB X IDE的ML插件。ML插件在 MPLAB Data Visualizer 中工作，簡化了數據收集過程并支持快速開發嵌入式ML解決方案。ML插件檢索的數據由他們的設計合作伙伴得工具進行分析，并有助于事件識別和數據模式異常檢測。

在近日的STM32峰會上，ST宣布與英偉達合作，將NIVIDIA TAO和STM32Cube.AI工具相整合，讓開發者STM32微控制器上無縫訓練和實現神經網絡模型，以達到適配的性能和精度。NVIDIA TAO是一個加速AI算法開發和優化的開發環境，TAO工具包提供了一個低代碼的人工智能框架，以加速視覺模型的開發。

但是與第三方軟件工具商合作也有弊端，如Microchip合作的Cartesiam軟件工具商就被ST收購（下文中講述），還可能存在技術整合和兼容性問題、依賴性等問題。

04. 通過收購補齊軟件上的短板

毫無疑問，MCU廠商已經意識到AI技術對于MCU的重要性，而且AI領域的技術變化快速，收購是實現技術升級的一個快速途徑。這也有助于簡化客戶的采購和集成過程，提高產品的易用性和競爭力。

我們已經看到，近兩年來，越來越多的MCU巨頭開始通過收購一些專注于MCU的AI解決方案和軟件工具的廠商，來增強自身在AI領域的競爭力。

首先是意法半導體（ST），2021年6月3日，意法半導體宣布收購邊緣AI軟件專業開發公司Cartesiam。Cartesiam成立于2016年，總部位于法國土倫，專門從事人工智能開發工具研發，讓基于Arm的MCU具有機器學習和推理能力。該公司開發了具有專利的NanoEdge AI Studio旗艦解決方案，它能讓沒有AI知識背景的嵌入式系統設計人員也可以快速開發專用的軟件庫，NanoEdge AI Studio可以讓開發人員基于少量數據，通過創建、清理、優化數據集等步驟創建適配的ML庫。NanoEdge具有異常檢測與設備學習的能力，也提供分類和回歸庫。收購Cartesiam公司之后，該公司的NanoEdge AI Studio方案將對ST的STM32Cube.AI實現進一步完善和補充。

據悉，ST即將推出第一個帶有神經網絡硬件處理單元（Neural-Art Accelerator）的通用微控制器——STM32N6，這款MCU與其STM32MP1微處理器（運行頻率為 800MHz 的雙 Cortex-A7）相比，STM32N6 的推斷速度提高了25倍。

再一個是瑞薩，2022年7月20日，瑞薩宣布，完成對美國從事機器學習模型開發的初創企業Reality AI。Reality AI主要為汽車、工業和商業產品中的高級非視覺傳感提供范圍廣泛的嵌入式人工智能和微型機器學習 （TinyML） 解決方案。

此次收購將使瑞薩電子能夠擴展其用于人工智能應用的工具套件和軟件產品，將Reality AI的人工智能推理技術與瑞薩電子的MCU和MPU產品組合相結合，將實現機器學習和信號處理的無縫實施。據了解，與使用量化、壓縮、修剪或其他機器學習技術使模型變小但精度降低的方法不同，Reality AI將先進的信號處理方法與機器學習相結合，在不影響體積的情況下提供完全的精度。

據瑞薩物聯網及基礎設施事業本部MCU事業發展部副總裁Mohammed Dogar的介紹，瑞薩將全面擁抱AI。目前嵌入式AI分析主要有三個場景：視頻、語音以及實時分析。在這三個場景中，瑞薩均在布局，其中前兩種主要是跟第三方合作伙伴來實現，而對于實時分析，主要就是通過收購Reality AI來實現。

英飛凌在近日也剛剛發布了收購的信息，2023年5月16日，英飛凌宣布，已收購總部位于瑞典斯德哥爾摩的初創公司Imagimob AB。Imagimob是快速增長的微型機器學習和自動機器學習（TinyML 和 AutoML）市場的領先者。據了解，Imagimob開發了一個端到端的機器學習工具鏈，該工具鏈高度靈活且易于使用，重點放在交付生產級ML模型上。英飛凌將收購該公司 100% 的股份。以提升其微控制器和傳感器上的 TinyML邊緣 AI 功能。

這筆交易將進一步擴展英飛凌的硬件/軟件生態系統，使使用從賽普拉斯和英飛凌傳感器系列獲得的 PSoC 微控制器的開發人員可以更方便地使用 TinyML。但也有可能在內部用于無線 AIROC 芯片的固件，以通過使用 TinyML 優化信號鏈來提高性能并降低功耗。

總體而言，通過收購掌握AI軟件技術，這些廠商可以在其MCU產品中實現更深層次的集成，提供更加完整和高性能的解決方案。

05. 結語

我們正在邁入AIoT時代，AI深入到邊緣和終端裝置，已經是一個長期必然的大方向。MCU這個芯片界的老前輩，也在因應市場需求，衍生出更多的功能。目前幾乎幾大MCU巨頭均已經在AI軟件方面備足了彈藥，接下來就是比拼產品的過程。而在這個逐漸由AI驅動的MCU的未來，國內MCU廠商將面臨著更大的挑戰。

審核編輯 ：李倩