小編最近接了活，要在我們最新的MCU產(chǎn)品RT700上做手勢(shì)識(shí)別的開(kāi)發(fā)，可能小伙伴們才聽(tīng)過(guò)RT700，小編先來(lái)簡(jiǎn)單介紹一下：

i.MX RT700有5個(gè)計(jì)算內(nèi)核，為支持智能AI的邊緣端設(shè)備賦能，包括可穿戴設(shè)備、消費(fèi)電子醫(yī)療設(shè)備、智能家居和HMI設(shè)備。其計(jì)算子系統(tǒng)包括一個(gè)運(yùn)行頻率為325MHz的主Arm Cortex-M33核，以及一個(gè)Cadence Tensilica HiFi 4 DSP，可執(zhí)行要求更高的DSP和音頻處理任務(wù)。一個(gè)超低功耗感知子系統(tǒng)包括第二個(gè)Arm Cortex-M33核和Cadence Tensilica HiFi 1 DSP。這樣就不需要外部傳感器集線器，從而降低了系統(tǒng)設(shè)計(jì)的復(fù)雜性、占用空間和BOM成本。i.MX RT700包括恩智浦的eIQ Neutron NPU，可將AI工作處理速度提高172倍，并集成了7.5MB的板載SRAM。系統(tǒng)框圖和官網(wǎng)鏈接https://www.nxp.com.cn/products/i.MX-RT700：

回到正題，這好像是一個(gè)很簡(jiǎn)單的事情啊，先來(lái)個(gè)AI開(kāi)發(fā)四聯(lián)：

1.有數(shù)據(jù)集嗎？有→下載看看，沒(méi)有→自己拍一些？

2.模型結(jié)構(gòu)是啥樣的？是不是有開(kāi)源的模型呢~

3.模型怎么辦？自己搭一個(gè)吧~

4.模型部署？那當(dāng)然是要用上NPU加速啊，不用的話，那哪能發(fā)揮RT700的全部實(shí)力，那可是內(nèi)嵌了一顆NXP自研的NPU啊，可將AI工作處理速度提高172倍，簡(jiǎn)直如虎添翼。

這還真讓小編找到了，那就是由Google推出的MediaPipe解決方案，可能有伙伴聽(tīng)說(shuō)過(guò)這個(gè)框架https://ai.google.dev/edge/mediapipe/solutions/guide?hl=zh-cn：

Google MediaPipe是一個(gè)開(kāi)源的跨平臺(tái)框架，用于構(gòu)建多模態(tài)（如視頻、音頻、傳感器數(shù)據(jù)）的實(shí)時(shí)機(jī)器學(xué)習(xí)應(yīng)用管道。它由Google Research開(kāi)發(fā)并開(kāi)源，專(zhuān)注于高效處理實(shí)時(shí)數(shù)據(jù)流，尤其適用于移動(dòng)設(shè)備、邊緣計(jì)算和嵌入式系統(tǒng)。

核心特點(diǎn)

1. 跨平臺(tái)支持

支持Android、iOS、Linux、macOS、Windows和Web，甚至嵌入式設(shè)備（如樹(shù)莓派）

提供統(tǒng)一的API，簡(jiǎn)化多平臺(tái)部署

2. 模塊化設(shè)計(jì)

通過(guò)預(yù)構(gòu)建的“計(jì)算單元”（稱(chēng)為Calculators）組合成數(shù)據(jù)處理管道（Graph），開(kāi)發(fā)者可以靈活定制或擴(kuò)展功能

3. 高性能實(shí)時(shí)處理

優(yōu)化了延遲和資源占用，適合實(shí)時(shí)應(yīng)用（如攝像頭流處理

支持GPU加速（通過(guò)OpenGL/Vulkan）和硬件加速（如Android Neural Networks API）

4. 豐富的預(yù)置解決方案

提供多種開(kāi)箱即用的模型和管道：

人臉檢測(cè)與網(wǎng)格（Face Detection/Mesh）

手勢(shì)識(shí)別（Hand Tracking）

姿態(tài)估計(jì)（Pose Estimation）

物體檢測(cè)與跟蹤（Object Detection/Tracking）

語(yǔ)音識(shí)別（Audio Classification）

5. 支持自定義模型

可集成TensorFlow、TFLite或其他框架訓(xùn)練的模型

那么開(kāi)心的事情就來(lái)了，這里恰好就有手勢(shì)識(shí)別的項(xiàng)目https://ai.google.dev/edge/mediapipe/solutions/vision/gesture_recognizer?hl=zh-cn

我們可以調(diào)用MediaPipe的手勢(shì)識(shí)別器來(lái)進(jìn)行手部識(shí)別并能夠標(biāo)記出關(guān)鍵點(diǎn)：

太好了！那接下來(lái)就可以站在巨人的肩膀上開(kāi)始搞事情了？雖然有了巨人的肩膀加持，但是我們其實(shí)才只走了AI四步走的前兩步：數(shù)據(jù)集+模型，真正的難點(diǎn)在于怎么部署我們的模型到MCU上。尤其是針對(duì)于這一類(lèi)大佬開(kāi)發(fā)的開(kāi)源模型+閉源推理引擎來(lái)說(shuō)，我們要自行摸索模型的部署，尤其是涉及到模型預(yù)處理部分。

下期小編和大家探討要解決的一系列問(wèn)題：

1.模型文件的轉(zhuǎn)換：浮點(diǎn)or量化？ 訓(xùn)練框架？

2.推理過(guò)程：使用了幾個(gè)模型？輸出結(jié)果的含義？

3.模型結(jié)構(gòu)優(yōu)化？

后面幾期小編會(huì)為繼續(xù)大家更新，敬請(qǐng)期待！