在本系列博文的第一部分，我探討了恩智浦i.MX 95系列如何將新功能安全技術(shù)應(yīng)用于工業(yè)環(huán)境、汽車(chē)領(lǐng)域及其他邊緣應(yīng)用。在接下來(lái)的文章中，我將進(jìn)一步闡述i.MX 95系列如何賦能邊緣計(jì)算，實(shí)現(xiàn)先進(jìn)的AI功能。

近年來(lái)，AI創(chuàng)新呈指數(shù)級(jí)增長(zhǎng)。其中，大量關(guān)注點(diǎn)集中在基于云的生成式AI應(yīng)用 (如ChatGPT)。然而，這些應(yīng)用的運(yùn)行成本高，并伴隨高能耗問(wèn)題。相比之下，邊緣處理通過(guò)本地化存儲(chǔ)數(shù)據(jù)和隱私信息，提供了一種快速、高效且安全的信息管理解決方案。恩智浦在邊緣處理領(lǐng)域擁有深厚的積累，而全新i.MX 95系列更是將這一能力提升到了新的高度。

i.MX 95應(yīng)用處理器為邊緣處理提供卓越性能、信息安全及更多關(guān)鍵特性。了解i.MX 95系列如何成為您下一個(gè)AI設(shè)計(jì)的理想選擇，點(diǎn)擊這里>>

i.MX 95系列具備強(qiáng)大的處理能力，適用于邊緣處理的傳統(tǒng)機(jī)器學(xué)習(xí)和生成式AI應(yīng)用。該系列集成了恩智浦eIQ Neutron NPU以加速機(jī)器學(xué)習(xí)，同時(shí)結(jié)合Arm Mali GPU與恩智浦自主研發(fā)的圖像信號(hào)處理器，驅(qū)動(dòng)沉浸式3D圖形。這一強(qiáng)大且可擴(kuò)展的配置適用于從視頻會(huì)議系統(tǒng)到工廠大型設(shè)備，為各類(lèi)應(yīng)用場(chǎng)景提供卓越的處理能力。

i.MX 95系列的結(jié)構(gòu)框圖包括SoC的功能及頂層規(guī)格。

i.MX 95在AI應(yīng)用中的優(yōu)勢(shì)

以下是適合使用i.MX 95 MPU的AI/ML應(yīng)用：

視覺(jué)檢查和異常檢測(cè)：AI賦能的工廠設(shè)備可比人工更快、更準(zhǔn)確地檢查物品。

語(yǔ)音命令：智能設(shè)備能夠識(shí)別大量詞匯，解析多個(gè)揚(yáng)聲器同時(shí)播放的音頻，并準(zhǔn)確處理各種口音的語(yǔ)音。

人臉與發(fā)言者追蹤：企業(yè)視頻會(huì)議應(yīng)用可追蹤發(fā)言者，確保其始終處于畫(huà)面焦點(diǎn)內(nèi)，以提升參與體驗(yàn)。

背景噪聲消除：智能設(shè)備可去除背景噪聲并執(zhí)行回聲消除，以提升語(yǔ)音命令解析和用戶體驗(yàn)。

人員監(jiān)測(cè)：智能家居與智能辦公安全系統(tǒng)可追蹤人員、物品及寵物。車(chē)載人員監(jiān)測(cè)功能還能審核駕駛員行為，識(shí)別注意力分散等風(fēng)險(xiǎn)。

患者監(jiān)測(cè)：醫(yī)療設(shè)備可監(jiān)測(cè)患者生命體征，并在必要時(shí)提醒醫(yī)護(hù)人員。

家居與樓宇自動(dòng)化：借助邊緣AI，實(shí)現(xiàn)空調(diào)、家電、安防等設(shè)備的無(wú)縫互聯(lián)與智能控制。

i.MX 95系列不僅具備卓越的處理性能，而且具有高能效，在同類(lèi)產(chǎn)品中脫穎而出。eIQ Neutron NPU是一款強(qiáng)大且高效的AI推理引擎，在邊緣處理場(chǎng)景中提供具有競(jìng)爭(zhēng)力的TOPS/W性能。此外，我們的Energy Flex多域架構(gòu)提供獨(dú)立的處理域，適用于功能安全、低功耗和實(shí)時(shí)應(yīng)用。這能夠?qū)崿F(xiàn)精細(xì)化動(dòng)態(tài)功率控制和低功耗運(yùn)行模式。即使SoC的大部分模塊處于斷電狀態(tài)，處理器仍能保持穩(wěn)定運(yùn)行。

i.MX 95系列支持多種邊緣AI應(yīng)用，包括視覺(jué)檢查和異常檢測(cè)。

邊緣AI賦能機(jī)器視覺(jué)

i.MX 95 SOC集成神經(jīng)處理單元 (NPU)、圖像信號(hào)處理器 (ISP) 和視頻處理單元 (VPU)，這些組件協(xié)同工作，提供卓越的邊緣機(jī)器視覺(jué)能力。無(wú)論是家庭控制面板、入口視頻監(jiān)控，還是工廠自動(dòng)化，恩智浦eIQ Neutron NPU均支持先進(jìn)的視頻處理技術(shù)。用戶可在NPU上運(yùn)行高級(jí)AI模型，實(shí)現(xiàn)場(chǎng)景分割、實(shí)時(shí)視頻增強(qiáng)和去噪，確保高質(zhì)量的視頻畫(huà)面。

i.MX 95系列還支持并行處理多路視頻流，無(wú)需向云端發(fā)送信息。其內(nèi)置ISP通過(guò)兩個(gè)MIPI-CSI 4通道接口和MIPI虛擬通道，可支持多達(dá)8個(gè)原始攝像頭傳感器。此外，ISP還支持可同時(shí)捕獲可見(jiàn)光和紅外光的RGB-IR攝像頭，從而在低光條件下提升圖像質(zhì)量，并優(yōu)化人臉識(shí)別能力。

簡(jiǎn)化開(kāi)發(fā)流程

為了幫助客戶簡(jiǎn)化開(kāi)發(fā)流程，我們的eIQ AI軟件開(kāi)發(fā)環(huán)境支持多個(gè)主流平臺(tái)，包括：

TensorFlow和LiteRT (fka TensorFlow Lite)

Pytorch/Executorch

ONNX和ONNX RT

該平臺(tái)還支持多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括CNN、MLP、RNN、LSTM、TCN和LLM/SLM。

為了進(jìn)一步簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)部署，我們的eIQ AI/ML開(kāi)發(fā)軟件集成了NVIDIA TAO Toolkit API，讓開(kāi)發(fā)人員能夠輕松訪問(wèn)豐富的預(yù)訓(xùn)練和微調(diào)的AI模型，并將其部署在i.MX 95處理器上。

eIQ AI軟件環(huán)境為開(kāi)發(fā)人員提供所需工具，以推動(dòng)邊緣AI創(chuàng)新。

此外，恩智浦還幫助開(kāi)發(fā)人員輕松定制生成性AI模型，并針對(duì)邊緣應(yīng)用對(duì)其進(jìn)行優(yōu)化。我們將在eIQ開(kāi)發(fā)軟件中引入GenAI Flow，幫助客戶安全地基于域特定知識(shí)和私有數(shù)據(jù)訓(xùn)練AI模型。例如，用戶可以使用用戶手冊(cè)訓(xùn)練LLM，讓聊天機(jī)器人能夠回答用戶關(guān)于特定產(chǎn)品的問(wèn)題。

從i.MX 95處理器豐富的AI功能，到恩智浦全面的開(kāi)發(fā)工具套件，i.MX 95系列為智能家居、智能辦公室、汽車(chē)、工業(yè)環(huán)境及醫(yī)院等領(lǐng)域提供卓越的邊緣機(jī)器視覺(jué)功能。

如果您希望在下一個(gè)項(xiàng)目中使用i.MX 95系列，并深入了解更多信息，請(qǐng)?jiān)L問(wèn)i.MX 95產(chǎn)品頁(yè)面。 后續(xù)，我們將推出本系列博文的第三部分，重點(diǎn)介紹i.MX 95系列如何提供先進(jìn)的連接與信息安全功能，敬請(qǐng)關(guān)注。

本文作者

Toby Foster，恩智浦半導(dǎo)體安全連接邊緣資深產(chǎn)品市場(chǎng)經(jīng)理，專(zhuān)注于網(wǎng)絡(luò)應(yīng)用和Layerscape系列處理器的管理。他還擔(dān)任網(wǎng)絡(luò)處理器系統(tǒng)架構(gòu)師和應(yīng)用工程經(jīng)理。Foster先生擁有美國(guó)哈維穆德學(xué)院電氣工程學(xué)學(xué)士和碩士學(xué)位。