在今年的德國(guó)紐倫堡SENSOR + TEST 2022大會(huì)上，與會(huì)者有幸見(jiàn)到了ISM330IS——第一個(gè)內(nèi)置智能傳感器處理單元（ISPU）的傳感器。意法半導(dǎo)體（ST）于 2022 年初發(fā)布這一技術(shù)。簡(jiǎn)單地說(shuō)，ISPU是一種支持C語(yǔ)言的可編程嵌入式數(shù)字信號(hào)處理器（DSP），能夠運(yùn)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法。因此，它是邊緣人工智能的下一個(gè)發(fā)展方向，或者意法半導(dǎo)體所說(shuō)的“Onlife Era”時(shí)代。ISM330IS有一個(gè)單精度計(jì)算浮點(diǎn)單元，開(kāi)運(yùn)動(dòng)傳感器先河。

從一個(gè)想法到新一代傳感器，意法半導(dǎo)體克服了哪些挑戰(zhàn)？

在這項(xiàng)研究啟動(dòng)期，意法半導(dǎo)體發(fā)表了一篇研究在慣性傳感器內(nèi)集成機(jī)器學(xué)習(xí)核心的可行性論文。過(guò)去，傳感器的作用就是收集數(shù)據(jù)，所有計(jì)算任務(wù)都必須在微控制器上完成，這種架構(gòu)背后的原因比較簡(jiǎn)單，慣性傳感器是小尺寸的低功耗設(shè)備。增加性能強(qiáng)大的處理器不僅會(huì)違反這些設(shè)計(jì)限制，還會(huì)帶來(lái)巨大的系統(tǒng)集成和制造挑戰(zhàn)。雖然在一個(gè)模塊內(nèi)整合了DSP、加速度計(jì)與陀螺儀，但是意法半導(dǎo)體并未降低處理性能、內(nèi)存容量和傳感器的精準(zhǔn)度。

首款配備機(jī)器學(xué)習(xí)核心的傳感器有哪些非凡之處？

意法半導(dǎo)體在2018年發(fā)表的這篇論文具有開(kāi)創(chuàng)性，因?yàn)樗鼮槭讉€(gè)包含八個(gè)并行決策樹(shù)、運(yùn)行機(jī)器學(xué)習(xí)算法的慣性傳感器LSM6DSOX解決了市場(chǎng)推廣的難題。本地運(yùn)行應(yīng)用同時(shí)功耗非常低，從不可能變成了可能。產(chǎn)品推出后，尤其是在將模塊集成到SensorTile.box 之后，新應(yīng)用開(kāi)始涌現(xiàn)。例如，用它開(kāi)發(fā)的嬰兒哭聲檢測(cè)器，當(dāng)有嬰兒被遺忘在車內(nèi)時(shí)可以提示駕駛員。同樣，倫敦大學(xué)學(xué)院兩個(gè)項(xiàng)目基于此開(kāi)發(fā)出了自動(dòng)化站/坐監(jiān)測(cè)和更便捷的數(shù)字聽(tīng)診器，獲得市場(chǎng)好評(píng)。

還有哪些傳感器配備機(jī)器學(xué)習(xí)核心？

LSM6DSOX還標(biāo)志著一個(gè)新開(kāi)發(fā)者社區(qū)出現(xiàn)。意法半導(dǎo)體在 GitHub網(wǎng)站提供了機(jī)器學(xué)習(xí)核心庫(kù)，并提高Unico GUI 軟件工具的可及性，幫助更多的希望利用LSM6DSOX的機(jī)器學(xué)習(xí)核心的程序員。此外，我們還發(fā)布了性能更強(qiáng)大的傳感器。LSM6DSRX有更好的性能，適用于虛擬現(xiàn)實(shí)耳機(jī)等要求更高的應(yīng)用。意法半導(dǎo)體還推出了LSM6DSV16X，它具有增強(qiáng)的機(jī)器學(xué)習(xí)內(nèi)核和更好的性能功率比，適用于功耗限制更嚴(yán)格的系統(tǒng)。因而，有機(jī)器學(xué)習(xí)核心的意法半導(dǎo)體傳感器在一定程度上加快了下一個(gè)自動(dòng)化時(shí)代的到來(lái)，而ISM330IS 在這一傳奇中翻開(kāi)了一個(gè)重要的新篇章。

從新處理核心到新應(yīng)用，ISPU是用什么做的？

ISM330IS 的 ISPU提供 8 KB的數(shù)據(jù)RAM和32 KB的應(yīng)用RAM，運(yùn)行頻率10 MHz，具有32 位 RISC哈佛架構(gòu)、四級(jí)流水線、浮點(diǎn)單元和針對(duì)神經(jīng)網(wǎng)絡(luò)處理優(yōu)化的16位長(zhǎng)度指令集。此外，雖然處理器發(fā)出中斷請(qǐng)求僅需四個(gè)時(shí)鐘周期（Arm Cortex 內(nèi)核通常需要15 個(gè)時(shí)鐘周期），但也可以在一個(gè)時(shí)鐘周期內(nèi)處理 16 位乘法運(yùn)算。它使用 SPI 或 I2C 與主控 MCU 通信，開(kāi)發(fā)人員只需在主處理器啟動(dòng)時(shí)將 C 代碼加載到 ISPU 的易失性存儲(chǔ)器內(nèi)即可。

FPU 讓應(yīng)用程序能夠在邊緣設(shè)備上更靈活地運(yùn)行推理算法。一旦滿足條件，程序就會(huì)向微控制器發(fā)出中斷請(qǐng)求。同樣，與上一代核心相比，該架構(gòu)使 ISPU 提高性能的同時(shí)，功耗仍維持在微瓦級(jí)別。因此，與之前機(jī)器學(xué)習(xí)核心的決策樹(shù)相比，新產(chǎn)品是一個(gè)重大的飛躍，是一個(gè)更高效的系統(tǒng)。此外，盡管具有強(qiáng)大的算力，但 ISM330IS 仍然適合市場(chǎng)標(biāo)準(zhǔn)的 3 mm x 2.5 mm x 0.83 mm LGA 封裝。因此，采用新傳感器，設(shè)計(jì)人員無(wú)需大幅修改 PCB布局。

ISM330IS是如何做到脫穎而出的？

機(jī)器學(xué)習(xí)應(yīng)用越來(lái)越普及，很多人一想到機(jī)器學(xué)習(xí)，就會(huì)想到高存儲(chǔ)容量、云計(jì)算服務(wù)器或高度并行的GPU 架構(gòu)，有許多程序?qū)\(yùn)算性能要求確實(shí)很高，這使得它們與邊緣處理不相容。然而，有些企業(yè)也知道，并非所有深度學(xué)習(xí)系統(tǒng)都需要這個(gè)級(jí)別的算力。因此，在手機(jī)等移動(dòng)產(chǎn)品或工業(yè)設(shè)備本機(jī)上運(yùn)行推理算法的應(yīng)用越來(lái)越受歡迎。圖像識(shí)別、異常檢測(cè)和預(yù)測(cè)性維護(hù)都要求在低功率條件下有可靠的 AI 性能。同樣，家庭無(wú)線安保系統(tǒng)攝像頭可以用人工智能識(shí)別人臉或?qū)櫸铮琁SPU核心可以為移動(dòng)系統(tǒng)常亮顯示屏提供智能。

針對(duì)性能與功耗這一挑戰(zhàn)，ISM330IS 是一個(gè)新的解決方案，因?yàn)樗母咝阅苣Ｊ焦膬H為0.59 mA，在同等條件下，ISM330DHCX高達(dá)1.5 mA。ISM330DHCX功耗較高的部分原因是模塊集成了性能更強(qiáng)大的陀螺儀等功能。然而，這些數(shù)字也顯示了新產(chǎn)品的優(yōu)化之處和處理器核心的能效。事實(shí)上，低功耗微控制器很少有 FPU，因?yàn)樗鼈兺ǔＰ枰罅康碾娔埽欢琁SM330IS卻將功耗成功地控制在電池供電系統(tǒng)適用的水平。

審核編輯：郭婷