新的互聯(lián)網(wǎng)是物聯(lián)網(wǎng)（IoT），它完全是關(guān)于數(shù)據(jù)的 - 以在物聯(lián)網(wǎng)之前根本無法想象的規(guī)模生成和處理。現(xiàn)在，通過將AI應(yīng)用于這些數(shù)據(jù)，我們可以顯著改善見解。人工智能現(xiàn)在可以識別倫敦水網(wǎng)的泄漏，因此工程師可以精確地更換管道。它可以衡量在高峰時段使用東京澀谷口口的人如何影響交通流量。它可以衡量紐約人對時代廣場新廣告的反應(yīng)。三個例子，三個行業(yè) - 公用事業(yè)，物流和營銷 - 都得到了人工智能的增強。

目前物聯(lián)網(wǎng)整理的數(shù)據(jù)量已經(jīng)很大，但它將變得更大、更有趣。2019年2月，Gartner表示，組織中人工智能的采用率逐年增加了兩倍。對于工程師和工程公司來說，設(shè)備網(wǎng)絡(luò)智能化的提高意味著我們可以開始實現(xiàn)物聯(lián)網(wǎng)的真正潛力。

人工智能在工業(yè)物聯(lián)網(wǎng)（IIoT）中最有用的地方

AI正迅速成為主流計算資源可以處理的任務(wù);我們已經(jīng)有了人工智能，以機器學(xué)習(xí)（ML）推理的形式，在哮喘吸入器等單傳感器設(shè)備上運行。我們可以直接在智能手機上訪問AI驅(qū)動的照片增強功能，然后在高級車輛中運行計算機視覺應(yīng)用程序。所有這些都已經(jīng)在改善人們的生活，但我認(rèn)為我們將在工業(yè)應(yīng)用中看到最直接的商業(yè)價值。

在工業(yè)環(huán)境中，任何可以提高生產(chǎn)率的技術(shù)都是有價值的，并且操作數(shù)據(jù)通常用于提供對機器及其當(dāng)前狀況的見解。工業(yè)傳感器生成的數(shù)據(jù)包含模式，通過日益復(fù)雜的分析，可以幫助預(yù)測資產(chǎn)何時會發(fā)生故障，從而在故障對生產(chǎn)率產(chǎn)生更大的整體影響之前對其進行修復(fù)。預(yù)測和預(yù)防性分析的這一分支以前已經(jīng)在大型服務(wù)器和“云”中進行，但AI和ML的發(fā)展意味著它現(xiàn)在正在向網(wǎng)絡(luò)邊緣靠攏。事實上，它被直接放入構(gòu)成IIoT的機器中。

邊緣機器學(xué)習(xí)

ML處理走向邊緣的原因有很多。第一個是最簡單的接受：邊緣是創(chuàng)建數(shù)據(jù)的地方。不過，還有其他更關(guān)鍵的原因;最值得注意的是，數(shù)據(jù)在移動帶寬和處理指令周期方面都消耗資源。如果通過物聯(lián)網(wǎng)生成的所有數(shù)據(jù)都由服務(wù)器處理，它將涉及大量的網(wǎng)絡(luò)流量和服務(wù)器功率的指數(shù)級增長。這正是谷歌等公司正在精簡其一些算法的原因 - 因此它們可以獨立于云，在邊緣AI驅(qū)動的設(shè)備上運行。

正如在邊緣設(shè)備中嵌入 HTML 服務(wù)器現(xiàn)在已司空見慣一樣，在端點（如傳感器）中執(zhí)行 ML 也是可行的。但是，ML在邊緣的實現(xiàn)方式至關(guān)重要，它遵循分布式處理的概念。訓(xùn)練AI算法所需的處理資源相當(dāng)可觀，但它實際上是一種非經(jīng)常性費用。執(zhí)行推理模型所需的資源更為有限，但在數(shù)量上可以消耗與訓(xùn)練階段一樣多（如果不是更多）的處理資源。它們的不同之處在于，與訓(xùn)練不同，每個推理實例都可以與所有其他實例隔離打包和執(zhí)行，這意味著它可以很容易地移植到較小的處理資源中，并根據(jù)需要多次復(fù)制。

這種分布式智能是新互聯(lián)網(wǎng)的形態(tài)，如有必要，它可以再次孤立地運行，同時仍然是整體的一部分。邊緣處理消除了在日益擁擠的網(wǎng)絡(luò)中傳遞數(shù)據(jù)的需要，并消耗了越來越寶貴的處理資源。

面向機器學(xué)習(xí)的架構(gòu)

訓(xùn)練完成后，AI 框架將提供部署路徑。對于部署在邊緣的資源受限設(shè)備，這包括張量流精簡版和 Caffe2 等設(shè)備。這些和其他此類平臺通常是開源的，并且通常帶有“入門”介紹;已經(jīng)過訓(xùn)練以提供某種形式的推理的模型。這些模型還可以使用自定義數(shù)據(jù)集進行重新訓(xùn)練，該過程稱為遷移學(xué)習(xí)，可以節(jié)省數(shù)小時的處理時間。

為了在不同的處理架構(gòu)之間移植，模型通常通過解釋器運行，并由主機軟件使用API訪問。由于模型經(jīng)過優(yōu)化，因此整個實現(xiàn)可以適應(yīng) 100 KB 的低內(nèi)存。

有許多例子說明ML如何在網(wǎng)絡(luò)邊緣，網(wǎng)絡(luò)邊緣或附近運行，其中許多將運行基于Linux的操作系統(tǒng)。這些基于 CPU 的 ML 解決方案使用本質(zhì)上是通用的微處理器，而不是臺式計算機中常見的耗電量大且通常面向 GPU 的大型設(shè)備。GPU具有高度并行的執(zhí)行模塊，并利用多個MAC單元，旨在盡可能快地執(zhí)行重復(fù)的，面向數(shù)學(xué)的操作，而很少考慮功耗。它們通常難以編程，需要高水平的功率，并且通常不適合資源受限的邊緣設(shè)備。

TensorFlow Lite設(shè)計用于在較小的處理器上運行一些TensorFlow模型，并提供預(yù)訓(xùn)練的模型，可以提供各種類型的ML，包括圖像分類，對象檢測和分割。這三種類型的模型的工作方式略有不同：圖像分類適用于整個圖像，而對象檢測將圖像分解為矩形，但分割進一步查看每個單獨的像素。要在 TensorFlow 精簡版部署中使用經(jīng)過訓(xùn)練的張量流模型，需要轉(zhuǎn)換這些模型，這可以通過可選的優(yōu)化來減小文件大小。該轉(zhuǎn)換器可用作 Python 的 API，下面的代碼示例演示了如何使用它。

導(dǎo)入張量流作為 tf

轉(zhuǎn)換器 = tf.lite.TFLiteConverter.from_saved_model（saved_model_dir）

tflite_model = converter.convert（）

打開（“converted_model.tflite”，“wb”）。寫入（tflite_model）

在標(biāo)準(zhǔn)處理器上運行ML意味著開發(fā)人員還可以利用基于行業(yè)標(biāo)準(zhǔn)語言（如Python）的簡單軟件解決方案。在某些情況下，這些處理器可能具有DSP擴展，這些擴展可用于加速部分?jǐn)?shù)據(jù)流，但本質(zhì)上通用處理器可以處理在較小設(shè)備中運行ML所需的處理級別，同時仍然處理通用應(yīng)用程序代碼。

CPU主導(dǎo)的AI已經(jīng)普遍用于智能手機，例如用于識別照片中的特定特征。在工業(yè)應(yīng)用中也是如此，基于多核處理器（如恩智浦 i.MX 系列）的片上系統(tǒng)（SoC）解決方案通常用于將ML投入工業(yè)過程。這包括機器視覺系統(tǒng)，該系統(tǒng)可以在制造過程中識別特定產(chǎn)品。這些 SoC 和其他類似 SoC 是當(dāng)今如何部署 ML 的完美示例。

超越地平線

雖然CPU或MCU主導(dǎo)的AI現(xiàn)在已經(jīng)司空見慣，但我們已經(jīng)期待設(shè)備網(wǎng)絡(luò)最遠的邊緣，其中尺寸，功耗和成本要求受到超高限制。這就是最新版本的TensorFlow的用武之地：張量流精簡版微軟，或稱為TF精簡微，是框架的一個版本，它被設(shè)計為在可能沒有操作系統(tǒng)的微控制器上運行，而不是運行Linux的微處理器。代碼和模型加在一起只需要45KB的閃存，只需要30KB的RAM即可運行。這是在最遠的邊緣的推斷，在設(shè)備中完全自主運行，無需任何其他軟件的幫助，或者同樣重要的是，沒有其他硬件的幫助。

使用 TF 精簡版的過程類似于使用張量流精簡版，但附加步驟是編寫深度嵌入的代碼來運行推理。除了在代碼中包含相關(guān)的.h文件外，主要步驟還包括：添加代碼以允許模型寫入日志;實例化模型;為輸入分配內(nèi)存;輸出和中間數(shù)組;實例化解釋器;驗證輸入形狀，實際運行模型并獲取輸出。下面的代碼片段是如何獲取輸出的示例。

TfLiteTensor* output = interpreter.output（0）;

uint8_t top_category_score = 0;

int top_category_index;

for （int category_index = 0; category_index 《 kCategoryCount;

++category_index） {

const uint8_t category_score = output-》data.uint8［category_index］;

if （category_score 》 top_category_score） {

top_category_score = category_score;

top_category_index = category_index;

}

}

為了在微控制器上支持 ML，Arm 開發(fā)了 CMSIS-NN 軟件庫，這是處理神經(jīng)網(wǎng)絡(luò)的 Cortex 微控制器軟件接口標(biāo)準(zhǔn) （CMSIS） 的一部分。通過量化，將浮點數(shù)減少到整數(shù)（這一過程已被證明很少或沒有精度損失），CMSIS-NN幫助開發(fā)人員將模型映射到微控制器的有限資源。

超高效的 ML 框架（如 TF 精簡版微處理器）以及 CMSIS-NN 使得使用在超低功耗微控制器上運行的 ML 成為可能。這顯然有許多可能的應(yīng)用，但一個非常適用于始終在線系統(tǒng)的場景是，系統(tǒng)的大部分保持深度睡眠模式，直到特定條件使其栩栩如生，例如喚醒詞。我們可以將其視為一種新型的中斷服務(wù)例程，它使用智能來決定芯片/系統(tǒng)的其余部分何時需要參與。這清楚地表明了超低功耗ML功能在邊緣產(chǎn)生巨大影響的潛力。

展望未來，專注于邊緣推理需求的技術(shù)開發(fā)將使高度響應(yīng)和功能強大的ML模型能夠在更低的功率水平下運行。例如，Arm 為 Armv8-M 架構(gòu)開發(fā)了新的矢量擴展，稱為氦。這是 Arm Cortex-M 處理器的最新發(fā)展，當(dāng) Armv8-M 架構(gòu)于 2015 年推出時，它獲得了 Arm TrustZone 在安全性方面的優(yōu)勢。氦矢量擴展的開發(fā)將把類似NEON的處理能力與信任區(qū)的安全性結(jié)合起來。氦矢量擴展還將為Cortex-M級微控制器提供顯著的性能提升，這將有助于實現(xiàn)許多新應(yīng)用，在邊緣具有更靈敏，更準(zhǔn)確的ML。氦氣將使Cortex-M設(shè)備的ML提高多達15倍，信號處理將提高多達5倍。

圖 4：氦氣將加速信號處理和機器學(xué)習(xí)算法。

對于開發(fā)人員來說同樣重要的是，這意味著他們將可以在用于其他基于微控制器的開發(fā)中使用的相同工具鏈中訪問ML。集成功能，如識別異常振動、意外噪音或警報圖像，將隱含在控制代碼中，從而簡化將ML置于邊緣的整個過程。

機器學(xué)習(xí)遠非“為了技術(shù)而技術(shù)”，由于對響應(yīng)更快，更強大的控制系統(tǒng)的需求正在增加，這些系統(tǒng)不依賴于云服務(wù)，并且與物聯(lián)網(wǎng)保持始終在線的連接。

如果物聯(lián)網(wǎng)要擴展到我們現(xiàn)在意識到的數(shù)萬億臺設(shè)備來滿足不斷增長的期望，那么在邊緣使用推理來限制在日益擁擠的網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量將是必不可少的。

審核編輯：郭婷