我們已經習慣了我們的設備變得更加智能，通過先進的音頻和視頻處理技術以及復雜的傳感器來識別和解釋語音和動作。說“Hey Google”或揮手，我們的設備不僅會做出響應，而且經常會提供他們受過訓練的偏好。歡迎來到智能物聯網邊緣設備時代。

這些智能設備已經無處不在，它們的功能令人期待：具有語音控制功能的揚聲器，可從大量訓練有素的語音命令詞匯中進行高度準確的語音識別；可穿戴活動追蹤器，可根據陀螺儀、加速度計和磁力計等傳感器的輸入數據識別人類活動，例如坐、站、走和跑步；配備智能攝像頭的門鈴，執行面部識別并觸發警報，該警報可以通過圖像或視頻發送到所有者的移動設備；甚至是自動駕駛汽車，應用先進的計算機視覺技術來檢測車輛、行人和危險駕駛條件。

這種演變的核心是越來越強大和復雜的機器學習技術，這些技術已被更廣泛地采用，以使我們的系統更具上下文感知和響應能力。機器學習技術經過訓練可以從一個或多個傳感器（例如，麥克風、陀螺儀、相機）捕獲的數據中識別某些復雜模式（例如，語音命令、人類活動、面部、行人），這帶來了新的水平給我們的生活帶來安全和便利。當感應到它被訓練識別的模式時，設備可以做出相應的響應。例如，當語音命令“播放音樂”被識別時，智能音箱可以啟動播放喜歡的歌曲。

更強大的神經網絡和算法的出現使機器學習驅動的設備得以發展，這些設備無需明確編程即可學習。然而，機器學習實現更高的自動化和智能的承諾，特別是在消費設備或其他在邊緣運行的應用程序中，受到功耗的限制。

低功耗挑戰

現代物聯網邊緣設備雖然體積小，但必須支持一系列復雜的傳感、通信和處理任務。挑戰在于，許多物聯網邊緣設備都是電池供電的，并且功率預算很緊，或者有其他限制功耗的限制，這使得低功耗設計成為一個非常重要的考慮因素。

這需要高能效處理器以及出色的循環效率，以便物聯網設備的處理器能夠以低頻運行。低功耗對于執行始終在線功能的物聯網邊緣設備尤其重要，例如智能揚聲器、智能手機或具有“始終聆聽”語音命令功能的家庭娛樂系統。執行面部檢測或手勢識別的基于攝像頭的設備也是如此，這些設備“一直在觀察”。我們的健康和健身監測設備必須“始終感應”。

此類設備通常應用智能技術來降低功耗。例如，“一直在聽”的設備可能會對麥克風信號進行采樣，并使用簡單的語音檢測技術來檢查是否有人在說話。然后，它僅在檢測到語音活動時應用計算密集型機器學習推理來識別語音命令。處理器必須限制每種不同狀態下的功耗——在這種情況下，是語音檢測和語音命令識別。因此，必須利用包括有效睡眠模式和斷電模式在內的各種電源管理功能來滿足能耗要求。

機器學習：訓練與推理

在機器學習中，兩個主要功能對我們的智能設備很重要：訓練和推理。訓練從未經訓練的模型開始，例如具有選定圖形結構的多層神經網絡。在這些神經網絡中，每一層都將輸入數據轉換為輸出數據，同時應用一組系數或權重。使用 Caffe 或 TensorFlow 等機器學習框架，使用大型訓練數據集訓練模型。結果是一個訓練有素的模型，例如，一個神經網絡，其權重被調整用于將輸入數據分類為某些類別，例如上述可穿戴活動跟蹤器中的不同類型的人類活動。

Inference 使用經過訓練的模型來處理傳感器捕獲的輸入數據，以推斷它已被訓練識別的復雜模式。例如，它可以檢查輸入數據是否與神經網絡訓練過的類別之一相匹配，例如活動跟蹤器設備中的“行走”或“坐著”。在推斷時，將訓練好的模型應用于新數據，并且通常在現場執行推斷。這就是低功耗變得尤為重要的地方，也是設計在邊緣運行的物聯網設備時的重要考慮因素。

根據應用的不同，輸入數據速率和推理的模型復雜性在物聯網設備中可能會有很大差異。例如，與音頻識別功能相比，簡單的運動檢測功能需要更少的輸入數據，而音頻識別功能將少于復雜的機器視覺系統。輸入數據速率的范圍可以從每秒 10 次樣本（用于使用少量傳感器的人類活動識別）到高達每秒 1 億次樣本（用于使用高分辨率相機以高幀速率捕獲圖像的高級計算機視覺）。因此，機器學習推理的計算要求可能相差幾個數量級。

機器學習：低功耗設計

對于具有中低計算要求的機器學習推理（大部分消費物聯網設備），選擇合適的處理器是實現機器學習推理實現高效率的關鍵。具體來說，是否具有用于神經網絡處理的正確處理器能力可能是滿足低 MHz 要求（因此是低功耗）與否之間的區別。

有關如何在智能物聯網設計中實現低功耗操作的更多詳細信息，請下載我們的免費低功耗機器學習白皮書，該白皮書描述了在可編程處理器上高效實現機器學習推理。我們還提供了一個可編程處理器和一個相關的軟件庫，用于有效實施低/中端機器學習推理。

審核編輯：符乾江