具有深度學習能力的傳感器融合

【導讀】傳感器被越來越多地應用于我們的日常生活中，以幫助收集各種應用中有意義的數(shù)據(jù)，例如建筑暖通空調(diào)系統(tǒng)、工業(yè)自動化、醫(yī)療保健、門禁控制和安全系統(tǒng)等。傳感器融合網(wǎng)絡(luò)有助于從多個傳感器獲取數(shù)據(jù)，以提供設(shè)備周圍環(huán)境更全面的感知。換句話說，傳感器融合結(jié)合多個物理傳感器的數(shù)據(jù)，即使單獨的傳感器本身不可靠，融合后的結(jié)果會更加準確，有助于減少感知過程中的不確定性。

為了進一步提高智能化和可靠性，使用深度學習進行傳感器融合，在工業(yè)和消費領(lǐng)域正變得越來越重要。

從數(shù)據(jù)科學的角度來看，這種模式通過采用智能監(jiān)測和傳感器融合策略，以及運用優(yōu)化的機器學習，從傳感器數(shù)據(jù)中中獲取相關(guān)知識。主要目標之一是有效預測工業(yè)運行環(huán)境中的異常行為，以避免重大事故帶來的損害。

瑞薩電子提供智能端點傳感設(shè)備和集成了豐富模擬外設(shè)的微控制器。這些微控制器作為傳感設(shè)備的核心，為不同應用提供更精確的傳感器融合方案。常用的方式是：

冗余傳感器：提供相同的信息類型。

互補傳感器：提供獨立（不相干）的信息類型。

協(xié)同傳感器：順序收集外部的信息。

傳感器網(wǎng)絡(luò)中的通信是整個方案的核心，有以下幾種選擇：

分散式：傳感器節(jié)點之間沒有通信。

集中式：所有傳感器把測量值提供給中央節(jié)點。

分布式：節(jié)點之間按照一定的頻率交換信息（例如，每采集五次就交換一次數(shù)據(jù)）。

集中式方案也可以被看作是分布式方案的一個特例。傳感器的每一次采集都會發(fā)送給融合節(jié)點，如下圖示。

深度學習

一個有效的傳感器融合方案，先決條件是精確校準和同步傳感器。瑞薩提供了一系列解決方案，使用集中式方案，在端點設(shè)備上運行先進的傳感器融合算法，實現(xiàn)決策推斷。

晚期融合可以實現(xiàn)互操作，而早期融合可以為人工智能提供豐富的數(shù)據(jù)做預測。我們借用不同策略的長處。現(xiàn)代方法通常會對設(shè)備上的傳感器，在時間和空間上做融合，然后將融合后的數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)執(zhí)行預測。這些數(shù)據(jù)用于AI訓練或?qū)崟r算法的軟件閉環(huán)（SIL）測試。由于前期的數(shù)據(jù)融合，在此階段這些算法只需要接收有限的信息量。

深度學習使用神經(jīng)網(wǎng)絡(luò)來實現(xiàn)先進的機器學習，可以利用高性能計算平臺，如瑞薩的RA MCU和RZ MPU來做訓練和執(zhí)行。深度神經(jīng)網(wǎng)絡(luò)由若干處理層組成，這些處理層從傳感器融合中學習，對數(shù)據(jù)進行不同程度的抽象化。深度神經(jīng)網(wǎng)絡(luò)的層數(shù)越多，學到的表征就越抽象。

深度學習提供了一種表征學習的形式，通過使用簡單的表征來表示數(shù)據(jù)。深度學習技術(shù)可以使用幾個層的組合來理解特征，每個層都有獨特的數(shù)學轉(zhuǎn)換，以產(chǎn)生抽象的表征，更好地區(qū)分數(shù)據(jù)中的高級特征，以加強對真實形式的分離和理解。

多流神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于從多模態(tài)數(shù)據(jù)中生成有效的預測，其中每個流對網(wǎng)絡(luò)產(chǎn)生整體聯(lián)合推斷都很重要。多流方法已在多模態(tài)數(shù)據(jù)融合方面取得成功，深度神經(jīng)網(wǎng)絡(luò)已被成功應用于多個應用中，如機器翻譯和時序數(shù)據(jù)融合。

允許深度神經(jīng)網(wǎng)絡(luò)在基于MCU的端點應用上進行訓練和部署，是一個巨大的突破，有助于加快行業(yè)應用。瑞薩的RA MCU平臺和相關(guān)的靈活軟件包與人工智能建模工具相結(jié)合，提供了多層結(jié)構(gòu)化神經(jīng)網(wǎng)絡(luò)應用能力。通常，更多的層能讓網(wǎng)絡(luò)學到更多的抽象特征。在異質(zhì)混合中堆疊多種類型的層，可以勝過同質(zhì)混合的層。瑞薩的傳感解決方案可以通過多個傳感器的反饋來彌補系統(tǒng)在處理相關(guān)類型的信息時單個傳感器的不足。

靈活的瑞薩高級（RA）微控制器（MCU）是業(yè)界領(lǐng)先的32位MCU，是構(gòu)建智能傳感器的絕佳選擇。由于RA系列的MCU種類繁多，您可以根據(jù)您的應用需求選擇最佳產(chǎn)品。RA MCU平臺與強大的支持和軟件生態(tài)系統(tǒng)相結(jié)合，將有助于加快傳感器融合和深度學習模塊的工業(yè)4.0應用開發(fā)。

作為瑞薩廣泛的解決方案和設(shè)計支持的一部分，瑞薩為多功能人工智能物聯(lián)網(wǎng)（AIoT）傳感器解決方案提供了參考設(shè)計。它針對工業(yè)預測維護、支持手勢識別的智能家居/物聯(lián)網(wǎng)設(shè)備、可穿戴設(shè)備（主動跟蹤）以及創(chuàng)新性的人機界面或（HMI）（手指感知）等移動應用提供了解決方案。作為該解決方案的一部分，瑞薩可以提供豐富的硬件，包括物聯(lián)網(wǎng)專用RA微控制器、空氣質(zhì)量傳感器、光傳感器、溫度和濕度傳感器、6軸加速度傳感器以及蜂窩、藍牙通信芯片等。

隨著工業(yè)4.0系統(tǒng)中傳感器數(shù)量的不斷增加，對傳感器融合的需求也在不斷增長，以理解這些傳感器產(chǎn)生的海量數(shù)據(jù)。市面上也出現(xiàn)越來越多集成傳感器融合的設(shè)備。例如，融合了振動、聲音、溫度和磁場傳感器數(shù)據(jù)的智能狀態(tài)監(jiān)測盒可用于機器狀態(tài)監(jiān)測。還可以選配用于監(jiān)測加速度、角速度、沖擊和振動的其他傳感器配件。

該系統(tǒng)通過人工智能算法實現(xiàn)傳感器融合，以更好地對異常運行狀況進行分類，從而產(chǎn)生更準確的推斷決策。這種邊緣人工智能架構(gòu)簡化了對傳感器融合所產(chǎn)生的大數(shù)據(jù)的處理，確保只有最相關(guān)的數(shù)據(jù)被發(fā)送到邊緣人工智能處理器或云端，以便進一步分析并可能用于訓練ML算法。

使用基于AI的深度學習有幾個好處

● AI算法可以采用傳感器融合，利用多個傳感器的數(shù)據(jù)來彌補單個傳感器數(shù)據(jù)的不足。

● AI算法可以先根據(jù)傳感器數(shù)據(jù)的相關(guān)性對傳感器分類，再把數(shù)據(jù)送給與之對應的任務。

● 通過在邊緣設(shè)備或云上的持續(xù)訓練，AI/ML算法可以讓設(shè)備通過不斷學習來識別以前未識別的系統(tǒng)行為變化。

● AI算法可以預測可能的故障源，實現(xiàn)預測性維護，提高生產(chǎn)效率。

傳感器融合與人工智能深度學習相結(jié)合，可以發(fā)揮傳感器數(shù)據(jù)的最大作用。基于AI/ML的增強型傳感器融合可用于系統(tǒng)的多個層級，包括數(shù)據(jù)層、融合層和決策層。傳感器融合的基本功能包括實現(xiàn)數(shù)據(jù)的平滑和過濾以及預測傳感器和系統(tǒng)狀態(tài)。

瑞薩電子邀請您使用我們的高性能MCU和A&P產(chǎn)品組合。結(jié)合完整的軟件平臺，它能為您提供有針對性的深度學習模型和工具，用以構(gòu)建下一代傳感器融合解決方案。

來源：瑞薩電子，作者：Suad Jusuf

審核編輯：湯梓紅