使用便宜的開源計算模塊實時檢測海洋哺乳動物，以實現主動管理解決方案。

（浮標照片和視頻版權歸于 Cetaware ）

公司規模：1-10名員工

公司行業： 環境科學與服務

網址：www.cetaware.nz

功能和技術規格列表

實時信號處理和推理，用于對鯨類發聲進行分類。

96kHz采樣率（最高可達384kHz）

水聽器靈敏度 -165 dB re 1V μPa

LTE Cat M-1 用于遙測/連接。

用于邊緣處理和機器學習的 ARMSoM 計算模塊 (CM5)。

項目背景

通過聆聽自然界的聲音，我們可以監測動物之間的交流方式，并獲得基本的基線數據，從而確認未來動物因環境變化而發生的變化。例如，通過檢測不同棲息地中發聲物種的發聲情況，研究人員可以調查種群數量，并繪制其豐度、棲息地利用和生物多樣性的趨勢。這些數據集對于建立基線至關重要，這樣才能量化并更好地管理人類活動（例如建筑施工）的影響。生態聲學（例如生物聲學）令人興奮的一點是，發聲動物非常適合被動聲學監測 (PAM) 技術。PAM 的優勢在于其可擴展性。許多自主記錄器（實時記錄或記錄到存儲卡）可以部署在難以通過基于視覺的方法（例如視覺調查，例如攝像機、航拍或樣線）進行研究的偏遠棲息地。

海洋就是這樣一個成本高昂且難以大規模采樣的地方。在研究海洋哺乳動物的棲息地利用/存在情況時，天氣和能見度始終是制約因素，因為目視調查需要晴朗的天氣和白天的光照時間。這必然會導致某些數據集出現采樣偏差，其中海洋哺乳動物的“熱點”往往與人類活動較多的區域重疊。然而，鯨魚和海豚在夜間活動，并且可以移動到與白天不同的區域。因此，對鯨魚和海豚的叫聲，甚至魚類和無脊椎動物的叫聲進行被動聲學監測 (PAM) 可以揭示大量關于其生態環境的信息，并為研究人員提供更全面的了解。此外，通過檢測船只的噪音，可以使用相同的設備來監測人類在海洋棲息地的存在或活動。

面臨的挑戰

由于聲波記錄儀 (PAM) 具有提供難以研究物種的連續生態數據的潛力，且不受天氣或光照條件的限制，聲學記錄儀在保護科學中的應用越來越廣泛。在海洋中，水聽器用于監聽珊瑚礁、深海、河口和海岸線。全球最常用的技術仍然是自主記錄儀，它是一種深度額定設備，由連接到前置放大器的水聽器、數模轉換器 (DAC)、控制器和存儲設備組成。記錄儀部署在所有深度（取決于所使用的設備），通常每次部署數月（在許多情況下長達一年）。一些 PAM 系統配備通過電纜連接到岸站的水聽器，并可長期穩定運行。這些技術使研究人員能夠整理數十萬小時的記錄，這些記錄需要進行自動化分析才能從中獲得有意義的信息。而這正是深度學習改變游戲規則的地方。

深度學習模型和人工智能加速硬件釋放了PAM真正的可擴展潛力，使科學家能夠在合理的時間內分析數TB的記錄。遷移學習意味著研究人員可以使用自己職業生涯中收集的帶注釋數據集，根據自身目的微調高效的深度學習模型。人工智能加速硬件的出現意味著這些模型能夠以前所未有的速度運行，相比之下，在CPU上運行的算法（包括更傳統的基于機器學習的分類器，例如隨機森林模型）的速度更快。然而，當自動記錄儀被回收時，尤其是在記錄了幾個月后從多個棲息地回收時，存在一些瓶頸問題，會延遲數據分析（假設儀器已被成功找到并回收）。此外，自動記錄儀還面臨進水（即洪水）和存儲卡損壞的風險（所有浸入水中的技術設備都是如此），這意味著數據可能會在不知不覺中丟失，而基線數據集的后續缺口可能會妨礙科學家得出具有統計意義的可靠結論。

在邊緣部署深度學習模型可以規避自主記錄器數據分析的瓶頸，為使用“大數據”研究生態系統的研究人員帶來巨大優勢。在邊緣部署深度學習模型并實時傳輸處理后的數據，可以規避數據安全問題，因為數據可以立即被檢索、存檔和備份。

然而，海洋噪音很大，海洋哺乳動物的監測通常也發生在人類活動頻繁的區域。例如，港口、建筑工地、航道、城市化河口和海港都是存在大量人為噪聲源的區域。此外，天氣、洋流（潮汐）、生物污損和其他動物的聲音（例如魚類和無脊椎動物）也會產生大量需要“濾除”（即去除）的聲音，以免掩蓋目標聲音或導致誤報（即報告檢測到聲音，而實際上這些聲音來自其他來源，例如天氣或船舶聲納）。因此，定期更新模型非常重要，這樣在經過訓練有素的生物聲學專家驗證初始數據后，船上的人工智能系統才能繼續進行訓練（即人機協同訓練流程）。無線更新意味著先進的技術（例如使用 Google DeepResearch 敏捷建?？蚣苡柧毜囊苿佑押眯湍Ｐ图軜嫞┛梢栽跊]有設備檢索的情況下推向大海。

CM5 解決方案（為什么選擇 ArmSoM CM5？）

自適應邊緣處理和多線程邊緣處理適用于多種聲源，需要計算能力強大且極其高效的硬件和軟件。ARMSoM 的系統級模塊 (SoM) 在 AIoT 的計算能力和功耗之間實現了完美平衡（運行 Armbian 時，空閑功耗為 0.5-1W）。RK3576 SoC 配備 4 個 Cortex A72 和 4 個 A55 處理器，可實現資源的定制化利用，而 NPU 和 LPDDR5 RAM 則為實時音頻流分類提供了極低的延遲。

集成 ARM 處理器的 NPU 的出現，為生物聲學領域的邊緣機器學習帶來了真正的優勢。使用 ESP32-S3 等微控制器仍然具有重要意義，但 ARMSoM 在其開發板上采用 RK35xx SoC，實現了并行處理流水線和音頻分類的并發推理。這非常強大，因為這意味著可以使用單個水聽器進行不同的聲學分析，同時監聽多種鯨魚、海豚以及其他聲源的聲音。

然后，使用ARMSoM CM5等開源 SoM 具有成本效益等開源 SoM 還有成本效益使用科學級硬件和儀器監測海洋成本高昂。實時聲學監測和生物聲學信號檢測器/分類器也非常昂貴。這意味著被動聲學監測成本過高，尤其對于發展中國家或非營利組織而言。 2024年的一項調查發現， 90%的受訪者表示需要低成本的自主錄音設備，這催生了國際低成本水聽器項目。該調查涵蓋了來自世界各地政府、大學和非政府組織的研究人員。通過使用開源計算硬件，實時聲學監測的構建成本可以低于使用專用微控制器的系統。

實施過程

為了展示開源硬件在生物聲學邊緣處理方面的優勢，我們需要一個演示浮標。我們專注于開發和部署用于海洋科學的實時聲學監測系統，但要使我們的技術發揮作用，需要一個平臺。ARMSoM CM5 及其外圍硬件與 Northport Limited 合作，安裝在新西蘭北部旺格雷港內的一個 Nexsens 浮標內。水聽器安裝在浮標下方，連接到 24 位、96kHz DAC，然后連接到計算模塊。使用 4G 蜂窩網絡連接到 AWS 進行實時數據傳輸。檢測數據（音頻數據、聲譜圖和元數據）被發送到 AWS，以便岸上進行進一步分析。

成果和效益

RK3576 是一款功能強大的 SoC，能夠輕松運行我們整個實時 AI 流程，同時還配備了 LPDDR5 RAM，功耗也比以往更低。它目前安裝在旺格雷的浮標內，并已成功將多種海豚的數據實時傳輸到我們的在線儀表板，確保數據準確無誤。在過去 13 個月中，該浮標已提供 219 次進出港口的海洋哺乳動物遭遇的聲學數據。在這 219 次遭遇中，有 24 次是虎鯨，其余大部分是寬吻海豚（其中 3 次是新西蘭海狗）。

審核編輯 黃宇