無人潛航器（UUV）是一種水下機器人，在沒有人的情況下運行。這些運載工具的早期使用案例包括深海勘探和水下水雷的禁用等工作。然而，由于水的扭曲效應，無人潛水器的通信和導航控制較差。因此，研究人員已經開始開發(fā)機器學習技術，幫助無人潛航器更好地自主導航。

也許研究人員正在努力解決的最大挑戰(zhàn)是缺乏GPS信號，因為GPS信號無法穿透水面。其他類型的依賴相機的導航技術也無效，因為水下相機的能見度很低。

研究人員表示，他們的目的之一是最終幫助解決清除累積在船體上的生物的危險工作。這些堆積物，也被稱為生物膜，通過引入入侵物種對環(huán)境構成威脅，并通過增加的船舶阻力提高了運輸成本。

在上個月發(fā)表在IEEE Access（https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=6287639）雜志上的這項研究（ieeexplore.ieee.org/document/10304148）中，來自澳大利亞和法國的研究人員使用了一種稱為深度強化學習的機器學習方法，幫助無人潛航器在困難條件下更準確地導航。

在強化學習（spectrum.ieee.org/tag/reinforcement-learning）中，UUV模型從執(zhí)行隨機動作開始，然后觀察這些動作的結果，并將其與目標進行比較——在這種情況下，盡可能接近目標目的地；加強積極結果的行動，避免導致不良結果的行動。

海洋給無人潛航器的導航挑戰(zhàn)增加了另一層復雜性，強化模型必須學會克服這些挑戰(zhàn)。洋流很強，可以將潛航器帶到遠離預定路徑的不可預測的方向。因此，無人潛水器需要導航，同時還要補償來自電流的干擾。

為了達到最佳效果，研究人員調整了強化學習的長期慣例。這項研究的主要作者、澳大利亞阿德萊德弗林德斯大學科學與工程學院的副研究員Thomas Chaffre表示，他的團隊的出發(fā)點是該領域研究大規(guī)模遷移的一部分。今天，包括谷歌DeepMind在內的機器學習研究人員Chaffre表示，質疑關于強化學習訓練過程的長期假設正變得越來越普遍，他們正在尋找可以顯著提高訓練成績的微小變化。

在這種情況下，研究人員專注于改變強化學習的記憶緩沖系統(tǒng)，該系統(tǒng)用于存儲過去動作的結果。存儲在存儲緩沖器中的動作和結果在整個訓練過程中被隨機采樣，以更新模型的參數(shù)。Chaffre說，通常這種采樣是以“獨立且相同分布”的方式進行的，這意味著它用來更新的操作完全是隨機的。

T CHAFFRE/FLINDERS UNIVERSITY

研究人員對訓練過程進行了改變，使其從記憶緩沖區(qū)中采樣，其方式更類似于人類大腦的學習方式。與其有平等的機會從過去的所有經歷中學習，不如更多地重視那些帶來巨大積極成果的行動，以及最近發(fā)生的行動。Chaffre說：“當你學習打網球時，你會更多地關注最近的經歷。隨著你看到進步，你將不在乎開始訓練時的表現(xiàn)，因為它不再能體現(xiàn)出任何關于你當前水平的信息。”

Chaffre說，同樣，當強化算法從過去的經驗中學習時，它應該主要集中在最近的行動上，這些行動帶來了巨大的積極收益。

研究人員發(fā)現(xiàn)，當使用這種自適應內存緩沖技術時，UUV模型可以更快地訓練，同時消耗更少的功率。Chaffre說，這兩種改進在部署無人潛航器時都提供了顯著的優(yōu)勢，因為盡管經過訓練的模型可以隨時使用，但仍需要對其進行微調。

Chaffre說：“因為我們正在研究水下機器人，使用它們的成本非常高，而且用它們訓練強化學習算法非常危險。” 因此，他補充道，減少模型微調的時間可以防止?jié)摵狡鲹p壞，并節(jié)省維修費用。他說，該團隊未來的計劃包括在海洋中的物理無人潛航器上測試新的訓練算法。