什么是 RNN？

循環神經網絡 (RNN) 是一種用于深度學習的網絡架構，它可以對時間序列或順序數據進行預測。 RNN 特別適合處理長度不同的順序數據以及解決自然信號分類、語言處理和視頻分析等問題。

RNN 的工作原理 循環神經網絡 (RNN) 是一種深度學習結構，它使用過去的信息來提高網絡處理當前和將來輸入的性能。RNN 的獨特之處在于該網絡包含隱藏狀態和循環。循環結構支持網絡以隱藏狀態存儲過去的信息，并對序列進行運算。 RNN 怎么知道如何將過去的信息應用于當前輸入？該網絡有兩組權重：一組用于隱藏狀態向量，另一組用于輸入。在訓練期間，網絡會學習輸入和隱藏狀態的權重。在實現時，輸出基于當前輸入以及隱藏狀態，而隱藏狀態基于以前的輸入。 RNN 中單個單元的展開圖，顯示信息如何通過數據序列的網絡。該單元的隱藏狀態作用于輸入以產生輸出，并且隱藏狀態會傳遞給下一個時間步。

展開的單個 RNN 單元，顯示信息如何通過數據序列的網絡。該單元的隱藏狀態作用于輸入以產生輸出，并且隱藏狀態會傳遞給下一個時間步。

LSTM 實際上，簡單的 RNN 在學習長期依存關系時會遇到問題。RNN 通常通過反向傳播來訓練，在反向傳播中，它們可能遇到梯度的“消失”或“爆炸”問題。這些問題會導致網絡權重變得非常小或非常大，從而限制學習長期依存關系的有效性。 一種特殊類型的 RNN——長短期記憶 (LSTM) 網絡可克服此類問題。LSTM 網絡使用額外的門來控制隱藏狀態中的哪些信息可以輸出，并傳遞到下一個隱藏狀態。這就使網絡能夠更高效地學習數據中長期關系。LSTM 是一種常用的 RNN。

RNN（左）和 LSTM 網絡（右）的比較。 雙向 LSTM 可學習時間序列數據或序列數據的時間步的雙向依存關系。當您希望網絡在每個時間步都從完整時間序列中學習時，這些依存關系會很有用。另一個學習長期依存關系的 RNN 變體是門控 RNN。您可以在 MATLAB 中訓練和使用雙向 LSTM 和門控 RNN。

RNN 為何重要 RNN 是許多應用中的關鍵技術，例如： 信號處理 ? 信號天然就是順序數據，因為它們通常是傳感器隨著時間的推移采集的。對大型信號數據集的自動分類和回歸使得實時預測成為可能。原始信號數據可以饋入深度網絡，或進行預處理以關注特定特征，如頻率分量。特征提取可以大大提高網絡性能。

文本分析

語言天然就是順序數據，文本片段的長度也各不相同。RNN 非常適合自然語言處理任務，如文本分類、文本生成、機器翻譯和情緒分析（對單詞和短語的含義進行分類），因為它們可以學習根據語境處理句子中的字詞。

何時應使用 RNN？

當您使用序列和時間序列數據執行分類和回歸任務時，請考慮使用 RNN。RNN 也非常適合處理視頻，因為視頻本質上是一個圖像序列。與處理信號類似，在將序列饋送到 RNN 之前進行特征提取會很有幫助。利用 CNN（例如 GoogLeNet）對每幀進行特征提取。

用于分類、回歸和視頻分類任務的 RNN 網絡架構。

使用 MATLAB 實現 RNN

使用 MATLAB 和 Deep Learning Toolbox，您能夠設計、訓練和部署 RNN。您可以使用 Text Analytics Toolbox 或 Signal Processing Toolbox 將 RNN 應用于文本或信號分析。 設計和訓練網絡 您可以僅用幾行 MATLAB 代碼以編程方式創建和訓練 RNN。使用循環層（LSTM 層、雙向 LSTM 層、門控循環層和 LSTM 投影層）構建 RNN。在 RNN 網絡中使用單詞嵌入層將單詞映射到數值序列中。 您還可以使用深度網絡設計器以交互方式創建和訓練 RNN。通過準確度、損失和驗證度量圖監控訓練。 部署網絡 您可以在嵌入式系統、企業系統、FPGA 設備或云上部署經過訓練的 RNN。您還可以使用 Intel、NVIDIA 和 ARM 庫生成代碼，以創建具有高性能推斷速度的可部署模型。

深度網絡設計器，用于以交互方式構建、可視化和編輯 RNN 網絡。

將經過訓練的深度學習網絡快速部署到生產中。

審核編輯：黃飛

?