端對端模型的承諾

深度學習的最終承諾是，開發和訓練自然語言問題的端對端模型能力，而不是為專門模型開發流程。

端對端模型不僅能改進模型的性能，也能帶來更好的開發速度和簡潔性。

神經機器翻譯（簡稱NMT）是指，嘗試學習將一種語言翻譯成另一種語言的大型神經網絡。 傳統上，這是由一系列手工調整的模型組成的流程來處理的，而流程中的每個模型都需要專業語言知識。

Chris Manning 在斯坦福大學NLP深度學習課程第十講《神經機器翻譯和注意模型》中描述了這一點。他說：”神經機器翻譯是指，我們想要做的是構建一個大型神經網絡，在這個網絡中我們可以對訓練整個端到端機器翻譯過程并進行優化。……這種遠離人工定制模型、朝向端到端、序列到序列預測模型的趨勢，一直是語音識別的趨勢。 這樣做的系統被稱為NMT （神經機器翻譯）系統。

設計端到端模型，而非為專門系統設計流程，這也是語音識別的一個趨勢。

在斯坦福NLP課程第十二講《語音處理的端到端模型》中，目前就職于Nvidia的 NLP研究員Navdeep Jaitly強調，語音識別的每個組成部分都可以用神經網絡來代替。自動語音識別流程中的幾大組塊是語音處理，聲學模型，發音模型和語言模型。問題是，每個組塊的屬性和錯誤類型是不同的。這激發了開發一個神經網絡來端到端地學習整個問題的需要。

他說，“隨著時間的推移，人們開始注意到，如果我們使用神經網絡，這些組件中的每一個都可以做得更好。 ……但是，仍然有一個問題。 每個組件都有各自的神經網絡，但是每個組件中的錯誤都是不同的，所以它們可能無法很好地協同工作。 所以這讓我們擁有動機，嘗試去把整個語音識別當作一個大模型來訓練。”

自然語言處理深度學習網絡的類型

深度學習是一個很大的學習領域，并不是它的所有內容都與自然語言處理相關。

哪些類型的深度學習模型能提升性能？學習者在具體優化方法上很容易陷入泥沼。

從較高層次看，深度學習中有5種方法在自然語言處理中應用最為廣泛。

他們是：

嵌入圖層

多層感知器（MLP）

卷積神經網絡（CNN）

循環神經網絡（RNNs）

遞歸神經網絡（ReNNs）

NLP中的問題類型

深度學習不會徹底解決自然語言處理問題或人工智能問題。

迄今為止，在自然語言處理的一系列廣泛問題中，已經對深度學習方法進行了評估，并在其中一些問題上取得了成功。這些成功表明，使用深度學習能獲得高于以往的表現或能力。

重要的是，深度學習方法取得最大成功的領域，恰恰是一些更加面對終端用戶、更具挑戰性也更有趣的問題。

深度學習取得成功的5個例子包括：

詞表示和詞含義

文本分類

語言建模

機器翻譯

語音識別