模型需要傳入的參數有三個，分別是所有的單詞數、預測單詞所依賴的單詞數、即CONTEXT_SIZE 和詞向量的維度。網絡在向前傳播中，首先傳入單詞得到詞向量，模型是根據前面兩個詞預測第三個詞的，所以需要傳入兩個詞，得到的詞向量是(2, 100)，然后將詞向量展開成(1, 200)，接著經過線性變換，經過relu 激活函數，再經過一個線性變換，輸出的維數是單詞總數，最后經過一個log softmax 激活函數得到概率分布，最大化條件概率，可以用下面的公式表示：

在網絡的訓練中，不僅會更新線性層的參數，還會更新詞嵌入中的參數，訓練100次模型，可以發現loss 已經降到了0.37，也可以通過預測來檢測模型是否有效：

1 word, label = trigram[3] 2 word = Variable(torch.LongTensor([word_to_idx[i] for i in word])) 3 out = ngrammodel(word) 4_, predict_label = torch.max(out, 1) 5 predict_word = idx_to_word[predict_label.data[0][0]] 6 print('real word is {}, predict word is {}'.format(label, predict_word))

運行上面的代碼，可以發現真實的單詞跟預測的單詞都是一樣的，雖然這是在訓練集上，但是在一定程度上也說明這個小模型能夠處理N Gram 模型的問題。

上面介紹了如何通過最簡單的單邊N Gram 模型預測單詞，還有一種復雜一點的N Gram 模型通過雙邊的單詞來預測中間的單詞，這種模型有個專門的名字，叫Continuous Bag-of-Words model（CBOW），具體內容差別不大，就不再贅述。

詞性判斷

上面只使用了詞嵌入和N Gram 模型進行自然語言處理，還沒有真正使用循環神經網絡，下面介紹RNN 在自然語言處理中的應用。在這個例子中，我們將使用LSTM 做詞性判斷，因為同一個單詞有著不同的詞性，比如book 可以表示名詞，也可以表示動詞，所以需要結合前后文給出具體的判斷。先介紹使用LSTM 做詞性判斷的原理。

基本原理

定義好一個LSTM 網絡，然后給出一個由很多個詞構成的句子，根據前面的內容，每個詞可以用一個詞向量表示，這樣一句話就可以看做是一個序列，序列中的每個元素都是一個高維向量，將這個序列傳入LSTM，可以得到與序列等長的輸出，每個輸出都表示為對詞性的判斷，比如名詞、動詞等。從本質上看，這是一個分類問題，雖然使用了LSTM，但實際上是根據這個詞前面的一些詞來對它進行分類，看它是屬于幾種詞性中的哪一種。

思考一下為什么LSTM 在這個問題里面起著重要的作用。如果完全孤立地對一個詞做詞性的判斷，往往無法得到比較準確的結果，但是通過LSTM，根據它記憶的特性，就能夠通過這個單詞前面記憶的一些詞語來對它做一個判斷，比如前面的單詞如果是my，那么它緊跟的詞很有可能就是一個名詞，這樣就能夠充分地利用上文來處理這個問題。

字符增強

還可以通過引入字符來增強表達，這是什么意思呢？就是說一些單詞存在著前綴或者后綴，比如-ly 這種后綴很可能是一個副詞，這樣我們就能夠在字符水平上對詞性進行進一步判斷，把兩種方法集成起來，能夠得到一個更好的結果。

在實現上還是用LSTM，只是這次不再將句子作為一個序列，而是將每個單詞作為一個序列。每個單詞由不同的字母組成，比如apple 由a p p l e 構成，給這些字符建立詞向量，形成了一個長度為5 的序列，將它傳入LSTM 網絡，只取最后輸出的狀態層作為它的一種字符表達，不需要關心提取出來的字符表達到底是什么樣，它作為一種抽象的特征，能夠更好地預測結果。

詞性判斷的PyTorch 實現

作為演示，使用一個簡單的訓練數據，下面有兩句話，每句話中的每個詞都給出了詞性：

1training_data = [2("The dog ate the apple".split(), ["DET","NN","V","DET","NN"]),3("Everybody read that book".split(), ["NN","V","DET","NN"])4]