動態(tài)圖

在某些情況下，神經(jīng)網(wǎng)絡模型可能需要在訓練過程改變形狀和大小。特別是當輸入到神經(jīng)網(wǎng)絡的數(shù)據(jù)輸入是可變的時，這是必需的。這在自然語言處理（NLP）中很常見，因為在自然語言處理中，每個句子的輸入都可以是不同的長度。使用Gluon，神經(jīng)網(wǎng)絡定義可以是動態(tài)的，這意味著你可以隨時構建任何你想要的結構，并使用任何Python的控制流。

例如，這些動態(tài)的神經(jīng)網(wǎng)絡結構使構建一個樹結構的長短期記憶（LSTM）模型變得更容易，這是Kai Sheng Tai、Richard Socher和Chris Manning在2015年提出的，是NLP的一個重要發(fā)展。Tree LSTM 是一種強大的模型，它可以識別一對句子是否具有相同的含義。下面的例子中，兩個句子有著相同的意思：

“Michael threw the football in front of the player.”（邁克爾把足球扔到球員面前。）

“The ball was thrown short of the target by Michael.”（球被邁克爾扔出目標。）

我們可以僅將這些句子輸入一個循環(huán)神經(jīng)網(wǎng)絡（一種流行的序列學習模型）來進行分類。但是，樹形LSTM的主要觀點是，我們經(jīng)常在需要先備知識的語言方面遇到問題。例如，句子有語法結構，我們有強大的工具可以從句子中提取出這個結構。我們可以用一個樹形結構的神經(jīng)網(wǎng)絡來組合這些單詞，它的結構模仿了句子中已知的語法樹結構，如下圖所示：

（The Stanford Natural Language Processing Group）

這就需要為每個例子構建一個不同的神經(jīng)網(wǎng)絡結構。使用傳統(tǒng)框架這很難實現(xiàn)，但是Gluon可以解決這個問題。在下面的代碼片斷中，你可以看到如何在模型訓練的每個前向迭代中合并一個循環(huán)，并且仍然受益于autograd和trainer的簡化。這使模型能夠遍歷一個句子的樹結構，從而基于該結構學習。

高性能

有了Gluon提供的靈活性，你就可以很容易地設計原型并嘗試使用神經(jīng)網(wǎng)絡模型。然后，當速度變得比靈活性更重要時（例如，當你準備好輸入所有的訓練數(shù)據(jù)時），Gluon接口能夠輕松地緩存神經(jīng)網(wǎng)絡模型以實現(xiàn)高性能，并減少內存占用。當你完成原型并準備在一個更大的數(shù)據(jù)集上測試，只需要小的調整。你必須使用HybridSequential，而不是使用 Sequential（如前面的例子所示）來堆棧神經(jīng)網(wǎng)絡的層。HybridSequential的功能與Sequential相同，但是它允許調用底層的優(yōu)化引擎來表達模型的部分或全部架構。

接下來，為了編譯和優(yōu)化 HybridSequential，我們可以調用它的hybridize 方法：

　　net.hybridize（）

現(xiàn)在，當你訓練模型時，將能夠獲得與本機MXNet接口相同的高性能，同時減少內存使用。