今天，我們就為大家從技術上揭秘科大訊飛的新一代語音識別系統。

　　眾所周知，自2011年微軟研究院首次利用深度神經網絡（Deep Neural Network， DNN）在大規模語音識別任務上獲得顯著效果提升以來，DNN在語音識別領域受到越來越多的關注，目前已經成為主流語音識別系統的標配。然而，更深入的研究成果表明，DNN結構雖然具有很強的分類能力，但是其針對上下文時序信息的捕捉能力是較弱的，因此并不適合處理具有長時相關性的時序信號。而語音是一種各幀之間具有很強相關性的復雜時變信號，這種相關性主要體現在說話時的協同發音現象上，往往前后好幾個字對我們正要說的字都有影響，也就是語音的各幀之間具有長時相關性。

　　圖1：DNN和RNN示意圖

　　相比前饋型神經網絡DNN，循環神經網絡（Recurrent Neural Network， RNN）在隱層上增加了一個反饋連接，也就是說，RNN隱層當前時刻的輸入有一部分是前一時刻的隱層輸出，這使得RNN可以通過循環反饋連接看到前面所有時刻的信息，這賦予了RNN記憶功能，如圖1所示。這些特點使得RNN非常適合用于對時序信號的建模，在語音識別領域，RNN是一個近年來替換DNN的新的深度學習框架，而長短時記憶模塊（Long-Short Term Memory， LSTM）的引入解決了傳統簡單RNN梯度消失等問題，使得RNN框架可以在語音識別領域實用化并獲得了超越DNN的效果，目前已經在業界一些比較先進的語音系統中使用。

　　除此之外，研究人員還在RNN的基礎上做了進一步改進工作，圖2是當前語音識別中的主流RNN聲學模型框架，主要還包含兩部分：深層雙向LSTM RNN和CTC（Connectionist Temporal Classification）輸出層。其中雙向RNN對當前語音幀進行判斷時，不僅可以利用歷史的語音信息，還可以利用未來的語音信息，可以進行更加準確的決策;CTC使得訓練過程無需幀級別的標注，實現有效的“端對端”訓練。

　　圖2：基于LSTM RNN的主流聲學模型框架

　　目前，國際國內已經有不少學術或工業機構掌握了RNN模型，并在上述某個或多個技術點進行研究。然而，上述各個技術點單獨研究時一般可以獲得較好的結果，但是如果想將這些技術點融合在一起的時候，則會碰到一些問題。例如，多個技術結合在一起的提升幅度會比各個技術點幅度的疊加要小。又例如，傳統的雙向RNN方案，理論上需要看到語音的結束（即所有的未來信息），才能成功的應用未來信息來獲得提升，因此只適合處理離線任務，而對于要求即時響應的在線任務（例如語音輸入法）則往往會帶來3-5s的硬延遲，這對于在線任務是不可接受的。再者，RNN對上下文相關性的擬合較強，相對于DNN更容易陷入過擬合的問題，容易因為訓練數據的局部不魯棒現象而帶來額外的異常識別錯誤。最后，由于RNN具有比DNN更加復雜的結構，給海量數據下的RNN模型訓練帶來了更大的挑戰。

　　鑒于上述問題，科大訊飛發明了一種名為前饋型序列記憶網絡FSMN（Feed-forward Sequential Memory Network）的新框架。在這個框架中，可以把上述幾點很好的融合，同時各個技術點對效果的提升可以獲得疊加。值得一提的是，我們在這個系統中創造性提出的FSMN結構，采用非循環的前饋結構，在只需要180ms延遲下，就達到了和雙向LSTM RNN相當的效果。下面讓我們來具體看下它的構成。

　　圖3：FSMN結構示意圖

　　圖4：FSMN中隱層記憶塊的時序展開示意圖（左右各看一幀）

　　圖3即為FSMN的結構示意圖，相比傳統的DNN，我們在隱層旁增加了一個稱為“記憶塊”的模塊，用于存儲對判斷當前語音幀有用的歷史信息和未來信息。圖4畫出了雙向FSMN中記憶塊左右各記憶一幀語音信息（在實際任務中，可根據任務需要，人工調整所需記憶的歷史和未來信息長度）的時序展開結構。

　　從圖中我們可以看出，不同于傳統的基于循環反饋的RNN，FSMN記憶塊的記憶功能是使用前饋結構實現的。這種前饋結構有兩大好處：首先，雙向FSMN對未來信息進行記憶時，沒有傳統雙向RNN必須等待語音輸入結束才能對當前語音幀進行判斷的限制，它只需要等待有限長度的未來語音幀即可，正如前文所說的，我們的雙向FSMN在將延遲控制在180ms的情況下就可獲得媲美雙向RNN的效果;其次，如前所述，傳統的簡單RNN因為訓練過程中的梯度是按時間逐次往前傳播的，因此會出現指數衰減的梯度消失現象，這導致理論上具有無限長記憶的RNN實際上能記住的信息很有限，然而FSMN這種基于前饋時序展開結構的記憶網絡，在訓練過程中梯度沿著圖4中記憶塊與隱層的連接權重往回傳給各個時刻即可，這些連接權重決定了不同時刻輸入對判斷當前語音幀的影響，而且這種梯度傳播在任何時刻的衰減都是常數的，也是可訓練的，因此FSMN用一種更為簡單的方式解決了RNN中的梯度消失問題，使得其具有類似LSTM的長時記憶能力。

　　另外，在模型訓練效率和穩定性方面，由于FSMN完全基于前饋神經網絡，所以不存在RNN訓練中因mini-batch中句子長短不一需要補零而導致浪費運算的情況，前饋結構也使得它的并行度更高，可最大化利用GPU計算能力。從最終訓練收斂的雙向FSMN模型記憶塊中各時刻的加權系數分布我們觀察到，權重值基本上在當前時刻最大，往左右兩邊逐漸衰減，這也符合預期。進一步，FSMN可和CTC準則結合，實現語音識別中的“端到端”建模。

　　最后，和其他多個技術點結合后，訊飛基于FSMN的語音識別框架可獲得相比業界最好的語音識別系統40%的性能提升，同時結合我們的多GPU并行加速技術，訓練效率可達到一萬小時訓練數據一天可訓練收斂。后續基于FSMN框架，我們還將展開更多相關的研究工作，例如：DNN和記憶塊更深層次的組合方式，增加記憶塊部分復雜度強化記憶功能，FSMN結構和CNN等其他結構的更深度融合等。在這些核心技術持續進步的基礎上，科大訊飛的語音識別系統將不斷挑戰新的高峰！