研發出了一種簡單的新型模型，該模型不僅完美地融合了聲學和語音線索，而且將說話人分類和語音識別任務融合在了同一個系統中。相較于相同環境下僅僅進行語音識別的系統相比，這個集成模型并沒有顯著降低語音識別性能。

我們意識到，很關鍵的一點是：RNN-T 架構非常適用于集成聲學和語言學線索。RNN-T 模型由三個不同的網絡組成：（1）轉錄網絡（或稱編碼器），將聲幀映射到一個潛在表征上。（2）預測網絡，在給定先前的目標標簽的情況下，預測下一個目標標簽。（3）級聯網絡，融合上述兩個網絡的輸出，并在該時間步生成這組輸出標簽的概率分布。

請注意，在下圖所示的架構中存在一個反饋循環，其中先前識別出的單詞會被作為輸入返回給模型，這使得 RNN-T 模型能夠引入語言學線索（例如，問題的結尾）。

集成的語音識別和說話人分類系統示意圖，該系統同時推斷「誰，在何時，說了什么」

在圖形處理單元（GPU）或張量處理單元（TPU）這樣的加速器上訓練 RNN-T 并不是一件容易的事，這是因為損失函數的計算需要運行「前向推導-反向傳播」算法，該過程涉及到所有可能的輸入和輸出序列的對齊。最近，該問題在一種對 TPU 友好的「前向-后向」算法中得到了解決，它將該問題重新定義為一個矩陣乘法的序列。我們還利用了TensorFlow 平臺中的一個高效的 RNN-T 損失的實現，這使得模型開發可以迅速地進行迭代，從而訓練了一個非常深的網絡。

這個集成模型可以直接像一個語音識別模型一樣訓練。訓練使用的參考譯文包含說話人所說的單詞，以及緊隨其后的指定說話人角色的標簽。例如，「作業的截止日期是什么時候？」<學生>，「我希望你們在明天上課之前上交作業」<老師>。當模型根據音頻和相應的參考譯文樣本訓練好之后，用戶可以輸入對話記錄，然后得到形式相似的輸出結果。我們的分析說明，RNN-T 系統上的改進會影響到所有類型的誤差率（包括較快的說話者轉換，單詞邊界的切分，在存在語音覆蓋的情況下錯誤的說話者對齊，以及較差的音頻質量）。此外，相較于傳統的系統，RNN-T 系統展現出了一致的性能，以每段對話的平均誤差作為評價指標時，方差有明顯的降低。

傳統系統和 RNN-T 系統錯誤率的對比，由人類標注者進行分類。

此外，該集成模型還可以預測其它一些標簽，這些標簽對于生成對讀者更加友好的 ASR 譯文是必需的。例如，我們已經可以使用匹配好的訓練數據，通過標點符號和大小寫標志，提升譯文質量。相較于我們之前的模型（單獨訓練，并作為一個 ASR 的后處理步驟），我們的輸出在標點符號和大小寫上的誤差更小。