傳統的說話人分類系統依賴于人聲的聲學差異識別出對話中不同的說話人。根據男人和女人的音高，僅僅使用簡單的聲學模型（例如，混合高斯模型），就可以在一步中相對容易地將他們區分開來。然而，想要區分處音高可能相近的說話者，說話者分類系統就需要使用多步方法了。首先，基于檢測到的人聲特征，使用一個變化檢測算法將對話切分成均勻的片段，我們希望每段僅僅包含一個說話人。接著，使用一個深度學習模型將上述說話人的聲音片段映射到一個嵌入向量上。最后，在聚類階段，會對上述嵌入聚類在不同的簇中，追蹤對話中的同一個說話人。

在真實場景下，說話人分類系統與聲學語音識別（ASR）系統會并行化運行，這兩個系統的輸出將會被結合，從而為識別出的單詞分配標簽。傳統的說話人分類系統在聲學域中進行推斷，然后將說話人標簽覆蓋在由獨立的 ASR 系統生成的單詞上。

這種方法存在很多不足，阻礙了該領域的發展：

（1）我們需要將對話切分成僅僅包含以為說話人的語音的片段。否則，根據這些片段生成的嵌入就不能準確地表征說話人的聲學特征。然而，實際上，這里用到的變化檢測算法并不是十全十美的，會導致分割出的片段可能包含多位說話人的語音。

（2）聚類階段要求說話人的數量已知，并且這一階段對于輸入的準確性十分敏感。

（3）系統需要在用于估計人聲特征的片段大小和期望的模型準確率之間做出艱難的權衡。片段越長，人聲特征的質量就越高，因為此時模型擁有更多關于說話人的信息。這然而，這就帶來了將較短的插入語分配給錯誤的說話人的風險。這將產生非常嚴重的后果，例如，在處理臨床醫學或金融領域的對話的環境下，我們需要準確地追蹤肯定和否定的陳述。

（4）傳統的說話人分類系統并沒有一套方便的機制，從而利用在許多自然對話中非藏明顯的語言學線索。例如，「你多久服一次藥？」在臨床對話中最有可能是醫護人員說的，而不會是病人說的。類似地，「我們應該什么時候上交作業？」則最有可能是學生說的，而不是老師說的。語言學的線索也標志著說話人有很高的概率發生了改變（例如，在一個問句之后）。

然而，傳統的說話人分類系統也有一些性能較好的例子，在谷歌此前發布的一篇博文中就介紹了其中之一（博文地址：https://ai.googleblog.com/2018/11/accurate-online-speaker-diarization.html）。在此工作中，循環神經網絡（RNN）的隱藏狀態會追蹤說話人，克服了聚類階段的缺點。而本文提出的模型則采用了不容的方法，引入了語言學線索。

我們研發出了一種簡單的新型模型，該模型不僅完美地融合了聲學和語音線索，而且將說話人分類和語音識別任務融合在了同一個系統中。相較于相同環境下僅僅進行語音識別的系統相比，這個集成模型并沒有顯著降低語音識別性能。

我們意識到，很關鍵的一點是：RNN-T 架構非常適用于集成聲學和語言學線索。RNN-T 模型由三個不同的網絡組成：（1）轉錄網絡（或稱編碼器），將聲幀映射到一個潛在表征上。（2）預測網絡，在給定先前的目標標簽的情況下，預測下一個目標標簽。（3）級聯網絡，融合上述兩個網絡的輸出，并在該時間步生成這組輸出標簽的概率分布。

傳統系統和 RNN-T 系統錯誤率的對比，由人類標注者進行分類。此外，該集成模型還可以預測其它一些標簽，這些標簽對于生成對讀者更加友好的 ASR 譯文是必需的。例如，我們已經可以使用匹配好的訓練數據，通過標點符號和大小寫標志，提升譯文質量。相較于我們之前的模型（單獨訓練，并作為一個 ASR 的后處理步驟），我們的輸出在標點符號和大小寫上的誤差更小。