（文章來源：機器之心）

英偉達近日一篇論文為語音識別技術在邊緣設備上的部署帶來了福音，其新提出的解碼器方法即使在邊緣嵌入式 GPU 上也能高效高速地執行。而且這種方法不僅適用于低端硬件，而且也能為數據中心帶來顯著的效率提升，從而能夠識別更多并行的在線音頻流。該方法的早期版本已開源。

這篇論文提出了一種經過優化的加權式有限狀態變換器（WFST/ weighted finite-state transducer）解碼器，能夠使用圖像處理單元（GPU）實現對音頻數據的在線流處理和離線批處理。這種解碼器能高效利用內存、輸入/輸出帶寬，并為最大化并行使用了一種全新的維特比（Viterbi）實現。內存節省讓該解碼器能比之前處理更大的圖，同時還能支持更多數量的連續流。對 lattice 段進行 GPU 預處理能讓中間 lattice 結果在流推理期間返回給請求者。

總體而言，相比于單核 CPU 解碼，新提出的改進能實現高達 240 倍的提速，并且解碼速度也比當前最佳的 GPU 解碼器快 40 倍，同時返回的結果表現相當。從大型數據中心服務器到低功耗邊緣設備，該架構可在各種層級的硬件上部署生產級模型。

深度學習研究推動了自動語音識別（ASR）技術的大發展，質量的顯著提升讓這項技術在許多人機交互用例中得到了實際應用，「流 ASR 即服務（streaming ASR as a service）」的需求也隨之水漲船高。通常來說，如要滿足這一需求，將需要在數據中心配置大量商用服務器。由于很多用例對時間延遲有很嚴格的要求，因此人們正在大力投入，意圖加快數據中心中模型的推理速度；當然也有研究正致力于實現邊緣推理，包括在低功耗設備上實現推理。

在這項研究中，研究者提出了一種全新的加權式有限狀態變換器（WFST）實現，其可使用 GPU 和英偉達的 CUDA 編程語言為語音識別任務提供高速解碼。他們將該解碼器設計成可直接替代現有解碼器，而無需修改語言或聲學模型。其設計目標是盡力實現最大的靈活性，能支持多路同時音頻流的在線識別和 lattice 生成。

研究者還嚴格限制了該解碼器的內存使用，從而可確保 GPU 內存能為大型語言模型和共同常駐的聲學模型留有足夠的空間。最后，從低功耗嵌入式 GPU 到單個服務器中運行的多個數據中心級 GPU，該算法都能有效地運行。

并行式 WFST 解碼器通常會遵照串行解碼器中的典型操作順序：對于聲學模型（AM）后驗的每一幀，該解碼器可基于幀值處理發射弧（標簽非零的弧），再處理任何非發射弧鏈，最后執行剪枝。新提出的算法利用了兩個類型不同的異步 CUDA 流：一個負責執行計算核，另一個負責執行非阻塞的設備到主機（D2H）lattice token 內存副本。使用第二個用于 D2H 副本的流，無需中止計算流程就能在在線編碼期間返回中間結果。

研究者消除了很多常見的面向 CPU 的優化和限制，這種做法有時會妨害并行表現。具體來說，在擴展 token 時不測試新 token 是否唯一。將重復的 token 保留下來留待以后清理對正確性而言是足夠的：少量額外的工作能減少對同步和原子操作的依賴。在 GPU 上，解碼核的執行速度很快，其性能受限于核啟動的延遲。通過調整解碼器的結構，解碼器能并行處理多路音頻流，通過更長時間地運行這些核能夠掩蓋啟動延遲。

為了同時處理多路音頻流，研究者引入了兩種不同的機制：干道（channel）和小道（lane）。小道大致等同于神經網絡中的批大小，代表了正被解碼的話語或流的集合。干道則能為有待繼續處理（由于缺少音頻或已計算后驗）的話語維持狀態。這種隨時準備 GPU 工作的線程化解碼器負責將干道（因為它們已準備就緒）多路復用到小道（因為它們可用）上。這種方案能根據模型和代表性數據與 GPU 的搭配而輕松地調整：增加小道的數量直到收益開始下降，并讓通道的數量匹配所測得的吞吐量/xRTF。