據(jù)外媒報道，IBM在其新發(fā)表的論文《分布式深度學(xué)習(xí)自動語音識別策略》（Distributed Deep Learning Strategies for Automatic Speech Recognition）中提出了一種分布式處理架構(gòu)，該架構(gòu)可以在流行的開源基準測試中使訓(xùn)練速度提升15倍，并且不會損失準確性。該論文作者表示，將其部署在包含有多個顯卡的系統(tǒng)上，可以將訓(xùn)練時長從幾周的時間減少到幾天。

這項工作計劃于5月在IEEE聲學(xué)、語音和信號處理國際會議（ICASSP）上公布。

作為貢獻研究人員Wei Zhang、Xiaodong Cui和Brian Kingsbury在博客中寫道：“訓(xùn)練像蘋果的Siri、谷歌智能助理和亞馬遜的Alexa那樣的自動語音識別（Automatic Speech Recognition，ASR）系統(tǒng)，需要復(fù)雜的編碼系統(tǒng)將語音轉(zhuǎn)換為深度學(xué)習(xí)系統(tǒng)和解碼系統(tǒng)能夠理解的功能，這些系統(tǒng)可以將輸出轉(zhuǎn)換為人類可讀的文本。更加復(fù)雜的模型將使大規(guī)模的訓(xùn)練更加困難。”

該團隊的并行化解決方案需要提高批量大小，即可以一次處理的樣本數(shù)量，而不是不加選擇地處理，否則就會影響準確性。他們將批量大小增加到2560個，同時應(yīng)用一種被稱為異步分散并行隨機梯度下降（ADPSGD）的分布式深度學(xué)習(xí)技術(shù)。

正如研究人員解釋的那樣，大多數(shù)深度學(xué)習(xí)模型要么采用同步優(yōu)化方法，這種方法受到緩慢系統(tǒng)的不成比例的影響，要么采用基于參數(shù)服務(wù)器（PS）的異步方法，這種方法往往會導(dǎo)致模型不太精確。相比之下，ADPSGD（IBM于2018年在一篇論文中首次詳述的）是異步和分散的，它保證了模型準確性的基線水平，并為某些類型的優(yōu)化問題提供了加速。

在測試中，該論文的作者表示，ADPSGD將ASR作業(yè)的運行時間，從單個V100圖形處理器系統(tǒng)上的一周縮短到32圖形處理器系統(tǒng)上的11.5小時。ADPSGD留給未來工作算法的時間，可以處理更大的批量和系統(tǒng)優(yōu)化更強大的硬件。

Zhang、Cui和Kingsbury寫道：“在半天內(nèi)完成訓(xùn)練工作是可取的，因為它使研究人員能夠快速迭代開發(fā)新的算法。這也可以使開發(fā)人員快速調(diào)整現(xiàn)有模型以適應(yīng)他們的應(yīng)用，尤其是在需要大量語音以實現(xiàn)穩(wěn)健性和可用性所需的高精度的自定義用例中。”

訓(xùn)練自然語言理解模型不僅需要強大的硬件基礎(chǔ)以及數(shù)千小時語音和數(shù)以百萬的文本單詞的語料庫，而且整個訓(xùn)練過程中所耗費的時間也是非常漫長的。可以說IBM提出的分布式處理架構(gòu)大大減輕了計算負擔(dān)。