會話 AI 服務已經存在多年，但不論是聊天機器人，還是智能個人助理或搜索引擎，其理解能力很難達到與人類相當的水平。主要瓶頸則在于超大型AI模型的實施部署無法實現。正因如此，不論是Google、Microsoft、Facebook，還是阿里巴巴、百度等，都在模型的部署方面孜孜以求。

NVIDIA于太平洋時間8月13日宣布重大突破：BERT訓練時間實現創紀錄的53分鐘，推理時間縮短至2毫秒，并構建了迄今為止同類型中最大的語言模型，使得實時會話 AI與用戶進行互動時更為自然。

超大模型面前，GPU再證強大可擴展性

BERT（Bidirectional Encoder Representations from Transformers）是世界上最先進的AI語言模型之一，Google于去年發布不久就刷爆AI業界。作為一種新型的語言模型，它只需一個額外的輸出層對預訓練BERT進行微調就可以滿足各種任務，而無需再對模型進行修改，實現了在11項NLP任務上取得突破進展。

在對BERT模型進行訓練時，NVIDIA使用搭載了92臺 NVIDIA DGX-2H系統的 NVIDIA DGX SuperPOD運行該模型的大型版本，憑借1472個NVIDIA V100 GPU的強大性能，NVIDIA將BERT-Large的典型訓練時間從幾天縮短至僅僅 53 分鐘。

此外，NVIDIA還在單獨一臺NVIDIA DGX-2系統上執行了BERT-Large 模型的訓練任務，用時也僅為 2.8天，充分體現了GPU在會話 AI 方面的可擴展性。

推理方面，借助于運行了NVIDIA TensorRT的NVIDIA T4 GPU，NVIDIA 執行 BERT-Base SQuAD數據集的推理任務，用時僅為2.2毫秒，遠低于許多實時應用程序所需的10毫秒處理閾值；與使用高度優化的CPU代碼時所測得的40多毫秒相比，有著顯著改進。

對此，NVIDIA 深度學習應用研究副總裁 Bryan Catanzaro 表示，“對于適用于自然語言的AI而言，大型語言模型正在為其帶來革新。NVIDIA 所取得的突破性工作成果加速了這些模型的創建，它們能夠幫助解決那些最為棘手的語言問題，讓我們距離實現真正的會話 AI 更進了一步。

NVIDIA BERT推理解決方案Faster Transformer宣布開源

開發者們對于更大模型的需求正在日益增長，NVIDIA 研究團隊基于Transformer構建并訓練了世界上最大的語言模型。Transformer是BERT的技術構件，正被越來越多的其他自然語言AI模型所使用。NVIDIA定制的模型包含83億個參數，是BERT-Large的24 倍。

2017年12月Google在論文“Attention is All You Need”中首次提出了Transformer，將其作為一種通用高效的特征抽取器。至今，Transformer已經被多種NLP模型采用，比如BERT以及上月發布重刷其記錄的XLNet，這些模型在多項NLP任務中都有突出表現。在NLP之外，TTS、ASR等領域也在逐步采用Transformer。可以預見，Transformer這個簡潔有效的網絡結構會像CNN和RNN一樣被廣泛采用。

不過，雖然Transformer在多種場景下都有優秀表現，但是在推理部署階段，其計算性能卻受到了巨大的挑戰：以BERT為原型的多層Transformer模型，其性能常常難以滿足在線業務對于低延遲（保證服務質量）和高吞吐（考慮成本）的要求。以BERT-BASE為例，超過90%的計算時間消耗在12層Transformer的前向計算上。因此，一個高效的Transformer 前向計算方案，既可以為在線業務帶來降本增效的作用，也有利于以Transformer結構為核心的各類網絡在更多實際工業場景中落地。

NVIDIA GPU計算專家團隊針對Transformer推理提出的性能優化方案Faster Transformer宣布開源，其底層基于CUDA和cuBLAS，是一個BERT Transformer 單層前向計算的高效實現，其代碼簡潔明了，后續可以通過簡單修改支持多種Transformer結構。目前優化集中在編碼器（encoder）的前向計算（解碼器decoder開發在后續特性規劃中），能夠助力于多種BERT的應用場景。Faster Transformer對外提供C++ API，TensorFlow OP 接口，以及TensorRT插件，并提供了相應的示例，用以支持用戶將其集成到不同的線上應用代碼中。

2021年15%的客服互動將通過AI完成

預計未來幾年，基于自然語言理解的 AI 服務將呈指數級增長。根據Juniper Research 的研究表明，在未來4年中，僅數字語音助手的數量就將有望從25 億攀升到 80 億。此外，據Gartner預計，到 2021 年，15%的客服互動都將通過AI完成，相比2017年將增長4倍。

當前，全球數以百計的開發者都使用 NVIDIA 的 AI 平臺，來推進他們自己的語言理解研究并創建新的服務。

Microsoft Bing正在通過先進的 AI 模型和計算平臺，為客戶提供更好的搜索體驗。通過與 NVIDIA 密切合作，Bing 使用 NVIDIA GPU（Azure AI 基礎設施的一部分）進一步優化了熱門自然語言模型 BERT 的推理功能，從而大幅提升了 Bing 于去年部署的排名搜索的搜索質量。與基于 CPU 的平臺相比，使用 Azure NVIDIA GPU 進行推理，延遲降低了一半，吞吐量提升了5倍。

多家初創公司（例如Clinc、Passage AI 和Recordsure等）正在使用 NVIDIA的AI平臺為銀行、汽車制造商、零售商、醫療服務提供商、旅行社和酒店等客戶構建先進的會話 AI 服務。據悉，中國市場也有相應的合作伙伴，日后將進一步公開。

會話AI才是真正意義上的人工智能的基本特征，不論是語言模型還是訓練、推理，底層技術的逐步強大，才是實現這一切的基礎。距離我們所期望的人工智能雖然還很遙遠，但技術上的每一次突破都值得記載。