韓國先進的移動運營商構建包含數百億個參數的大型語言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓練該模型。

在韓國受歡迎的 AI 語音助手 GiGA Genie 每天會與 800 萬人交談。

這款 AI 賦能的揚聲器由電信公司 KT 提供，不僅能控制電視和提供實時流量更新信息，還能根據語音命令完成大量其他家居輔助任務。得益于大型語言模型 (LLM)（能根據龐大的文本數據集識別、理解、預測和生成人類語言的機器學習算法），這款揚聲器掌握了以極為復雜的韓語進行對話的技能。

該公司構建了包含數百億個參數的 LLM，并且使用NVIDIA DGX SuperPOD數據中心基礎架構平臺與NeMo Megatron框架來訓練和部署這些模型。

毫無疑問，韓語 (Hangul) 是一種極為復雜的語言。它包含四種類型的復合動詞，而且詞語通常由兩個或更多個詞根組成。

KT 是韓國先進的移動運營商，擁有超過 2200 萬用戶。該公司通過開發包含大約 400 億個參數的 LLM，提高了智能揚聲器對此類詞語的理解能力。此外，通過與 Amazon Alexa 進行集成，GiGA Genie 也可以使用英語與用戶交談。

KT 的 LLM 開發團隊負責人 Hwijung Ryu 說道：“借助基于Transformer的模型，我們顯著改善了 GiGA Genie 智能揚聲器和我們客戶服務平臺 AI 聯絡中心 (AICC) 的品質。”

AICC 是基于云的一體式平臺，可提供 AI 語音代理和其他與客戶服務相關的應用。

它可以接聽電話并提供客戶需要的信息，或者快速將客戶轉接到人工代理，以便對更詳細的詢問進行解答。Ryu 指出，無需人工干預的 AICC 每天可以管理韓國各地打來的 10 萬多個電話。

他補充說道：“LLM 使 GiGA Genie 能夠更好地理解語言并生成更接近人類語言的句子，而 AICC 能更快地對詢問類型進行匯總和分類，從而將咨詢時間縮短 15 秒。”

訓練大型語言模型

開發 LLM 可能是一個成本高昂且耗費時間的過程，并需要深厚的專業技術知識和巨大的全棧技術投資。

NVIDIA AI 平臺簡化并加快了 KT 的這一過程。

Ryu 說：“我們利用 NVIDIA DGX SuperPOD 的強大性能以及 NeMo Megatron 的優化算法和 3D 并行技術，更有成效地訓練了 LLM 模型。NeMo Megatron 不斷采用新功能，這是我們認為它在提高模型準確性方面的巨大優點。”

3D 并行對訓練 KT 的 LLM 至關重要，它是一種分布式訓練方法，可將超大規模的深度學習模型分散到多臺設備上。Ryu 指出，NeMo Megatron 使團隊能夠以盡可能高的吞吐量輕松完成這項任務。

他補充道：“我們考慮過使用其他平臺，但很難找到從硬件級別到推理級別都能提供全棧環境的替代平臺。NVIDIA 還提供來自產品、工程團隊等的出色專業知識，使我們輕松解決了多個技術問題。”

Ryu 表示，通過使用 NeMo Megatron 中的超參數優化工具，KT 訓練其 LLM 的速度比使用其他框架快 2 倍。借助這些工具，用戶可以自動找到更適合 LLM 訓練和推理的配置，從而簡化和加快開發與部署過程。

KT 還計劃使用NVIDIA Triton 推理服務器來提供優化的實時推理服務，以及使用NVIDIA Base Command Manager輕松監控和管理其 AI集群中的數百個節點。

Ryu 說：“得益于 LLM，KT 可以比以往更快地發布充滿競爭力的產品。我們還確信我們的技術可以推動其他公司的創新，因為它可以用來增加價值和創造新穎的產品。”

KT 計劃在 11 月向開發者發布 20 多個自然語言理解和自然語言生成 API（應用程序編程接口）。這些 API 可用于多種任務，包括文檔摘要和分類、情緒識別和潛在不當內容的過濾等。

審核編輯：湯梓紅