NVIDIA NeMo 是一款供開發者構建和訓練先進的對話式 AI 模型的開源框架。

NVIDIA NeMo 是什么？

NVIDIA NeMo 是一個框架，用于借助簡單的 Python 界面構建、訓練和微調 GPU 加速的語音和自然語言理解（NLU）模型。使用 NeMo，開發者可以創建新的模型架構，并通過易于使用的應用編程接口（API），在 NVIDIA GPU 中的Tensor Core 上使用混合精度計算對其進行訓練。

NeMo Megatron 是此框架的一部分，提供并行化技術（例如 Megatron-LM 研究項目中的工作流和張量并行化），用于訓練大規模語言模型。

借助 NeMo，您可以構建用于實時自動語音識別（ASR）、自然語言處理（NLP）和文本轉語音（TTS）應用（例如視頻通話轉錄、智能視頻助理以及醫療健康、金融、零售和電信行業的自動化呼叫中心支持）的模型。

NVIDIA NeMo 的優勢

快速建模

使用簡單的 Python API 快速配置、構建和訓練模型。

可定制的模型

從 NVIDIA NGC 目錄中下載并自定義經過預訓練的先進模型。

廣泛集成

實現 NeMo 與 PyTorch 和 PyTorch Lightning 生態系統的互操作。

輕松部署

應用 NVIDIA TensorRT 優化，并導出至 NVIDIA Riva 進行高性能推理

NVIDIA NeMo 的功能特性

輕松構建新的模型架構

NeMo 包含針對 ASR、NLP 和 TTS 的特定領域集合，用于開發 Citrinet、Jasper、BERT、Fastpitch 和 HiFiGAN 等先進模型。NeMo 模型由神經模組構成，神經模組是模型的基礎模組。神經類型將這些模組的輸入和輸出強有力地類型化，可自動在模塊之間執行語義檢查。

NeMo 旨在提供高靈活性，您可以使用 Hydra 框架輕松修改模型的行為。例如，您可以使用 Hydra 在以下圖表中修改 Citrinet Encoder 模組的架構。

訓練先進的對話式 AI 模型

NGC 中的幾個 NeMo 預訓練的先進模型基于開源的免費數據集在 NVIDIA DGX 上進行了超過 100000 小時的訓練。在訓練您的用例之前，您可以微調這些模型或使用 NeMo 修改它們。

NeMo 使用 Tensor Core上的混合精度，訓練速度能達到在單個 GPU 上使用 FP32 精度的 4.5 倍。您可以進一步將訓練擴展到多 GPU 系統和多節點集群。

使用 NeMo Megatron 進行大規模語言建模

基于 Transformer 的大規模語言模型正應用于廣泛的自然語言任務，例如文本生成、摘要和聊天機器人。NeMo Megatron 能夠管理訓練數據，并使用多達數萬億個參數訓練大規模模型。它會執行數據管理任務，例如格式化、過濾、重復數據刪除和混合，使用其他方式完成這些任務可能需要花費數月時間。它還使用張量并行性在節點內擴展模型，并利用數據和工作流并行性跨節點擴展數據和模型。

NeMo Megatron 可依托數千個 GPU 提供高訓練效率，使企業訓練大規模 NLP 變得可行。

NeMo Megatron 可以將經過訓練的模型導出到 NVIDIA Triton 推理服務器，以在多個 GPU 和多個節點上運行大規模 NLP 模型。

靈活、開源、快速擴展的生態系統

NeMo 基于 PyTorch 和 PyTorch Lightning 構建，為研究人員開發和集成他們已習慣使用的模組提供了便捷的途徑。PyTorch 和 PyTorch Lightning 是開源 Python 庫，可提供用于合成模型的模組。

NeMo 集成了 Hydra 框架，助力研究人員輕松靈活地自定義模型/模組。Hydra 是一款熱門框架，可簡化復雜的對話式 AI 模型的開發。

NeMo 是一款開源框架，研究人員可為其獻言獻策，也可在此基礎上進行構建。

部署到生產環境中

要在使用 NVIDIA Riva 的生產環境中部署 NeMo 語音模型，開發者應使用與 Riva 兼容的格式導出 NeMo 模型，然后執行 Riva 構建和部署命令，以創建可實時運行的優化技能。

審核編輯：湯梓紅