通過 NVIDIA GPU 加速平臺，Colossal-AI 實現了通過高效多維并行、異構內存管理、大規模優化庫、自適應任務調度等方式，更高效快速部署 AI 大模型訓練與推理。

AI 大模型的高門檻成為研發一大難題

近年來，AI 模型已從 AlexNet、ResNet、AlphaGo 發展到 BERT、GPT、MoE…隨著深度學習的興起及大模型橫掃各大性能榜單，AI 能力不斷提升的一個顯著特征是模型參數的爆發式增長，這也使得訓練模型的成本急劇上升。目前最大的 AI 模型智源悟道 2.0 參數量達到 1.75 萬億，前沿 AI 模型的大小在短短幾年內便已增大萬倍，遠超硬件數倍的緩慢增長，模型大小也遠超單個 GPU 的容納能力。

由于單臺機器的能力已遠遠無法滿足日益增長的 AI 訓練需求，即便是超級計算機，也面臨著當硬件堆砌到達一定數量后，效率無法進一步提升的瓶頸，浪費了大量計算資源。而分布式并行也與單機情況差異巨大，通常需要計算機系統和體系結構相關的專業人員，這進一步提高了訓練和部署成本。

此外，PyTorch、TensorFlow 等現有深度學習框架也難以有效處理超大模型，通常需要專業的 AI 系統工程師針對具體模型做適配和優化。更重要的是，不是每一個研發團隊都具備 “鈔” 能力，能夠隨時調用大規模 GPU 集群來使用大模型，更不用提僅有一張顯卡的個人開發者。因此，盡管大模型已經吸引了大量關注，高昂的上手門檻卻令大眾 “望塵莫及”。

NVIDIA GPU 加速

潞晨科技 Colossal-AI 大模型開發進程

Colossal-AI 基于 NVIDIA GPU A30，為 AI 大模型的普適化做出了一系列貢獻：

1、提升 AI 大規模并行效率

對于 GPT-3 等超大 AI 模型，僅需一半資源啟動訓練，或通過高效并行加速，降低訓練成本超百萬美元。在訓練 ViT 模型時，可以擴大 14 倍的 batch size，加快 5 倍的訓練速度；對于 GPT-2 模型，我們可以降低 11 倍的內存消耗和超線性擴展，訓練加速 3 倍，模型大小可擴展至 24 倍；對于 BERT 模型，可訓練加速可達兩倍以上。

2、擴大硬件 AI 模型容量

在單個 GPU 上對于訓練任務，可提升模型容量十余倍，將 GPU 訓練 GPT-2 和 PaLM 等前沿模型的參數容量提升數十倍。

3、豐富 AI 大模型行業落地

在產品發布的數個月內，潞晨科技已與數十家行業標桿企業建立深度合作，客戶涵蓋中、美、英、新等全球市場，涉及云計算、芯片設計、生物醫藥、自動駕駛、智能零售等領域。例如，潞晨方案將 GPU 優化和大規模并行技術引入 AlphaFold 的訓練和推理，成功將 AlphaFold 總體訓練時間從 11 天減少到 67 小時，且總成本更低，在長序列推理中也實現 9.3 ～ 11.6 倍提升。Colossal-AI 團隊還助力百圖生科開源全球最快的復合物結構預測模型，可同時支持蛋白質單體與復合物結構預測，將原有推理速度提升約 11 倍。

目前，在 NVIDIA GPU 出色的 AI 加速性能加持下，Colossal-AI 已成功應用在諸多領域，顯著縮短 AI 大模型開發和部署流程，降低 AI 大模型落地成本。

NVIDIA GPU 產品助力

潞晨科技 Colossal-AI 大模型落地與推廣

NVIDIA GPU 產品與 Colossal-AI 的合作，極大地提升了 AI 大模型的訓練與推理流程，顯著提升了用戶體驗，為 AI 大模型的落地與推廣做出了重要貢獻。

借助 Colossal-AI 與 NVIDIA GPU 產品，對于企業用戶，可將現有項目便捷擴展到大規模計算集群，使用高效并行技術，以低成本快速完成 AI 大模型的開發部署。對于計算資源有限的普通用戶，也能訓練百億參數的大模型，相比現有主流方案，可提升參數容量十余倍，降低了 AI 大模型微調和推理等下游任務和應用部署的門檻。

潞晨科技致力于將軟件系統設計與硬件架構深度融合，實現一體化、智能化、自動化的人工智能計算服務。NVIDIA 初創加速計劃為我們提供了技術支持、市場宣傳、業務對接等一列的支持。潞晨科技也參加了 2022 NVIDIA 初創企業展示活動，并進入了最終展示，借此獲得了更多生態關注。

NVIDIA GPU 產品作為 Colossal-AI 算力基礎，本次雙方的深化合作將促進潞晨科技與 NVIDIA 共同探索 GPU 如何更有效地應用在訓練和推理 AI 大模型中，為 GPU 硬件與 Colossal-AI 軟件系統的共同進步打下良好基礎。雙方將共同努力推動 AI 大模型的普世化進程，不斷解放和發展 AI 生產力。

——潞晨科技創始人尤洋博士

關于潞晨科技

潞晨科技主營業務包括分布式軟件系統，大規模人工智能平臺和企業級云計算解決方案。公司旨在幫助企業最大化人工智能部署效率的同時最小化部署成本。其核心產品面向大模型時代的通用深度學習系統 Colossal-AI，涵蓋高效多維自動并行、異構內存管理、大規模優化庫、自適應任務調度等自研技術，可高效快速部署 AI 大模型訓練和推理，兼容低端設備，顯著縮短 AI 大模型訓練和推理時間、降低訓練和推理成本，減少學習和部署的人力成本。

審核編輯：湯梓紅