案例簡介

賴耶科技作為一家專注于人工智能領域的創新企業，于 2024 年正式加入NVIDIA 初創加速計劃（NVIDIA Inception Program），并在提高算力資源整合使用效率及效果領域，始終與 NVIDIA 技術團隊保持合作。賴耶科技通過NVIDIA AI Enterprise平臺打造的超級 AI 工廠，致力于加速大模型場景應用的深化拓展及落地，為企業與個人開發者提供高性能的 Token 服務，助力新質生產力加速發展。

大模型場景應用落地的挑戰

賴耶科技的愿景是建立“人工智能工廠（AI Factory）”為客戶提供“開箱即用”的企業級人工智能解決方案。在大模型場景應用落地過程中，行業面臨著諸多挑戰：

數據復雜性：大模型需要處理海量的數據，且數據來源多樣、格式復雜，如何有效地整合和管理這些復雜數據是一個重大挑戰。

計算資源需求：大模型的訓練和推理需要大量的計算資源，包括 GPU 等硬件設備，這對企業的成本和技術實力提出了相對高的要求。

模型準確性和可靠性：大模型的輸出結果直接影響到企業決策和業務發展，因此模型的準確性和可靠性至關重要。

應用場景適配：不同的企業和行業有不同的需求和應用場景，如何將大模型適配到具體的場景中，以發揮其最大的價值，是一個亟待解決的問題。

NVIDIA AI Enterprise 最佳實踐，

推動大模型應用的超級 AI 工廠

賴耶科技基于 NVIDIA 企業 AI 套件 NVIDIA AI Enterprise 打造的賴耶超級 AI 工廠，從構成上分為基礎架構、大模型生產框架和智能體應用三部分。

基礎架構層：作為賴耶超級 AI 工廠的底層操作系統，是由萬卡大規模集群管理系統 KAA 和賴耶集群堆疊全棧優化方案 MONA 組成。基于 NVIDIA AI Enterprise 的 BCME（Base Command Manager Essentials）組件對萬卡集群進行部署和管理，實現了 IO 通訊優化、資源虛擬化、云原生管理和編排、高性能多租戶隔離、計費計量、動態部署擴展、GPU 驅動適配等功能。

大模型生產框架：中間層的 MANAS 大模型生產框架基于 NVIDIA AI Enterprise 的NeMo Framework提供核心組件，涵蓋從數據處理到模型訓練、模型對齊、模型微調和企業部署過程中對安全審查的安全護欄等全套功能。

智能體應用層：最上層的 LIM（Laiye Inference Microservice） 智能體服務與生產工廠，是可快速部署的大模型微服務。基于NVIDIA NIM提供的核心能力，能夠在短時間內完成系統集成。面向企業 IT 團隊，提供了易用無代碼化的多模態知識庫、多模態微調數據集、大模型微調定制和版本管理、多模態智能對話和企業搜索、行業智能體參考設計等一站式企業大模型定制化平臺。

賴耶超級 AI 工廠提供企業大模型生產和場景應用兩大核心功能，大模型生產功能包含了大規模 GPU 集群的組網調優、模型的穩定性訓練和企業垂類大模型定制；企業場景應用功能，提供了開箱即用的 OpenAI 兼容的大模型 API 微服務，以及屏蔽了 GPU 底層復雜技術細節的加速推理鏡像服務。

賴耶 AI 超級工廠是基于 NVIDIA AI Enterprise 的最佳實踐，目前已在多家千 P 級算力中心完成落地應用，在大模型訓練效率和推理性能上達到了同類型最佳水平，幫助各行各業的企業以更低成本、更快速度將大模型應用到實際場景中。

北京賴耶信息科技有限公司 CEOLucas Dai 表示：“賴耶科技通過與 NVIDIA 團隊合作，基于 NVIDIA AI Enterprise 打造的超級 AI 工廠，幫助企業快速定制專屬的大模型。我們的平臺將企業從模型開發到應用落地的周期從幾個月縮短至幾天或幾周，大幅提高了業務響應速度，降低了運營成本。賴耶超級 AI 工廠專注于為企業提供開箱即用的解決方案，推動智能化轉型，助力企業在復雜的業務環境中取得更高效的成果。”

大模型場景應用落地實例

案例一：多模塊混合架構提升天氣預測能力

此氣象大模型在氣象領域表現突出，采用多模塊混合架構，結合深度學習、圖神經網絡與傳統物理模型，顯著提升長期天氣模式預測能力。該模型能精準捕捉從局地到全球的大氣動力學特征，實現小時到月尺度的高精度預報，最高空間分辨率達 1 公里。

通過多尺度輸入處理、先進編碼器等核心組件的協同工作，該模型在國際測試中預報精度超越傳統數值模型，特別在 7-15 天的中期預報中提高近 20%，15-30 天的超長期預報達到傳統模型 7 天水平。賴耶科技基于 NVIDIA AI Enterprise 提供的加速組件，讓計算效率提升近萬倍，實現全球尺度和百米局地尺度間無縫切換，預報期延長至 30 天。

案例二：優化數據處理與分析效率

賴耶大模型的 API 服務是基于 NVIDIA NIM 提供快速和穩定模型部署和發布，其成功實現了大模型在大數據企業應用中的落地。該平臺賦能企業內部各部門，不僅提升了數據處理和分析的效率，還通過大模型的強大自然語言處理能力，優化了企業的內部溝通和客戶服務流程。平臺亦可快速生成復雜的商業報告，幫助管理層做出更明智的決策。

案例三：提升集群管理與算力利用率

該算力中心部署了賴耶超級 AI 工廠，對萬卡規模的集群進行管理和性能優化，提供了高度可靠的模型訓練服務，對整體集群的模型算力利用率 MFU（Model FLOPs Utilization）提升了 2 倍，并且提供的大模型 API 微服務，面向區域內客戶提供大模型服務，實現了從算力運營到 Token 運營的轉變，達到了算力增值運營的目的，也讓企業能更便捷地使用大模型。

未來展望

期望在不久的將來，大模型能在更多領域得到廣泛應用，不僅惠及更多企業，還將為社會的發展帶來更多價值。賴耶科技將繼續與 NVIDIA 技術團隊合作，為企業實現大模型 Token 賦能，加速大模型場景應用落地。