華為技術有限公司宣布旗下 ModelEngine AI 平臺全面支持 DeepSeek 大模型 R1&V3 和蒸餾系列模型的本地部署與優化,在 AI 領域引發廣泛關注。
華為 ModelEngine 是大模型訓練、推理和應用開發的 AI 平臺,提供從數據預處理到模型訓練、優化及部署的一站式服務。此次基于昇騰 AI 芯片,ModelEngine 通過推理框架優化和 MoE 存算協同,提供動態換入換出和全局統一緩存,實現推理高并發和低時延,讓用戶能更好地體驗 DeepSeek 的推理能力。
對于開發者而言,這一支持意義重大。ModelEngine 全面兼容 DeepSeek 系列模型 R1&V3 671B 以及蒸餾系列模型,開發者借助它可實現 “一鍵部署”,免去硬件選型、兼容性驗證和環境配置等繁瑣流程,極大降低企業 AI 應用門檻。并且,ModelEngine 高度的開放性和模塊化設計,大幅縮短了 DeepSeek 的本地部署時間。
在實際操作上,以 DeepSeek-R1 為例,開發者登錄 ModelEngine 模型管理頁面,上傳 DeepSeek-R1 FP8 權重并進行格式轉換,在模型服務頁面選擇 BF16 精度的模型權重版本下發推理服務、啟動任務部署,隨后 ModelEngine 使用 MindIE 推理框架啟動 DeepSeek-R1 推理服務,支持 OpenAI API 調用風格的推理服務接口和訪問方式,用戶便可將該 API 集成到對話、RAG 以及 Agent 應用中。
不僅如此,ModelEngine 還提供負載均衡、模型安全接入、多用戶配額管理等高階特性,支持大規模生產環境下的穩定運行。某證券公司引入 DCS AI 全棧解決方案后,運維成本降低 42%,便是有力證明。
-
華為
+關注
關注
218文章
36009瀏覽量
262136 -
AI
+關注
關注
91文章
39812瀏覽量
301479 -
DeepSeek
+關注
關注
2文章
835瀏覽量
3276
發布評論請先 登錄
曙光AI超集群系統全面支持DeepSeek-V3.2-Exp
本地部署openWebUI + ollama+DeepSeek 打造智能知識庫并實現遠程訪問
Deepseek海思SD3403邊緣計算AI產品系統
誠邁信創電腦實現本地部署DeepSeek,開啟智慧辦公新體驗
DeepSeek R1模型本地部署與產品接入實操
軟通動力入選2025十大DeepSeek部署典型案例
兆瀚DeepSeek一體機全新升級:內置Agent開發平臺,加速行業AI應用落地
DeepSeek推動AI算力需求:800G光模塊的關鍵作用
【幸狐Omni3576邊緣計算套件試用體驗】DeepSeek 部署及測試
博實結完成DeepSeek大模型本地化部署
依托raksmart服務器在多種系統上本地部署deepseek注意事項
在英特爾哪吒開發套件上部署DeepSeek-R1的實現方式
華為ModelEngine AI平臺全面支持DeepSeek全系列本地部署
評論