2月3日，面壁智能正式發布并開源了集語言、視覺、語音于一體的全模態大模型 MiniCPM-o 4.5。作為首個全雙工全模態大模型，MiniCPM-o 4.5 首次實現“類人”感知交互，從“一問一答”變為“即時自由對話”。

眾智 FlagOS 社區跟面壁智能深度技術協同，通過統一開源的 AI 系統軟件棧 FlagOS 的跨芯片能力，快速實現了 MiniCPM-o 4.5 模型在 6 家主流硬件平臺(天數智芯、華為昇騰、平頭哥、海光、沐曦等)適配、對齊評測和開源上線。澎峰科技作為社區成員積極參與了vLLM-plugin-FL等關鍵組件的構建與優化工作。在保證模型精度完全一致的前提下，基于 FlagOS 版本的 MiniCPM-o 4.5 在 6 種芯片上均獲得端到端推理性能提升(硬件一致下，FlagOS 版本相比 CUDA 版本提升端到端推理效率 6.10%)，不同場景下平均加速比為7.76%—22.4%。這是業界首次實現 “跨芯適配規?；?、推理效率高效化”雙重目標的典范，為多元 AI 芯片生態下的模型部署樹立全新標桿。

FlagOS：面向多種 AI 芯片的系統軟件棧

FlagOS Inside：

實現 MiniCPM-o 4.5 在多家芯片的快速適配

MiniCPM-o 4.5 能在較短時間被適配到 6 種不同 AI 芯片，得益于眾智 FlagOS 的多芯片統一 AI 系統軟件棧能力。

統一多芯片接入插件 vLLM-plugin-FL：在不改變 vLLM 原有接口和使用習慣的情況下，絲滑實現 MiniCPM-o 4.5 的多芯片推理部署。

高性能算子庫FlagGems：全覆蓋 MiniCPM-o 4.5 的主流 PyTorch Aten 算子，并支持多種 AI 芯片。

統一 AI 編譯器FlagTree：將 MiniCPM-o 4.5 主流算子編譯成 6 種 AI 芯片后端理解的硬件指令。

vllm-plugin-FL 是一個為 vLLM 推理/服務框架構建的插件，它基于 FlagOS 的統一多芯片后端開發，旨在擴展 vLLM 在多種硬件環境下的功能和性能表現。此次，面壁智能一共發布了2個推理引擎版本的 MiniCPM-o 4.5 模型，分別是 Transformer 和 vLLM。使用 vLLM 推理引擎的 MiniCPM-o 4.5 模型中，vLLM-plugin-FL 基于 Python 的 EntryPoint 機制把 MiniCPM-o 4.5 模型結構注冊到 vLLM 支持的模型中，利用統一多芯片高性能算子庫 FlagGems 和統一多后端通信庫 FlagCX，實現同一套代碼流程多芯片執行 MiniCPM-o 4.5。

在代碼實現層面，眾智 FlagOS 將 FlagGems 算子庫及其運行依賴的編譯器 FlagTree 前置性內置，并集成到MiniCPM-o 4.5 的模型代碼框架。開發者在使用 MiniCPM-o 4.5 時，無需手動添加任何啟用 FlagOS 的初始化代碼，就能實現對核心計算模塊(如 RMSNorm等)的無縫替換。這意味著，使用者在加載官方模型時，FlagOS 系統軟件棧代碼已在底層自動生效，真正做到 “開箱即用” 。

開發者無需關心底層硬件適配與算子優化的復雜細節，只需正常調用模型，即可在保持精度完全一致的同時，獲得端到端推理的性能提升。為開發者提供了更流暢、更高效的模型部署體驗。

FlagOS 軟件代碼內置于 MiniCPM-o 4.5 模型框架：

Python
importtorch
importflag_gems
importtorch.nnasnn
fromflag_gems.experimental_opsimportrmsnormasgems_rmsnorm




classGemsRMSNorm(nn.Module):
 def__init__(self, hidden_size, eps=1e-6):
super().__init__()
   self.weight = nn.Parameter(torch.ones(hidden_size))
   self.variance_epsilon = eps
 
 defforward(self, hidden_states):
returngems_rmsnorm(hidden_states,self.weight,self.variance_epsilon)
 
 
 defextra_repr(self):
returnf"{tuple(self.weight.shape)}, eps={self.variance_epsilon}"




fromtransformers.models.qwen3importmodeling_qwen3
fromtransformers.models.llamaimportmodeling_llama
modeling_qwen3.Qwen3RMSNorm = GemsRMSNorm
modeling_llama.LlamaRMSNorm = GemsRMSNorm




flag_gems.only_enable(record=True, once=True, path="/root/gems.txt", include=["cumsum","gather","scatter","clamp"])

基于 FlagOS 跨平臺能力，MiniCPM-o 4.5 實現在 6 家硬件平臺的兼容適配，涵蓋 NPU、GPGPU、DSA等多種芯片架構。FlagOS 作為開源、統一的 AI 系統技術棧，能夠高效解決大模型因硬件生態碎片化導致的“跨平臺兼容難”行業難題，展示出加速模型“一次開發，多芯使用”的巨大潛力。

針對不同硬件平臺優化后的 MiniCPM-o 4.5 模型，眾智 FlagOS 社區已通過FlagRelease項目在 HuggingFace、魔搭社區、魔樂社區等主流開源社區平臺發布(后續將陸續上線阿里云、騰訊云、煥新平臺等平臺)。

隨著芯片硬件的持續適配，FlagOS 將加速大模型獲得更廣泛的硬件支持，幫助用戶實現更低的成本、更靈活的硬件選型方案。

通過 vLLM-plugin-FL 直接使用多芯版 MiniCPM-o 4.5 模型(vLLM 推理引擎)

利用 vLLM-plugin-FL 啟動 MiniCPM-o 4.5 模型的部署步驟可以參考以下一站式文檔。當前 vLLM-plugin-FL已經在英偉達、華為昇騰和平頭哥真武810E進行驗證。

gitcode：https://gitcode.com/flagos-ai/vllm-plugin-FL/blob/main/examples/minicpm/README.md

github：https://github.com/flagos-ai/vllm-plugin-FL/blob/main/examples/minicpm/README.md

為解決芯片硬件生態割裂、模型遷移效率不足和大模型應用落地難等行業痛點，面向多種 AI 芯片的統一、開源系統軟件棧 “眾智 FlagOS” 形成了具備高性能通用 AI 算子庫FlagGems/FlagAttention、統一 AI 編譯器 FlagTree、大模型訓推一體框架 FlagScale 和統一通信庫 FlagCX 的完整核心技術庫，并基于 4 個核心技術庫搭建面向開發者用戶的一站式工具平臺 KernelGen、FlagRelease 和 FlagPerf。為推動 AI 系統軟件邁入“一次開發、跨芯片運行、多框架支持”的新階段，眾智 FlagOS 進一步加強技術創新，加快生態使能 vllm-plugin-FL、Megatron-LM-FL 和 TransformerEngine-FL 的建設，逐步整合算力與開源生態，加速 AI 從實驗室走向規?；瘧?。

關于眾智 FlagOS 社區

為解決不同 AI 芯片大規模落地應用，北京智源研究院聯合眾多科研機構、芯片企業、系統廠商、算法和軟件相關單位等國內外機構共同發起并創立了眾智 FlagOS 社區。成員單位包括北京智源研究院、中科院計算所、中科加禾、安謀科技、北京大學、北京師范大學、百度飛槳、硅基流動、寒武紀、海光信息、華為、基流科技、摩爾線程、沐曦科技、澎峰科技、清微智能、天數智芯、先進編譯實驗室、移動研究院、中國礦業大學(北京)等多家在 FlagOS 軟件棧研發中做出卓越貢獻的單位。

FlagOS 是一款專為異構 AI 芯片打造的開源、統一系統軟件棧，支持 AI 模型一次開發即可無縫移植至各類硬件平臺，大幅降低遷移與適配成本。它包括大型算子庫、統一AI編譯器、并行訓推框架、統一通信庫等核心開源項目，致力于構建「模型-系統-芯片」三層貫通的開放技術生態，通過“一次開發跨芯遷移”釋放硬件計算潛力，打破不同芯片軟件棧之間生態隔離。

未來，澎峰科技將持續投入，積極參與并推動更多開源及商業模型基于FlagOS的適配與性能優化工作。我們堅信，開源協作是構建繁榮、高效算力生態的核心。澎峰科技期待與所有社區伙伴及產業同仁繼續并肩，將FlagOS打造為支撐AI創新的堅實底座，共同推動多元算力生態走向深度融合與開放共贏。

官網：https://flagos.io

GitHub 項目地址：https://github.com/flagos-ai

GitCode 項目地址：https://gitcode.com/flagos-ai