來源：vLLM

2025年8月23日，vLLM Meetup上海站成功舉辦。活動匯聚技術專家、社區開發者及行業用戶，圍繞vLLM(一種用于大型語言模型的高性能推理引擎)的技術進展、生態建設及應用展開深度探討。會議涵蓋社區貢獻指南、分布式推理架構、多模態模型集成等前沿議題，現場互動熱烈，并提出每年舉辦vLLM Con大會的倡議，為AI推理領域的技術落地注入新動能。

本次Meetup由沐曦與紅帽公司聯合主辦，紅帽作為全球開源社區vLLM的重要貢獻者，長期參與上游協作并分享實踐經驗，推動社區發展;沐曦則結合國產硬件優勢，積極探索vLLM在本土計算平臺上的適配與應用。沐曦開源生態總監章津楠與紅帽亞太CTO辦公室首席架構師張家駒共同開場，對到場嘉賓及觀眾表示歡迎。活動設置五大核心議題，并穿插開發者提問環節，最終以沐曦聯合創始人、CTO兼首席軟件架構師楊建博士的開源生態趨勢分享及書籍簽贈環節收尾，現場氣氛活躍。

活動核心環節圍繞五大技術方向展開，專家團隊通過案例解析與方案演示，系統呈現vLLM在社區生態、分布式架構、多模態集成等領域的創新實踐。

在題為《vLLM: Building, Testing and Contributing》演講中， vLLM社區貢獻者、Red Hat資深專家Daniele Trifirò深入剖析了vLLM社區的發展現狀，為愛好者及開發者提供了系統性指南。他詳細闡述了項目構建流程、關鍵測試規范，并指導開發者如何高效貢獻代碼。通過豐富的代碼實例、實踐案例及參考鏈接，演講極大降低了初學者入門門檻，獲得現場開發者高度認可。

在《Disaggregated P/D for Wide EP》主題分享中，vLLM社區貢獻者、Red Hat技術專家Nicolò Lucchesi重點介紹了利用llm-d實現vLLM分布式推理的方案，核心目標是通過預填充/解碼(P/D)解耦與寬專家并行(EP)擴展大模型推理能力，尤其針對長上下文和混合專家(MoE)模型場景，關鍵技術方案包括P/D解耦部署、通過NIXL實現高效KV Cache傳輸、支持預填充(P)與解碼(D)階段采用不同TP并行度、將MoE模型中的專家分布至不同GPU等實現細節。

百度高級產品經理王凱在《ERNIE 4.5 + vLLM: Multimodal Model Integration》演講中，系統解析了百度ERNIE 4.5多模態模型與vLLM的集成實踐。內容涵蓋ERNIE 4.5 的特性、與 vLLM 集成的原因以及 vLLM 為 ERNIE 4.5 模型提供的全面支持，包括密集模型、MoE 模型和用于加速生成的MTP。同時還介紹了正在進行的開發工作，例如專家并行性負載均衡和視覺-語言支持。

Mooncake核心開發者蘇金陽在《Mooncake x LMCache 性能優化分享》的主題分享中重點介紹了 Mooncake(特別是其傳輸引擎和存儲)與 LMCache 的集成，以在 vLLM 中實現高性能 KV Cache 重用。LMCache 被認為是用于 KV Cache 管理(卸載、重用、P/D 分離、RAG 緩存)的流行 vLLM 社區擴展。此次集成旨在提高數據分發效率和整體系統性能。

沐曦vLLM推理引擎專家張廉潔在《vLLM-metax: Bridging CUDA to MetaX MACA》演講中，詳細介紹了vLLM-metax 如何通過 cu-bridge 在 MACA 上實現接近零成本的 CUDA 執行，允許在不修改源代碼的情況下進行原生編譯。同時還解釋了在 vLLM 中使用插件架構支持 MetaX 的方式，概述了修補方法(patch補丁和文件替換)和限制。演講還公布了2025年路線圖。

提問環節中，開發者圍繞社區貢獻規范、分布式推理落地、國產硬件支持等議題提出建議，嘉賓以技術細節回應，討論貫穿全場。

本次活動彩蛋，沐曦聯合創始人、CTO兼首席軟件架構師楊建博士驚喜亮相現場，他不僅生動分享了沐曦在開源生態和vLLM推理技術的最新趨勢，還熱情地為獲得《沐曦異構并行計算軟件棧》書籍的幸運觀眾親筆簽名留念。

本次Meetup不僅展示了vLLM在分布式推理、多模態集成及硬件適配領域的最新成果，更通過技術交流與生態合作，為AI推理引擎的規模化應用提供了實踐范本。行業專家與開發者的深度互動，進一步強化了vLLM在開源社區的技術影響力，為下一代AI基礎設施的研發奠定基礎。

關于沐曦

沐曦致力于自主研發全棧高性能GPU芯片及計算平臺，為智算、通用計算、云渲染等前沿領域提供高能效、高通用性的算力支撐，助力數字經濟發展。