2026年2月11日,寒武紀已基于 vLLM 推理框架同步實現(xiàn)對智譜最新開源旗艦?zāi)P?GLM-5 的適配。寒武紀一直高度重視大模型軟件生態(tài)建設(shè),借助于成熟的自研 Neuware 軟件生態(tài)和長期的技術(shù)積累,寒武紀得以快速實現(xiàn)對 GLM-5 的 Day 0 適配。
寒武紀一直重視芯片和算法的聯(lián)合創(chuàng)新,致力于以軟硬件協(xié)同的方式,優(yōu)化大模型部署性能,降低部署成本。此前,我們對 GLM 系列模型進行了深入的軟硬件協(xié)同性能優(yōu)化,達成了業(yè)界領(lǐng)先的算力利用率。針對本次 GLM-5 模型,寒武紀依托深度集成的 Triton 的兼容能力完成快速適配,利用 BangC 和原生 FP8 數(shù)據(jù)類型進行 DeepSeek Sparse Attention 等熱點算子的極致性能優(yōu)化,再次達成了業(yè)界領(lǐng)先的計算效率。依托 GLM-5 強大的模型能力,疊加寒武紀極致的計算效率,可大幅降低訓推成本,共同為客戶在 Coding 和 Agent 等重要領(lǐng)域提供極具競爭力的軟硬件解決方案。
-
模型
+關(guān)注
關(guān)注
1文章
3751瀏覽量
52099 -
寒武紀
+關(guān)注
關(guān)注
13文章
216瀏覽量
74943
原文標題:寒武紀 Day 0 適配 GLM-5
文章出處:【微信號:Cambricon_Developer,微信公眾號:寒武紀開發(fā)者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
華為昇騰深度適配智譜AI全新開源模型GLM-5
智譜AI正式上線并開源全新一代大模型GLM-5
摩爾線程MTT S5000率先完成對GLM-5的適配
Day-0支持|摩爾線程MTT S5000率先完成對GLM-5的適配
沐曦曦云C500/C550 GPU產(chǎn)品適配智譜GLM-OCR模型
沐曦股份曦云C系列GPU Day 0適配智譜GLM-4.6V多模態(tài)大模型
寒武紀引領(lǐng)AI芯片軟件新生態(tài)
商湯科技與寒武紀達成戰(zhàn)略合作
寒武紀成功適配DeepSeek-V3.2-Exp模型
寒武紀85后創(chuàng)始人陳天石身價超1500億
華為CANN與智譜GLM端側(cè)模型完成適配
硬件與應(yīng)用同頻共振,英特爾Day 0適配騰訊開源混元大模型
寒武紀思元370芯片參數(shù)特性詳解
寒武紀實現(xiàn)對GLM-5的Day 0適配
評論