2026年2月11日,寒武紀(jì)已基于 vLLM 推理框架同步實(shí)現(xiàn)對智譜最新開源旗艦?zāi)P?GLM-5 的適配。寒武紀(jì)一直高度重視大模型軟件生態(tài)建設(shè),借助于成熟的自研 Neuware 軟件生態(tài)和長期的技術(shù)積累,寒武紀(jì)得以快速實(shí)現(xiàn)對 GLM-5 的 Day 0 適配。
寒武紀(jì)一直重視芯片和算法的聯(lián)合創(chuàng)新,致力于以軟硬件協(xié)同的方式,優(yōu)化大模型部署性能,降低部署成本。此前,我們對 GLM 系列模型進(jìn)行了深入的軟硬件協(xié)同性能優(yōu)化,達(dá)成了業(yè)界領(lǐng)先的算力利用率。針對本次 GLM-5 模型,寒武紀(jì)依托深度集成的 Triton 的兼容能力完成快速適配,利用 BangC 和原生 FP8 數(shù)據(jù)類型進(jìn)行 DeepSeek Sparse Attention 等熱點(diǎn)算子的極致性能優(yōu)化,再次達(dá)成了業(yè)界領(lǐng)先的計(jì)算效率。依托 GLM-5 強(qiáng)大的模型能力,疊加寒武紀(jì)極致的計(jì)算效率,可大幅降低訓(xùn)推成本,共同為客戶在 Coding 和 Agent 等重要領(lǐng)域提供極具競爭力的軟硬件解決方案。
-
模型
+關(guān)注
關(guān)注
1文章
3783瀏覽量
52201 -
寒武紀(jì)
+關(guān)注
關(guān)注
13文章
217瀏覽量
75004
原文標(biāo)題:寒武紀(jì) Day 0 適配 GLM-5
文章出處:【微信號:Cambricon_Developer,微信公眾號:寒武紀(jì)開發(fā)者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
寒武紀(jì)去年?duì)I收增長超400% 凈利潤20.59億同比扭虧 寒武紀(jì)首個(gè)盈利年度
華為昇騰深度適配智譜AI全新開源模型GLM-5
智譜AI正式上線并開源全新一代大模型GLM-5
摩爾線程MTT S5000率先完成對GLM-5的適配
Day-0支持|摩爾線程MTT S5000率先完成對GLM-5的適配
沐曦曦云C500/C550 GPU產(chǎn)品適配智譜GLM-OCR模型
沐曦股份曦云C系列GPU Day 0適配智譜GLM-4.6V多模態(tài)大模型
寒武紀(jì)引領(lǐng)AI芯片軟件新生態(tài)
商湯科技與寒武紀(jì)達(dá)成戰(zhàn)略合作
寒武紀(jì)成功適配DeepSeek-V3.2-Exp模型
寒武紀(jì)85后創(chuàng)始人陳天石身價(jià)超1500億
華為CANN與智譜GLM端側(cè)模型完成適配
硬件與應(yīng)用同頻共振,英特爾Day 0適配騰訊開源混元大模型
寒武紀(jì)實(shí)現(xiàn)對GLM-5的Day 0適配
評論