本周初,騰訊混元宣布開源四款小尺寸模型(參數分別為 0.5B、1.8B、4B、7B),可無縫運行于消費級顯卡上。作為全球應用范圍最為廣泛的計算平臺,Arm 在開源首日就已率先實現適配,攜手合作伙伴共同賦能端側人工智能 (AI) 部署,助力本土開發者實現 AI 應用創新!
這次的首日開源適配是雙方再次攜手提升端側應用功能和用戶體驗的又一例證。去年,Arm 將 Arm KleidiAI 技術與騰訊混元自研的 Angel 機器學習框架進行集成,從而提高移動端 AI 服務的推理性能和效率。得益于這一集成,混元大模型的預填充部分加速了 100%,而解碼器的速度提高了 10%。
此次騰訊混元開源的四款模型可適用于筆記本電腦、手機、智能座艙、智能家居等低功耗場景,且支持垂直領域低成本微調,為開發者和企業提供更多尺寸的模型選擇。四款模型均實現了對標業界同尺寸模型的性能表現,特別是在語言理解、數學、推理等領域尤為突出。目前,四款模型均已在 Github 和 Huggingface 等開源社區上線。

此外,對于開源方面的投入,雙方秉持同樣的熱忱,開源是騰訊混元大模型長期堅持的方向,而 Arm 則在開源項目的支持上投入了大量的工程資源,并不斷地擴大開源合作伙伴協作,致力于為全球超過 2,200 萬基于 Arm 平臺開發的開發者提供更多的獲取資源和更高的性能,助力實現 AI 無處不在!
展望未來,Arm 將繼續通過開源合作與技術創新,持續賦能開發者無縫獲取底層硬件性能,進而實現更順暢的創新開發,并攜手合作伙伴構筑更加繁榮的開源生態,加速應用落地。
-
ARM
+關注
關注
135文章
9552瀏覽量
391827 -
機器學習
+關注
關注
66文章
8553瀏覽量
136928
原文標題:開源支持新動態!Arm 率先適配騰訊混元開源模型,助力端側 AI 創新開發
文章出處:【微信號:Arm社區,微信公眾號:Arm社區】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
Arm率先適配騰訊混元HY-1.8B-2Bit模型
沐曦曦云C500/C550 GPU產品適配騰訊混元圖像3.0圖生圖模型
安霸推出開發者社區以助力部署端側AI應用
沐曦曦云C500/C550 GPU產品適配騰訊混元開源翻譯模型1.5版本
壁仞科技壁礪166M產品適配騰訊混元開源翻譯模型1.5版本
NVIDIA推出面向語言、機器人和生物學的全新開源AI技術
澎峰科技完成OpenAI最新開源推理模型適配
Say Hi to ERNIE!Imagination GPU率先完成文心大模型的端側部署
AI大模型端側部署正當時:移遠端側AI大模型解決方案,激活場景智能新范式
AI大模型端側部署正當時:移遠端側AI大模型解決方案,激活場景智能新范式
Arm率先適配騰訊混元開源模型,助力端側AI創新開發
評論