3月28日，阿里云與知名半導(dǎo)體公司MediaTek聯(lián)合宣布，通義千問18億、40億參數(shù)大模型已成功部署進天璣9300移動平臺，可離線流暢運行即時且精準(zhǔn)的多輪AI對話應(yīng)用，連續(xù)推理功耗增量不到3W，實現(xiàn)手機AI體驗的大幅提升。這是通義大模型首次完成芯片級的軟硬適配，僅依靠終端算力便能擁有極佳的推理性能及功耗表現(xiàn)，標(biāo)志著Model-on-Chip的探索正式從驗證走向商業(yè)化落地新階段。
?
?
?
端側(cè)AI是大模型落地的極具潛力的場景之一。利用終端算力進行AI推理，可大幅降低推理成本、保證數(shù)據(jù)安全并提升AI響應(yīng)速度，讓大模型可以更好地為用戶提供個性化體驗。然而，要將大模型部署并運行在終端，需完成從底層芯片到上層操作系統(tǒng)及應(yīng)用開發(fā)的軟硬一體深度適配，存在技術(shù)未打通、算子不支持、開發(fā)待完善等諸多挑戰(zhàn)。
?
據(jù)了解，通義千問18億參數(shù)開源大模型，在多個權(quán)威測試集上性能表現(xiàn)遠超此前SOTA模型，且推理2048 token最低僅用1.8G內(nèi)存，是一款低成本、易于部署、商業(yè)化友好的小尺寸模型。天璣9300集成MediaTek第七代AI處理器APU790，生成式AI處理速度是上一代AI處理器的8倍。
?
阿里巴巴通義實驗室業(yè)務(wù)負責(zé)人徐棟介紹稱，阿里云與MediaTek在模型瘦身、工具鏈優(yōu)化、推理優(yōu)化、內(nèi)存優(yōu)化、算子優(yōu)化等多個維度展開合作，實現(xiàn)了基于AI處理器的高效異構(gòu)加速，真正把大模型“裝進”并運行在手機芯片中，給業(yè)界成功打樣端側(cè)AI的Model-on-Chip部署新模式。
?

圖：在天璣9300設(shè)備上，可離線完成基于通義千問大模型的AI多輪會話
?

基于天璣9300芯片，通義千問18億參數(shù)大模型在推理方面表現(xiàn)出了極佳的性能與功耗表現(xiàn)，推理時CPU占有率僅為30%左右，RAM占用少于2GB，推理速度超過20tokens/秒，系列指標(biāo)均達到業(yè)界領(lǐng)先水平，可在離線環(huán)境下流暢實現(xiàn)多輪AI對話。據(jù)了解，相關(guān)成果將以SDK的形式提供給手機廠商和開發(fā)者。
?
此外，雙方團隊也已完成了通義千問40億參數(shù)大模型與天璣9300的適配，未來還將基于天璣適配70億等更多尺寸大模型，“打樣”并支持開發(fā)更多AI智能體及應(yīng)用。
?
MediaTek無線通信事業(yè)部副總經(jīng)理李彥輯博士表示：“阿里云的通義系列大模型是AI領(lǐng)域的佼佼者，我們期待通過雙方的合作可以為應(yīng)用開發(fā)者和終端客戶提供更強大的硬件和軟件解決方案，同時促進生成式AI的端側(cè)部署以及AI應(yīng)用、AI智能體生態(tài)的快速發(fā)展，為用戶帶來更多令人興奮的AI產(chǎn)品體驗。”
?
當(dāng)天，阿里云與MediaTek宣布啟動聯(lián)合探索AI智能體解決方案計劃，整合MediaTek天璣移動平臺的AI算力及阿里云通義千問的大模型能力，為開發(fā)者和企業(yè)提供更完善的軟硬聯(lián)合開發(fā)平臺，以更好支持智能終端在端側(cè)高能效地實現(xiàn)自然語言理解、復(fù)雜決策制定以及個性化服務(wù)生成，探索打造真正具備情境感知、自主學(xué)習(xí)和實時交互功能的下一代智能終端應(yīng)用生態(tài)。
?
通義大模型已在各行業(yè)廣泛落地，包括釘釘、淘寶、一汽紅旗、央視網(wǎng)、浙江大學(xué)等眾多應(yīng)用、企業(yè)及機構(gòu)。“淘寶問問”基于通義千問實現(xiàn)了全新的交互體驗以及更精準(zhǔn)的推薦；阿里云與中國一汽聯(lián)合打造的大模型應(yīng)用GPT-BI已率先落地，可結(jié)合企業(yè)數(shù)據(jù)自動生成分析圖表。
?