我們?cè)缫蚜?xí)慣打開(kāi) APP 或網(wǎng)站
就能用上各種 AI 功能
但你是否想過(guò):如果哪天突然斷網(wǎng)
這些基于云端的 AI 還能用嗎?
為了建造一個(gè)真正讓 AI 無(wú)處不在的智能世界
僅靠設(shè)備本地算力就能運(yùn)行 AI 模型尤為重要
它們能在手機(jī)、汽車(chē)、家電中離線運(yùn)行
讓 AI 不止在云端,也可「落地」到你設(shè)備中
這就是端側(cè) AI(On-device AI)和邊緣 AI(Edge AI)的區(qū)別
從芯片到應(yīng)用 全方位支持端側(cè) AI
01. 芯片
更強(qiáng)大的 AI 算力
NPU 是專(zhuān)為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的 AI 處理單元,可為各種 AI 任務(wù)提供更強(qiáng)大的算力支持。
MeidaTek第八代 AI 處理器——MediaTek NPU 890,作為智能體化 AI 引擎,可顯著提升移動(dòng)設(shè)備的 AI 的性能和能力,以滿足全球千行百業(yè)對(duì)生成式 AI 和智能體 AI 運(yùn)行大模型的需求。
MediaTek NPU 890 搭載的增強(qiáng)型推理解碼技術(shù)(Enhanced SPD),可使端側(cè)推理速度提升20%,并支持端側(cè)離線運(yùn)行 DeepSeek-R1-Distill(1.5B/7B/8B)模型。
MediaTek Kompanio Ultra 旗艦處理器內(nèi)置第八代 NPU,AI 算力可達(dá) 50 TOPS(Tera Operations Per Second – 每秒萬(wàn)億次操作),帶來(lái)更強(qiáng)的邊緣算力,能在終端離線提供快速、安全、高效率的 AI 運(yùn)算處理能力。強(qiáng)悍 AI 芯片,無(wú)懼?jǐn)嗑W(wǎng)離線!
02. 模型
更輕便易用的本地 AI 大模型
作為推動(dòng) AI 進(jìn)一步發(fā)展的先進(jìn)技術(shù),終端側(cè)部署生成式 AI(端側(cè) AI)與云端部署生成式 AI 應(yīng)用和服務(wù)相比,在節(jié)約服務(wù)器成本、保護(hù)用戶(hù)信息安全、提升實(shí)時(shí)性和實(shí)現(xiàn)個(gè)性化用戶(hù)體驗(yàn)等方面具備明顯優(yōu)勢(shì)。
MediaTek 已與多家主流大模型廠商深度合作,在多款天璣旗艦移動(dòng)平臺(tái)上完成了大模型的端側(cè)部署,即可實(shí)現(xiàn)在離線狀態(tài)下即時(shí)、精準(zhǔn)的多輪人機(jī)對(duì)話問(wèn)答,并支持更多跨應(yīng)用智能體化體驗(yàn)。此類(lèi)合作改善了“軟件適配難”“開(kāi)發(fā)環(huán)境不完備”等諸多挑戰(zhàn),攻克大量底層適配及上層開(kāi)發(fā)的系列技術(shù)及工程難題,真正把大模型“裝進(jìn)”手機(jī)芯片中,助力開(kāi)發(fā)者們?cè)谖磥?lái)創(chuàng)造出更多靈活、新奇、實(shí)用的 AI 應(yīng)用。
03. 生態(tài)系統(tǒng)
更靈活多變的部署
AI 時(shí)代,智能早已不限于手機(jī)和電腦,更多終端設(shè)備如汽車(chē)、家電、路由器等,也統(tǒng)統(tǒng)想要「AI 一下」!
為幫助標(biāo)準(zhǔn)各異的設(shè)備高效部署 AI,MediaTek 推出并不斷迭代NeuroPilot AI 開(kāi)發(fā)工具,其中包括各類(lèi)軟件工具與 API 等。開(kāi)發(fā)者可以通過(guò)NeuroPilot 簡(jiǎn)化的開(kāi)發(fā)流程,高效完成 AI 模型的訓(xùn)練、優(yōu)化到最終的部署,通過(guò) MeidaTek 的芯片賦能汽車(chē)、物聯(lián)網(wǎng)、智能家居、個(gè)人電腦等設(shè)備,讓 AI 功能更好、更快、直接地運(yùn)行在各種終端上,加速 AI 生態(tài)進(jìn)化。
如果 AI 都能被離線使用
你希望它能幫你做什么?
-
芯片
+關(guān)注
關(guān)注
463文章
54010瀏覽量
465983 -
AI
+關(guān)注
關(guān)注
91文章
39776瀏覽量
301373 -
Mediatek
+關(guān)注
關(guān)注
0文章
359瀏覽量
24950
原文標(biāo)題:斷網(wǎng)后,你的 AI 還能用嗎?
文章出處:【微信號(hào):mtk1997,微信公眾號(hào):聯(lián)發(fā)科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
MediaTek攜手FightCamp打造新型AI拳擊訓(xùn)練健身主機(jī)
MediaTek Genio平臺(tái)推動(dòng)端側(cè)AI在零售場(chǎng)景中規(guī)模化落地
借助谷歌LiteRT構(gòu)建下一代高性能端側(cè)AI
端側(cè)大模型上車(chē):從“語(yǔ)音助手”到“車(chē)內(nèi) AI 智能體”的躍遷革命
探索TLE4999線性霍爾評(píng)估套件:從硬件到軟件的全方位解析
這家端側(cè)AI芯片企業(yè)沖刺港股IPO,AI Scaler全面出貨3700萬(wàn)顆
高算力、低功耗!下一代端側(cè)AI芯片排隊(duì)進(jìn)場(chǎng)
瑞芯微發(fā)力端側(cè)AI,RK3588在汽車(chē)電子與機(jī)器人領(lǐng)域廣泛應(yīng)用
此芯科技發(fā)布“合一”AI加速計(jì)劃,賦能邊緣與端側(cè)AI創(chuàng)新
從Wi-Fi7到異構(gòu)AI,博通集成端側(cè)智能突圍
MediaTek從芯片到應(yīng)用全方位支持端側(cè)AI
評(píng)論