国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

天璣9300內存硬件壓縮技術大幅降低手機AI大模型內存占用 行業第一

科技快報 ? 2023-11-09 19:17 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近期,聯發科發布了全新一代旗艦級5G生成式AI移動芯片天璣9300。創新的全大核架構設計結合新一代AI處理器APU和聯發科特有的前沿技術,為端側生成式AI應用提供強勁性能,帶來精彩、豐富的端側生成式AI體驗。聯發科還與眾多業內AI企業深度合作,在移動端構建了豐富的AI生態。

wKgZomVMv8eADU9oAAQ3TenYVuU744.png

全新第七代AI處理器APU 790,為生成式AI而生

隨著用戶對生成式AI應用需求日益增長,端側生成式AI便捷、安全性等優勢便凸顯出來。當然,部署端側AI大語言模型需要強大的AI算力支撐。

天璣9300搭載聯發科第七代AI處理器APU 790,為生成式AI而設計,擁有硬件級的生成式AI引擎,可以實現更加高速且安全的邊緣AI計算,深度適配Transformer模型進行算子加速,速度是上一代的8倍。

wKgZomVMv8eAKzkoAACAKjC3qno04.jpeg

同時APU 790的性能和能效得到顯著提升,整數運算和浮點運算能力提升至前一代的2倍,蘇黎世ETHZv5.1 AI-Benchmark Mobile Soc跑分2109 分,AI性能成功霸榜,功耗更是降低了45%。在強大的AI性能支持下,1秒以內即可生成圖片。天璣9300強悍的AI算力、創新的全大核CPU架構和Immortalis-G720 GPU都為端側運行生成式AI打下堅實的性能基礎。

wKgaomVMv8eAcpkNAADeRBHfMik961.png

同時,基于億級參數大語言模型的特性,聯發科開發了混合精度 INT4 量化技術,結合聯發科特有的內存硬件壓縮技術NeuroPilot Compression,可以更高效地利用內存帶寬,大幅減少AI大模型占用終端內存,為端側運行AI大語言模型突破手機內存限制,助力更大參數模型在端側落地。

基于以上,天璣9300首次在vivo旗艦手機端側落地70億參數AI大語言模型,處理速度可達20 Tokens每秒。不僅如此,聯發科突破了行業極限,已經與vivo成功在端側運行了130億參數的大語言模型。甚至,天璣9300已率先實現在移動芯片上成功運行330億參數的AI大語言模型,領跑業界。

wKgZomVMv8eAPVkxAAPPtwbJuWc216.png

天璣9300還支持多模態生成式AI大模型,打造出“文生詩”“文生圖”“文生趣圖”等豐富有趣的端側體驗。

wKgaomVMv8iALhwxAAGaCv5Plyo949.png

可見,天璣9300的AI算力和端側生成式AI能力已領先行業,足以讓用戶隨時隨地AI創造力全飆。

生成式AI模型端側技能擴充,帶來全面、豐富的端側生成式AI體驗

與云側生成式AI解決方案不同,由于硬件環境的差異,部署端側生成式AI也需要考慮手機內存、存儲容量、負載上限等因素。為此,聯發科率先提出了先進的解決方案。

APU 790 支持生成式AI模型端側技能擴充技術NeuroPilot Fusion,它可以基于基礎大模型持續在端側進行低秩自適應(LoRA,Low-Rank Adaptation)融合,在混合式AI的賦能下,可以基于1個基礎大模型,通過云端訓練,在端側完成N個功能的融合,賦予基礎大模型更全面、更豐富的生成式AI應用能力。

wKgZomVMv8iAXe4XAABaWKSYnzQ756.png

比如基于AI模型端側技能擴充技術的“圖生GIF動圖”功能,用戶可以根據一張照片更換不同的風格甚至表情,玩出個人專屬風格的表情包,秒變表情包小達人。

wKgaomVMv8iAB9DsAACRrudsS3I16.jpeg

AI開發平臺NeuroPilot加速端側生成式AI生態布局

基于強大的AI算力和先進的內存硬件壓縮技術、AI模型端側技能擴充等技術,天璣9300的APU 790將端側生成式AI的速度和廣度提升到了全新的水平。同時,為加速生成式AI在端側部署和普及,聯發科也憑借其AI開發平臺NeuroPilot構建了豐富的AI生態,從底層硬件到工具鏈、模型中心以及開發生態,助力生態快速、高效地部署端側生成式AI應用。

wKgZomVMv8mATCMQAAFtyqnYvf435.jpeg

AI開發平臺NeuroPilot支持Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型。

wKgaomVMv8mAVVuWAAA8z6By0Gs810.png

更為重要的是,NeuroPilot擁有一套完整且先進的工具鏈,除了NeuroPilot Compression低秩自適應融合,還有Speculative Decoding推測解碼加速和模型優化與轉化技術。

wKgZomVMv8mAMIU0AADSWumX36o46.jpeg

聯發科的天璣開發者中心還可提供端側生成式AI落地一站式開發者資源,分享端側模型部署案例提升開發效率。目前已有20多個生成式AI合作伙伴加入生態共建。

聯發科還攜手業界合同伙伴打造精彩的生成式AI應用體驗。虹軟的生成式AI超級分辨率技術基于天璣9300 APU 邊緣計算能力,相比前代,性能可提升30%。在25倍放大的拍攝時,利用生成式AI超級分辨率技術,可以拍出細節更真實的圖像效果。

wKgaomVMv8mAcNmRAABQdQkk4sE020.png

wKgZomVMv8mAE3uwAADJITZjfH073.jpeg

極感科技的生成式AI語意搜索技術也基于天璣9300 APU邊緣計算能力,對比前代,性能可提升260%。比如在手機的相冊中搜索照片,描述照片的內容即可在毫秒內精準搜到對應的照片。而且在斷網狀態下也能搜索,隱私也不會泄露。

wKgaomVMv8yAeF-ZAALKHNuCuvQ896.png

wKgZomVMv9GAfTyQAAMO0P_Neg4228.png

Morpho的視頻通話實時數字分身生成技術,同樣基于天璣9300 APU邊緣計算能力,對比前代,性能提升26%。一般的虛擬人像生成器需手動選取容貌樣式花費時間。但基于視頻通話實時數字分身生成技術,用戶操作容易,僅需打開攝像頭單幀圖片即可瞬間生成數字分身。

wKgaomVMv9OACoRKAAL1idTB22s222.png

基于天璣9300 APU邊緣計算能力,慧鯉生成式AI防眩光技術性能可提升60%。在此技術加持下,無論是室外還是室內,在拍攝時如有眩光,只要輕松一暗即可消除眩光干擾。

wKgZomVMv9iAKGkGAAfDwZZa-OU845.png

可以看到,在AI端云融合的趨勢下,天璣9300在AI算力、生成式AI用戶體驗和生態方面展現出全面的優勢,為新一代旗艦級端側生成式AI體驗樹立了新的標桿,強大生成式AI就要用天璣。

wKgaomVMv9iAMO1oAAQBOXjl-Yk675.png

其同時,聯發科等領軍生成式AI的公司無時無刻不在通過技術創新和生態建造,積極推進混合式AI計算,開創出具有特色和效率的途徑來推動端側生成式AI部署的發展,以期將生成式AI在端側普及,讓越來越多的用戶享有特色化的端側AI體驗,構建智能全域新體驗,讓科技更普惠大眾。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 聯發科
    +關注

    關注

    57

    文章

    2748

    瀏覽量

    259564
  • 內存
    +關注

    關注

    9

    文章

    3209

    瀏覽量

    76357
  • AI
    AI
    +關注

    關注

    91

    文章

    39755

    瀏覽量

    301360
  • 大模型
    +關注

    關注

    2

    文章

    3648

    瀏覽量

    5179
  • 天璣9300
    +關注

    關注

    3

    文章

    53

    瀏覽量

    639
  • AI大模型
    +關注

    關注

    0

    文章

    398

    瀏覽量

    998
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    如何利用NPU與模型壓縮技術優化邊緣AI

    隨著人工智能模型從設計階段走向實際部署,工程師面臨著雙重挑戰:在計算能力和內存受限的嵌入式設備上實現實時性能。神經處理單元(NPU)作為強大的硬件解決方案,擅長處理 AI
    的頭像 發表于 11-07 15:26 ?1256次閱讀
    如何利用NPU與<b class='flag-5'>模型</b><b class='flag-5'>壓縮</b><b class='flag-5'>技術</b>優化邊緣<b class='flag-5'>AI</b>

    AI體驗躍遷,9500用雙NPU開創端側AI新時代

    AI 正從“嘗鮮”邁向“常用”,下代體驗該由誰定義?聯發科9500給出答案:行業首發將端側 AI
    的頭像 發表于 09-24 14:47 ?752次閱讀
    <b class='flag-5'>AI</b>體驗躍遷,<b class='flag-5'>天</b><b class='flag-5'>璣</b>9500用雙NPU開創端側<b class='flag-5'>AI</b>新時代

    科普:什么AI 內存技術

    問題。 為什么 AI 內存很重要? 在 AI 模型訓練和推理過程中,大量的數據需要從內存傳輸到處理器(如 GPU 或 TPU)進行計算。傳統
    的頭像 發表于 09-03 15:44 ?1390次閱讀

    9500 性能大爆發!NPU AI算力或達100TOPS

    電子發燒友網綜合報道,據博主數碼閑聊站獨家爆料,聯發科9500?NPU用上全新IP硬件,AI算力對比前代直接翻倍。此外,
    的頭像 發表于 08-21 11:12 ?3950次閱讀
    <b class='flag-5'>天</b><b class='flag-5'>璣</b>9500 性能大爆發!NPU <b class='flag-5'>AI</b>算力或達100TOPS

    聯發科野心不小,9500 AI算力直接翻倍

    手機不僅可以運行更聰明的大模型,響應速度也更加迅速,讓手機AI 有了更強的“活人感”。繼去年
    的頭像 發表于 08-20 13:33 ?923次閱讀
    聯發科野心不小,<b class='flag-5'>天</b><b class='flag-5'>璣</b>9500 <b class='flag-5'>AI</b>算力直接翻倍

    vivo S30 Pro mini搭載9300+旗艦芯片

    體驗保駕護航;在 MediaTek 與藍晶芯片技術棧的聯合研發和深度定制下, 9300+ 在 vivo S30 Pro mini 上充分釋放性能的同時,實現更低功耗。搭配 S30
    的頭像 發表于 06-23 16:37 ?1688次閱讀

    請問STM32N6 cubeAI部署時用的內存是在內部還是外部?

    STM32N6用cube AI部署模型的時候,用n6-allmems-O3之后analyse得到了RAM和FLASH的內存占用,這里展示的內存
    發表于 06-09 06:19

    請問STM32N6 cubeAI部署時用的內存是在內部還是外部?

    STM32N6用cube AI部署模型的時候,用n6-allmems-O3之后analyse得到了RAM和FLASH的內存占用,這里展示的內存
    發表于 06-03 12:13

    HarmonyOS優化應用內存占用問題性能優化

    、 概述 用戶功能的不斷增強,應用越來越復雜,占用內存也在不斷膨脹,而內存作為系統的稀缺資源比較有限,當應用程序占用過多
    發表于 05-21 11:27

    MediaTek9400率先完成阿里Qwen3模型部署

    通義大模型團隊在 9400 旗艦移動平臺上率先完成 Qwen3(千問 3)的端側部署。未來,搭載 9400 移動平臺的設備可充分發揮
    的頭像 發表于 05-08 10:11 ?1315次閱讀

    請問STM32N6 cubeAI部署時用的內存是在內部還是外部?

    STM32N6用cube AI部署模型的時候,用n6-allmems-O3之后analyse得到了RAM和FLASH的內存占用,這里展示的內存
    發表于 04-28 08:25

    首創開源架構,AI開發套件讓端側AI模型接入得心應手

    、內存帶寬占用量大幅降低50%,讓端側AI推理更聰明、響應更迅速。
    發表于 04-13 19:52

    硅基覺醒已至前夜,聯發科攜手生態加速智能體化用戶體驗時代到來

    支持DeepSeek四大關鍵技術,為端側推理提升2倍token生成速度,同時可節省50%內存帶寬占用。
    發表于 04-13 19:51

    MediaTek發布9400+移動平臺

    MediaTek 發布 9400+ 旗艦 5G 智能體 AI 芯片。作為旗艦家族的新成員,
    的頭像 發表于 04-11 14:45 ?1662次閱讀