国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

實測NPU“空轉”,AI PC首個落地應用只調用GPU?

Hobby觀察 ? 來源:電子發燒友 ? 作者:梁浩斌 ? 2024-05-22 00:16 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發燒友網報道(文/梁浩斌)去年開始,整個PC產業鏈,自上而下地都在為AI PC造勢。從處理器端的英特爾AMD高通等開始,到下游終端廠商,宣傳上清一色的AI PC概念。

從概念上看,硬件上AI PC的一大特征是在傳統PC的CPU+GPU基礎上,增加NPU加強AI 算力。不過有意思的是,最近某品牌PC機型上的AI助手率先落地,支持云端和本地運算兩種模式,確實能夠完成宣傳上的很多功能。然而在實測本地大模型時,卻沒有調用NPU算力,完全是使用GPU進行運算。

所以實際上,NPU目前為止依然是“空轉”的狀態,過去的“傳統”PC,理論上似乎也能夠使用“AI PC”上的最新功能。那么AI PC中NPU還是一個必要存在嗎?

AI PC發展的三個階段

確實,GPU在AI大模型上有很強的適配性,一直以來,很多開源大模型都能夠在家用電腦上部署,利用GPU的算力進行推理。在AI PC的大模型剛剛落地時,使用GPU算力是最為穩妥以及最快的方式。

此前聯想集團副總裁張華在發布會上提到,成熟的AI PC需要包括五大條件。其中包括標配CPU+GPU+NPU的本地混合AI算力;內嵌由本地大模型和個性化本地知識庫構成的個人大模型;配備本地化個人數據和隱私保護方案;開放的AI 應用生態;內嵌個人Agent(模擬人類行為或指揮的AI程序),多模態自然語言成為主要的交互方式。

他還認為AI PC會有三個發展階段,第一階段是從2023年12月到2024年4月,這個階段被稱為“AI Ready”階段,這個階段特點是硬件平臺的支持CPU+GPU+NPU的混合AI算力,滿足終端廠商和第三方應用開發者進行終端AI體驗創新。說白了,就是硬件要滿足AI需求,軟件先畫餅。

第二階段是2024年4月到2024年9月的AI Explore階段。在這個階段中,AI Ready的硬件,能夠用上個人Agent、個人大模型嵌入AIPC、首批第三方AI應用接入AI小程序平臺等,并能夠運用CPU+GPU+NPU的混合AI算力,提供基于自然語言交互的個人AI助理服務。

第三階段是24年9月之后的AI Master/AI Advanced階段。在這個階段,首先硬件的混合AI算力持續提升,同時個人大模型的能力進一步提升,AI應用生態大為豐富、商業模式進一步多樣化,個人Agent的場景服務范圍進一步擴大、服務體驗進一步升級,個人AI助理進入隨用戶使用和體驗反饋而快速進階之路。

所以,AI PC新增的NPU,只是混合算力中的一部分。從算力來看,NPU可以算得上是“戰未來”的硬件,而實際AI能夠帶來哪些顛覆性的體驗,才是AI PC的關鍵。

AI PC有哪些應用了?

目前的AI大模型,普遍是采用云端推理,這很大程度上是由于大模型數據體量巨大,無法部署在本地。而AI PC的概念中,本地大模型就是與目前常見的云端大模型有很大差異的地方。

從個人隱私的角度來看,本地大模型由于數據不上云,所以數據安全性更高,對于一些有保密需求的工作來說可以說是提高工作效率的剛需。

比如用戶可以通過本地大模型,讀取本地文檔,并使用自然語言交互來快速找到文檔中所需的信息。還可以通過自然語言交互,來完成修改電腦設置等操作,降低Windows操作系統使用門檻,畢竟很多選項都藏得比較深。

另外,還可以通過上傳足夠多的文檔,構建一個自己的數據庫,需要搜索資料或數據時,就可以通過本地的AI助手快速搜索到目標。

最近微軟的發布會上,又推出了一個“Copilot+ PC”概念,核心是AI算力+AI Agent( Copilot )。

在微軟的展示中,任何東西都能夠往Copilot上拖動,并讓其分析、總結。當然,AI圖片編輯、生成等功能已經是AI大模型的標配了,而微軟為windows加入的AI賦能功能中,還有可以稱之為“殺手锏”的。

比如AI能夠實時讀取屏幕顯示的所有信息,比如在玩游戲時,可以直接詢問AI來獲得攻略,AI甚至能理解游戲中的參數、物品等,從而給出相應的策略。

Recall則是令電腦擁有了類似于“時光機”的能力,AI能力的幫助下,Copilot+ PC可以訪問電腦上任何看過或者運行過的操作,甚至可以憑借記憶,描述在某個網站上見過圖片,AI就能夠幫助找出相應的頁面截圖。而這是基于本地算力以及存儲所實現的,能夠保障用戶隱私。

小結:

AI PC的概念雖然值得考究,但AI的應用要落地在PC上,硬件和軟件都無法單獨拿出來討論,AI應用與硬件的結合隨著需求提高只會越來越緊密。這樣的情況下,NPU的存在形式,發展方向,以及應用的適配,未來將會有更多的可能性。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    28

    文章

    5194

    瀏覽量

    135433
  • NPU
    NPU
    +關注

    關注

    2

    文章

    373

    瀏覽量

    21091
  • AI大模型
    +關注

    關注

    0

    文章

    398

    瀏覽量

    998
  • AI PC
    +關注

    關注

    0

    文章

    142

    瀏覽量

    719
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    使用NORDIC AI的好處

    ,時延更低,系統在網絡不穩定甚至離線時也能繼續工作。[Edge AI 概述] 提升隱私與可靠性 原始傳感器數據(如運動、生理信號等)可以留在本地,上傳推理結果,有利于隱私與數據安全。 本地決策
    發表于 01-31 23:16

    GPU 利用率<30%?這款開源智算云平臺讓算力不浪費 1%

    作為 AI 開發者,你是否早已受夠這些困境:花數百萬采購的 GPU 集群,利用率常年低于 30%,算力閑置如同燒錢;跨 CPU/GPU/NPU 異構資源調度難如登天,模型訓練卡在資源分
    的頭像 發表于 01-26 14:20 ?180次閱讀

    AI PC芯片三強爭霸:NPU算力狂飆、1.8nm工藝時代降臨

    電子發燒友網報道(文/莫婷婷)在生成式人工智能(AIGC)浪潮席卷全球的背景下,個人計算設備正經歷一場深刻變革,“AI PC”應運而生。這一趨勢在中國大陸消費與商用市場加速落地。據Omdia預測
    的頭像 發表于 01-12 09:17 ?1192次閱讀
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b>芯片三強爭霸:<b class='flag-5'>NPU</b>算力狂飆、1.8nm工藝時代降臨

    別再用舊款了!RV1126B NPU實測2.6倍提速,YOLO算法絲滑運行

    AI視覺芯片的核心競爭力,NPU性能尤為關鍵。瑞芯微RV1126B作為RV1126迭代款,性能提升有多少?繼上集CPU性能實測,今天為您帶來NPU性能
    的頭像 發表于 12-22 12:11 ?828次閱讀
    別再用舊款了!RV1126B <b class='flag-5'>NPU</b><b class='flag-5'>實測</b>2.6倍提速,YOLO算法絲滑運行

    瑞芯微SOC智能視覺AI處理器

    。B2版本通常在功耗、穩定性和部分外圍接口支持上有所優化。NPU: 集成0.8 TOPS的NPU,支持INT8/INT16混合運算,能滿足大多數邊緣側的輕量級AI推理需求(如分類、檢測、識別)。多媒體
    發表于 12-19 13:44

    AI硬件全景解析:CPU、GPUNPU、TPU的差異化之路,一文看懂!?

    CPU作為“通用基石”,支撐所有設備的基礎運行;GPU憑借并行算力,成為AI訓練與圖形處理的“主力”;TPU在Google生態中深耕云端大模型訓練;NPU則讓AI從“云端”走向“身邊”
    的頭像 發表于 12-17 17:13 ?1734次閱讀
    <b class='flag-5'>AI</b>硬件全景解析:CPU、<b class='flag-5'>GPU</b>、<b class='flag-5'>NPU</b>、TPU的差異化之路,一文看懂!?

    安謀科技:端側NPU技術創新,拉動AI算力落地引擎

    X3 NPU IP以及生態建設、NPU發展趨勢等話題。 ? 圖:安謀科技產品總監鮑敏祺 ? 周易X3 NPU IP正當時 ? 安謀科技周易X3 NPU IP面向端側
    的頭像 發表于 12-09 16:44 ?5898次閱讀
    安謀科技:端側<b class='flag-5'>NPU</b>技術創新,拉動<b class='flag-5'>AI</b>算力<b class='flag-5'>落地</b>引擎

    悟空圖像與華為CANN正式落地PCAI閃繪功能

    近日,基于華為CANN(Compute Architecture for Neural Networks)端云協同架構打造的華為PCAI閃繪功能正式落地,標志著端側AI大模型應用邁入
    的頭像 發表于 11-10 14:43 ?831次閱讀

    巡檢機器人落地攻略:RK3576驅動12路低延遲視覺

    穩定在120~150ms。周五,聯調 AI:靠 6TOPS NPU 做行人/闖入/火花異亮檢測,異常幀打標簽并切片保存;遠端中控屏秒開回看。12路1080P@30fps H.264/H.265 硬編硬
    發表于 10-24 16:53

    AI的未來,屬于那些既能寫代碼,又能焊電路的“雙棲人才”

    ”,再聰明的模型也只能停留在實驗室。典型的場景有:場景需要的“雙棲能力”將YOLOv8部署到邊緣盒子算法裁剪 + NPU指令調優 + 電源與內存優化AI PC系統集成AI協處理器驅動
    發表于 07-30 16:15

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】+NVlink技術從應用到原理

    前言 【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」書中的芯片知識是比較接近當前的頂尖芯片水平的,同時包含了芯片架構的基礎知識,但該部分知識比較晦澀難懂,或許是由于我一直從事的事芯片
    發表于 06-18 19:31

    iTOP-3588S開發板四核心架構GPU內置GPU可以完全兼容0penGLES1.1、2.0和3.2。

    ,8GB內存,32GBEMMC。 四核心架構GPU內置GPU可以完全兼容0penGLES1.1、2.0和3.2。 內置NPU RK3588S內置NPU,支持INT4/INT8/INT1
    發表于 05-15 10:36

    超越CPU/GPUNPU如何讓AI“輕裝上陣”?

    電子發燒友網報道(文/李彎彎)NPU是一種專門為人工智能(AI)計算設計的處理器,主要用于高效執行神經網絡相關的運算(如矩陣乘法、卷積、激活函數等)。相較于傳統CPU/GPUNPU
    的頭像 發表于 04-18 00:05 ?4007次閱讀

    RK3588核心板在邊緣AI計算中的顛覆性優勢與場景落地

    推理任務,需額外部署GPU加速卡,導致成本與功耗飆升。 擴展性受限:老舊接口(如USB 2.0、百兆網口)無法支持5G模組、高速存儲等現代外設,升級困難。 開發周期長:BSP適配不完善,跨平臺AI
    發表于 04-15 10:48

    AI PC浪潮將至!三大存儲廠商齊發新品,加速大模型端側落地

    電子發燒友原創 章鷹 3月12日,MemoryS 2025峰會在深圳成功舉行,CFM閃存市場總經理邰煒表示,AI PC作為主力的生產力工具,2025年落地更顯快速,今年我們預計AI
    的頭像 發表于 03-14 00:05 ?3145次閱讀
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b>浪潮將至!三大存儲廠商齊發新品,加速大模型端側<b class='flag-5'>落地</b>