国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

RISC-V新CPU為端側大模型落地應用提供新范式

RISCV國際人才培養認證中心 ? 2024-11-20 01:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

縱觀歷史,但凡能夠大幅提升生產力的技術必將大規模應用并深刻改變社會發展進程。以大模型為代表的新AI第一次使智能體具備了主動學習和泛化能力,為生產力的發展帶來質的飛躍,未來數字世界和物理世界的絕大多數事物都將接入大模型新AI,進行智能化升級,引發新一輪工業革命。

互聯網和移動互聯網的發展歷史表明,越貼近用戶,其應用場景越大,產業價值越高。大模型最大的應用場景在終端和邊緣端。未來所有的終端和邊緣端設備都值得用大模型重新做一遍,為數十萬億規模的電子信息制造業提供增量市場和高質量發展的機遇。

大模型需要在資源有限的終端設備上高效運行,對芯片的AI部署通用性、易用性、經濟性等提出了更高的要求。進迭時空的實踐表明,RISC-V作為開源開放的下一代計算架構,以通用CPU核為基礎,結合少量DSA定制和大量微架構創新,不僅具備完整CPU功能,更擁有強大的原生AI算力,可以為端側大模型落地應用提供全新的解決方案。

1

RISC-V新CPU提供強大的AI通用性

進迭時空SpacemiT Key StoneK1憑借其開放性和可編程性,能夠輕松接入ONNXRuntime等主流開源生態。這一特性不僅降低了部署大量現有AI模型的門檻,還天然支持了timm、onnx modelzoo、ppl modelzoo等開源模型倉庫的模型,以及所有的公開onnx模型。這意味著,無論是傳統的小模型還是當下火熱的大模型,如qwen系列、llama系列、minicpm系列、phi系列、chatglm系列、gemma系列等,都能在這款AI CPU上得到高效支持。

尤其是,進迭時空SpacemiT Key StoneK1的原生AI算力具有極強的可編程性,支持主流低bit量化方式,從而極大地降低了大模型的帶寬需求。K1芯片運行主流的5億參數大模型可以實現每秒20個token的優異性能。

2

RISC-V新CPU提供強大的AI便捷性

借助主流開源生態,進迭時空不僅擴充了模型倉庫,還實現了低成本的遷移ONNXRuntime生態中的各種案例。此外,通過云端通用AI助手,用戶只需通過自然語言描述,即可實現AI部署。由于AI CPU支持全集ONNX算子,用戶只需修改模型路徑和攝像頭設備號,即可成功進行部署,極大地簡化了操作流程。

3

RISC-V新CPU構建本地大模型推理應用

進迭時空在SpacemiT Key StoneK1芯片上構建了以通義千問(qwen2.5-1.5B-coder)為基礎的本地AI助手。借助本地AI助手,用戶可以通過自然語言描述實現AI部署,無需依賴網絡連接,進一步提升了AI應用的便捷性和安全性。



未來,進迭時空將繼續堅持RISC-V+AI技術路線,通過技術創新帶來更具競爭力的解決方案,為大模型在終端和邊緣端的普及提供強有力的支持。


來源:進迭時空

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • cpu
    cpu
    +關注

    關注

    68

    文章

    11279

    瀏覽量

    224995
  • RISC-V
    +關注

    關注

    48

    文章

    2886

    瀏覽量

    53013
  • 大模型
    +關注

    關注

    2

    文章

    3650

    瀏覽量

    5183
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    新思科技VC Formal解決方案在RISC-V驗證中的應用

    ——地球上人均 6 顆。從“RISC-V 將無處不在”到“RISC-V,就現在”,RISC-V 已幾乎覆蓋所有應用。當前,RISC-V 已成功躋身世界主流處理器市場,不再局限于低功耗小
    的頭像 發表于 02-24 16:38 ?496次閱讀

    Banana Pi 開源社區聯合進迭時空發布最新RISC-V芯片K3開發套件:BPI-SM10(K3-CoM260)

    進一步提供定制化軟件服務,并集成攝像頭,傳感器,載板設計及整機工程化任務,加速產品落地 作為全球首款基于支持完整RVA23的RISC-V架構的緊湊型邊緣計算平臺,SpacemiT K3-適用于AI
    發表于 01-30 18:38

    進迭時空發布新一代RISC-V AI CPU芯片,滿足模型算力需求

    電子發燒友網報道 1月29日,進迭時空線上發布新一代AI CPU芯片——K3。作為全球首顆符合RVA23規范的量產RISC-V芯片,K3實現多項技術創新:首次全球量產1024位寬高并行計算,達成
    的頭像 發表于 01-30 14:06 ?8370次閱讀

    Powered by XuanTie,Qwen Inside:阿里通義大模型攜手玄鐵 RISC-V開啟“智能”新紀元

    在 AI 邁向“邊云協同”的新時代,大模型的價值不僅在于云端的超強算力,更在于能否高效、低成本地部署到千行百業的終端設備中。近日,阿里通義大模型與達摩院旗下玄鐵 RISC-V 宣布將
    的頭像 發表于 01-12 11:49 ?227次閱讀
    Powered by XuanTie,Qwen Inside:阿里通義大<b class='flag-5'>模型</b>攜手玄鐵 <b class='flag-5'>RISC-V</b>開啟“<b class='flag-5'>端</b><b class='flag-5'>側</b>智能”新紀元

    重磅合作!Quintauris 聯手 SiFive,加速 RISC-V 在嵌入式與 AI 領域落地

    據科技區角報道半導體解決方案提供商 Quintauris 最近宣布和 RISC-V 處理器 IP 領域的頭部廠商 SiFive 達成戰略合作,目標直接瞄準加速 RISC-V 在嵌入式、AI 系統等
    發表于 12-18 12:01

    探索RISC-V在機器人領域的潛力

    的帖子,這希望進行底層開發的用戶提供了極大的靈活性。 五、 總結與展望 優點: 1. 性能強大: K1 RISC-V CPU性能遠超同價位ARM開發板,
    發表于 12-03 14:40

    【CIE全國RISC-V創新應用大賽】基于 K1 AI CPU 的大模型部署落地

    落地方案 : 1. 系統部署方案書 (System Proposal) 方案要點 部署工具 :使用官方提供的 spacemit-llama.cpp (v0.0.4) 二進制包。 模型
    發表于 11-27 14:43

    引領模型落地!Firefly-RK182X 開發套件上線發售

    海量參數的大模型給AI行業帶來顛覆性的體驗,然而在設備中,由于有限的DRAM帶寬、硬件算力、存儲容量等瓶頸,讓
    的頭像 發表于 11-26 16:33 ?2283次閱讀
    引領<b class='flag-5'>端</b><b class='flag-5'>側</b>大<b class='flag-5'>模型</b><b class='flag-5'>落地</b>!Firefly-RK182X 開發套件上線發售

    RT-Thread睿賽德亮相RISC-V中國峰會:以優勢攜手生態共繪產業藍圖 | 新聞速遞

    ,共同探討RISC-V生態的最新技術和產業發展新機遇。第五屆RISC-V中國峰會在滬舉行本次大會,多次提及“芯聯動”,以期實現的產業
    的頭像 發表于 07-18 21:38 ?1175次閱讀
    RT-Thread睿賽德亮相<b class='flag-5'>RISC-V</b>中國峰會:以<b class='flag-5'>端</b><b class='flag-5'>側</b>優勢攜手生態共繪產業藍圖 | 新聞速遞

    RISC-V 的平臺思維和生態思維

    RISC-V 的魅力在于以模塊化、開源、開放的指令集底座,通過平臺化技術框架降低芯片與應用開發門檻,并以協同共建的產業生態彌合碎片、加速落地。因此,高通高級副總裁 Leendert van
    發表于 07-17 14:04 ?4186次閱讀

    沁恒微電子:從互連互通應用推動RISC-V落地發展

    豐富、久經市場考驗。沁恒立于RISC-V產業前沿,致力于推動RISC-V落地和發展。早在第一屆RISC-V中國峰會之前,基于青稞RISC-V
    的頭像 發表于 06-26 09:52 ?1578次閱讀
    沁恒微電子:從互連互通應用推動<b class='flag-5'>RISC-V</b><b class='flag-5'>落地</b>發展

    智芯公司RISC-V高性能CPU芯片獲得權威認可

    近日,智芯公司自主研發的RISC-V高性能CPU芯片通過工信部直屬中國電子技術標準化研究院賽西實驗室檢測,標志著智芯公司在RISC-V高性能CPU芯片領域取得關鍵突破,自主研發實力獲得
    的頭像 發表于 06-16 17:32 ?1583次閱讀

    大象機器人攜手進迭時空推出 RISC-V 全棧開源六軸機械臂產品

    識別聯調。 進迭時空致力于智能機器人提供完整全棧優化的RISC-V AI軟硬件解決方案,第一代RISC-V AI CPU芯片K1已完成A
    發表于 04-25 17:59

    原來,它們用的都是國產RISC-V芯片

    RISC-V憑借指令集的靈活性與生態的開放性,正在重塑中國芯片創新的范式。作為國產化設備的推動者,ZLG致遠電子的多款設備已采用國產RISC-V芯片,展現了其在推動芯片自主可控方面的積極實踐。前言
    的頭像 發表于 04-02 11:42 ?1290次閱讀
    原來,它們用的都是國產<b class='flag-5'>RISC-V</b>芯片

    AI、數據中心,RISC-V已“上桌”

    應用。 ? 最近超睿科技發布了UR-DP1000高性能桌面級RISC-V CPU,這款CPU擁有8個高性能自研RISC-V處理器核UR-CP100,12nm工藝下工作頻率2.0~2.3
    的頭像 發表于 03-21 00:04 ?2695次閱讀