5月12日,第十三屆松山湖中國IC創新高峰論壇在廣東東莞松山湖凱酒店舉行,本屆活動繼續由中國半導體行業協會IC設計分會(ICCAD)、芯原微電子、松山湖管委會主辦,東莞松山湖集成電路設計服務中心,東莞市生技置業有限公司承辦。電子發燒友網受邀參與活動并作現場報道。
成都視海芯圖微電子有限公司創始人許達文認為,很多AI模型的主干網絡正從CNN轉變為Transformer,Transformer可以解決終端芯片訪存密集型、不規則訪存,以及NPU利用率低的難題。
視海芯圖推出了Transformer加速SoC——SH1580芯片,采用12nm工藝,具備自研NPU、高性能主核、高性能圖像處理的特點。SH1580芯片具備2TOPS@INT8有效算力,在圖像處理方面,支持AI-HDR、3D-ToF圖像處理等。

許達文介紹,SH1580芯片的核心技術為PTPU架構,具備定制電路支持Transformer存儲結構和訪存優化的特點,另外視海芯圖還設計了可重構數據流,同時高效支持CNN和Transformer。
在AR/VR的應用中,為了能夠讓數字世界跟物理世界實現深層次的融合,需要把數字信息映射到物理世界中。這就需要場景識別功能,還需要支持混合性輸入,包括圖像輸入、語音輸入。“特別是圖像輸入這塊,往往要輸入、接收2D、3D圖像。這么復雜的一些場景和算法的話,它就需要一個配套的算法來支撐。”許達文表示。而基于Transformer為架構的模型能夠結束一部分問題。
在AR/VR設備中,SH1580芯片在SLAM中可以做特征點匹配LoFTR、地點識別SVT-Net,另外在AR/VR設備的應用中還能實現語義分割 SegFormer以及三維重建 Point-Bert。傳統CNN算法很難做稀疏紋理匹配,但是Transformer可以做到準確的無紋理特征識別。
值得一提的是,AR/VR設備對于需要有低功耗有著一定的需求。SH1580芯片基于12nm工藝。采用電源與芯片架構,idle功耗為46mW,超低功耗模式可以做到6mW。該產品在AR眼鏡上已有應用案例。
-
Ar
+關注
關注
25文章
5283瀏覽量
176267 -
Transformer
+關注
關注
0文章
156瀏覽量
6937
發布評論請先 登錄
芯科科技助力涂鴉智能推出新一代免編碼AIoT開發平臺
芯海1拖4金屬殼燒錄器按下燒錄按鍵時提示固件升級失敗
芯科科技面向互聯健康設備的無線SoC系列產品介紹
凱芯Cascade pSRAM助力醫療手環性能升級
元視芯四載華章:喬遷煥新啟新程,硬核實力拓芯途
力芯微信號鏈運放系列高性能芯片助力電子設備升級
上揚軟件啟動視涯科技12英寸硅基OLED全自動產線CIM系統項目
睿海光電800G光模塊助力全球AI基建升級
睿海光電以高效交付與廣泛兼容助力AI數據中心800G光模塊升級
芯馳科技與立锜聯合開發車載SoC參考設計
佛瑞亞海拉攜手深藍汽車助力智能汽車產業升級
芯科科技提供低功耗高性能無線SoC和模塊
芯海科技CPW6430:全能型多快充協議Buck-Boost SoC
視海芯圖Transformer加速SoC助力AR/VR設備性能升級
評論