當(dāng)前大模型蓬勃發(fā)展，OpenAI的Sora、ChatGPT、CLIP、DALL-E，Google的Gemini、ViT-22B，Meta的LLaMA3、DINO v2，以及其他國內(nèi)外知名機(jī)構(gòu)的Stable Diffusion、騰訊混元、通用千問、百度文心一言、科大訊飛星火、月之暗面Kimi等，共同塑造了AI技術(shù)的新生態(tài)。這些多模態(tài)大模型憑借其強(qiáng)大的多種數(shù)據(jù)處理能力，不僅能夠駕馭文本、圖像、音頻、視頻等常規(guī)數(shù)據(jù)類型，還展現(xiàn)出對時間序列、紅外、超光譜、X射線等特殊模態(tài)的融合創(chuàng)新，為智能體驗(yàn)帶來了質(zhì)的飛躍。

在此背景下，攝像頭成為連接實(shí)體世界與數(shù)字世界的關(guān)鍵紐帶，在諸多領(lǐng)域中激發(fā)了攝像頭應(yīng)用的無限潛能：從智慧城市到智能駕駛，從工業(yè)監(jiān)控到醫(yī)療影像……在人工智能、計算機(jī)視覺和深度學(xué)習(xí)等技術(shù)的驅(qū)動下，攝像頭技術(shù)正迎來全景、多維度、智能化的黃金發(fā)展期。

近日，在北京正印科技有限公司舉辦的光學(xué)成像質(zhì)量技術(shù)研討會上，愛芯元智智慧IoT事業(yè)部產(chǎn)品副總裁吳煒受邀發(fā)表《愛芯元智AX650N 讓視覺更智能》的主題演講，深度解析邊端側(cè)智能SoC——AX650N，以其卓越性能與技術(shù)創(chuàng)新，為攝像頭賦予更強(qiáng)大、更智能的視覺處理能力，助力不同行業(yè)領(lǐng)域的領(lǐng)先發(fā)展。

近幾年來，隨著邊緣計算需求的激增，市場對邊端側(cè)SoC的功能與功耗成本如何做平衡提出了極高的要求，不僅需要SoC具備大算力、高帶寬、接口豐富，還要嚴(yán)格控制低功耗，成本效益顯著。因此，愛芯元智匠心打造出一款高算力，低功耗的智能SoC芯片——AX650N，為攝像頭智能化提供最佳澎湃動力。

AX650N

AX650N：全能配置 最適合邊端側(cè)的智能SoC

AX650N搭載三核NPU，支持Transformer架構(gòu)，輔以雙核VDSP，賦予其強(qiáng)大的深度學(xué)習(xí)處理能力，能夠輕松應(yīng)對各類復(fù)雜視覺任務(wù)。此外，該SoC具備豐富的接口配置，支持HDMI輸出、PCIe、SATA等，確保與各類設(shè)備的無縫對接。在編解碼方面，AX650N支持高達(dá)8K30fps的編碼和8K60fps的解碼，而且可以同時并行對32路1080p30fps視頻解碼，為多路高清視頻應(yīng)用提供了強(qiáng)大后盾。而典型功耗僅4W，可采用被動散熱設(shè)計，甚至可以直接使用PoE供電，確保了產(chǎn)品可以在緊湊空間內(nèi)穩(wěn)定、高效運(yùn)行。

在NPU方面，AX650N采用全自研創(chuàng)新架構(gòu)，將應(yīng)用、算法與芯片深度協(xié)同設(shè)計，針對特定場景進(jìn)行深入優(yōu)化，使愛芯通元NPU性能更突出，實(shí)現(xiàn)卓越能效比；另外，AX650N除了高效率支持CNN，還原生支持Transformer，適配以文搜圖大模型CLIP、開集目標(biāo)檢測大模型OWL-ViT、以及SAM+lama等模型，讓圖像搜索更便捷，目標(biāo)識別更精準(zhǔn)，甚至讓用戶輕松掌握專業(yè)級圖像處理技能。

AX650N在Transformer（SwinT）模型上的性能表現(xiàn)遙遙領(lǐng)先，CNN主流網(wǎng)絡(luò)性能同樣顯著超越同儕

為了方便用戶更便捷地使用各種算法，愛芯元智還內(nèi)置了自研AI算法，包括人形檢測、車形檢測、車牌檢測、非機(jī)動車檢測等，精準(zhǔn)識別各類目標(biāo)。除此之外，愛芯元智積極與算法生態(tài)伙伴合作，適配了12大類，超過200個細(xì)分領(lǐng)域算法，確保AX650N在各類項(xiàng)目中的快速部署與無縫應(yīng)用，形成涵蓋智慧園區(qū)、智慧商業(yè)、智慧電力、智慧交通、智慧體測、智慧生態(tài)、智慧工地等眾多場景的行業(yè)的完整解決方案。

AX650N憑借豐富的接口，高能耗比，助力多種產(chǎn)品形態(tài)，包括高算力、低功耗、小封裝的智能卡；高算力、多路解碼、接口豐富的智能盒；支持44、HDR10、BT.2020色域、超低延遲的分布式坐席。

愛芯元智智慧IoT事業(yè)部產(chǎn)品負(fù)責(zé)人盧志洪介紹，隨著人工智能的落地，NPU作為關(guān)鍵載體，正驅(qū)動各行各業(yè)發(fā)生顛覆性革新。在傳統(tǒng)醫(yī)療領(lǐng)域，愛芯元智以AX650N為核心，開發(fā)了一系列涵蓋單攝、雙攝以及工業(yè)內(nèi)窺鏡類的完整解決方案，通過深度融合AI技術(shù)與NPU算力，實(shí)現(xiàn)了從影像采集、智能解讀到?jīng)Q策支持的全流程智能化升級，為現(xiàn)代醫(yī)療開啟了“智慧之眼”，鋪就通往精準(zhǔn)、高效診療的新里程。

01

AI-ISP與圖像識別技術(shù)提升醫(yī)療成像質(zhì)量，如AI防抖、AI星光全彩、AI HDR、AI多光譜融合、AI場景增強(qiáng)及多傳感器融合，確保優(yōu)異視覺效果。

02

混合精度算力快速解析CT、MRI、X光等影像，精準(zhǔn)識別腫瘤、骨折、血管病變，大幅提升診斷準(zhǔn)確率與效率。

03

NPU加速深度學(xué)習(xí)模型（如卷積神經(jīng)網(wǎng)絡(luò)，CNN），實(shí)時分析影像，產(chǎn)出高精度分割圖、病灶標(biāo)記與診斷建議。

04

實(shí)現(xiàn)二維影像到三維模型轉(zhuǎn)化，助力醫(yī)生進(jìn)行空間定位、手術(shù)規(guī)劃及復(fù)雜結(jié)構(gòu)可視化。

05

通過加速人工智能算法的運(yùn)行，提高醫(yī)療數(shù)據(jù)處理效率與準(zhǔn)確性，支撐診斷、治療、預(yù)防、管理等環(huán)節(jié)，推動精準(zhǔn)醫(yī)療與智能化服務(wù)。

AX650N從技術(shù)上展現(xiàn)了愛芯元智對自研技術(shù)的升級突破，在實(shí)際應(yīng)用中也證明了智能視覺芯片的領(lǐng)先地位。未來，愛芯元智將繼續(xù)推進(jìn)技術(shù)創(chuàng)新，通過與各類生態(tài)合作伙伴的共同開發(fā)，AX650N會在更多智能化場景中大放異彩，推動物理世界數(shù)字化、智能化的發(fā)展。

審核編輯：劉清