電子發燒友網報道（文/黃晶晶）AI大模型襲卷而來，而如何讓終端產品插上AI的翅膀會是芯片廠商研發的方向和市場的機會。如今網絡攝像機作為智慧城市、智能家居等應用的主流終端發展迅速，IPC SoC芯片是其核心之一。最近愛芯元智帶來的兩款IPC SoC新品在黑光全彩處理、適配Transformer大模型等方面表現十分亮眼，愛芯元智副總裁史欣也向媒體分享了公司對IPC SoC高清化、智能化發展的洞察。

兩款IPC SoC：AX630C和AX620Q

愛芯元智帶來的兩款新產品AX630C和AX620Q都搭載了最新的愛芯智眸AI-ISP4.0圖像處理引擎以及愛芯通元4.0高性能、低功耗的NPU引擎。這些技術的升級使得這兩款產品在視頻圖像效果、智能業務處理和分析等方面均達到了業界的領先水平。

愛芯智眸AI-ISP4.0對HDR、去噪、demosaic、銳化、去霧等算法做了升級，在暗光下的噪聲處理、色彩還原、運動拖影、清晰度等方面較上一代產品更優秀，通過AI賦能ISP Pipeline里的關鍵模塊，在各種復雜應用場景中全面提升成像效果，為后期智能處理提供高質量的圖像、視頻素材。

愛芯通元混合精度NPU則通過減少數據搬運，在一定程度上減小了內存墻和功耗墻的阻礙，提高整個NPU的效率，從而在端側邊緣側面積、功耗受限的情況下，以更高的有效算力支持更多的智能算法。

愛芯元智的“真黑光”技術，則是通過愛芯智眸AI-ISP將畫面真實還原，后續再通過NPU進行優化，進行更加準確的圖像處理，在極低照度下獲得超越人眼所見的黑光全彩效果。

AX630C具有高算力的特征，其CPU采用雙核A53@1.2G，配合3.2T@INT8的NPU以及硬化的CV算子模塊，可以對4K圖像進行實時的智能處理，提高客戶智能算法處理的精度和性能。同時，AX630C新一代的NPU引擎支持主流的Transformer網絡如ViT/DeiT/Swin/SwinV2/DETR等，可以解決訓練數據集不足引起的算法精度下降，以及長尾場景下算法的泛化性問題。

據介紹，AX630C是愛芯元智面向智慧城市行業前端IPC市場推出的超高清智能SoC，可支持4K@30fps實時真黑光；AX620Q是愛芯元智面向模組與渠道行業前端IPC市場推出的高清智能SoC，可支持5Mp實時、4K非實時的真黑光。

從細節上看，為了實現黑光全彩的效果，愛芯智眸AI-ISP4.0集中對四個關鍵模塊進行了算法升級。史欣分析，傳統ISP由十幾個模塊組成，在算力足夠大的時候若不考慮成本可以用AI模型去增加每一個模塊。而愛芯元智結合了客戶的痛點需求和成本因素，對pipeline模塊中HDR、3DNR、RLTM、Demosaic等進行了增強，達到了色彩飽和度高、運動圖像無拖尾，以及噪聲、銳化、清晰度等效果的顯著提高。后續，愛芯元智還將針對防抖、3A等模塊進行優化。

這其中的另一個問題是AI的算力消耗，本質上來說盡可能將模塊的精確度提高就能更少的消費算力。史欣舉例說，例如做人臉處理是對整個區域或者部分區域做降噪，消費的算力不一樣。原來在400萬分辨率的情況下需要1T做整個AI-ISP的處理，現在愛芯元智的第三、四代產品已經降到了0.6甚至0.5T，接下來可以做到0.2T就可以完成3DNR降噪的算力消耗，既能降低芯片成本，又可以留出更多的算力讓客戶開發更多可能。

Transformer在智慧城市中的應用

“Transformer應用的一個典型場景是對信息特征的檢索，從最早期的后端處理、服務器處理，算法上云，到目前開始進入算法在邊緣側的部署等等，但始終沒有解決端側部署的問題。大的廠商能夠根據行業應用來適配模型大小，而Transformer興起之后將帶來更多具象化的信息，使得檢索更容易、并縮減檢索的時間。”史欣說道。

愛芯元智能夠幫助客戶把在服務器、云端訓練好的算法在裁剪之后在端側部署。這里既有部署性包括帶寬、功耗、成本等的考慮，也有精度的要求。愛芯元智通過幾年來在NPU和算法工具鏈的迭代，IPC SoC能夠支持算法的快速部署、保證精度，具備端側部署的軟硬件條件。



不僅是Transformer大模型，愛芯元智還在適配國內的DINOv2大模型，愛芯元智依托硬件NPU、軟件算法等技術并與合作伙伴共同推出算法部署國產化。

普惠AI

我們看到愛芯元智有一個非常明確的發展理念，即是普惠AI。AI不應只在云端，更應該讓消費、智慧城市、汽車等各個行業受惠。史欣談到，客戶希望能夠從To G或者To大B的業務部署向To小B，甚至To C的業務上進行部署。即便是家用攝像頭這個普及型消費電子產品，也需要AI-ISP加持，那么更需要像愛芯元智這樣具備軟硬件能力的廠商通過產品技術、性價比等去擁抱市場。

對于AI芯片的發展趨勢，史總給出預判，他認為端側AI的小型化將越來越多的落地，同時其性能要有前瞻性和較高的性價比。同時產品的易用性加強，芯片廠商的方案交付要更簡單。同時除了自身掌握關鍵技術之外，也需要生態合作伙伴做更豐富的算法和軟件，如此才能加快AI的普惠化，助力智能化產業升級。