視覺處理技術(shù)一直是大家關(guān)注的熱點(diǎn)領(lǐng)域。在最近的Linley Processor Conference上一致的認(rèn)為，隨著視覺傳感器收集的數(shù)據(jù)越來越多，以及模型的復(fù)雜，對(duì)硬件提出了更高的要求，處理必須實(shí)時(shí)完成，同時(shí)消耗的電量必須更低。本文只是就視覺處理芯片的ISP（Image Signal Processing）和CV（Compute Vision）兩部分進(jìn)行介紹。

ISP的主要功能包括AE（自動(dòng)曝光）、AF（自動(dòng)對(duì)焦）、AWB（自動(dòng)白平衡）、去除圖像噪聲、LSC(Lens Shading Correction)、BPC(Bad PixelCorrection)，最后把Raw Data保存起來，傳給videocodec或CV等。通過ISP可以得到更好的圖像效果，因此在智能手機(jī)特別是在高端手機(jī)上對(duì)ISP的要求很高，比如開始集成雙通道甚至三通道的ISP。一般來說ISP是集成在AP里面（對(duì)很多AP芯片廠商來說，這是差異化競爭的關(guān)鍵部分），但是隨著需求的變化也出現(xiàn)了獨(dú)立的ISP，主要原因是可以更靈活的配置，同時(shí)彌補(bǔ)及配合AP芯片內(nèi)ISP功能的不足。如采用Socionext，Altek，X-Chip、RK等公司的，如下圖結(jié)構(gòu)。

Rockchip的RK1608 Pre-ISP芯片，集成了2顆600MHZ主頻的CEVA-XM4，采用256MB內(nèi)存，支持3路輸入2路輸出，或4路輸入1路輸出。配合第三方的算法，可以實(shí)現(xiàn)拍照和錄像時(shí)的暗光增強(qiáng)，HDR（高動(dòng)態(tài)范圍圖像），電子防抖，多幀降噪等預(yù)處理等。據(jù)RK的CMO在演講中提到其在HDR上的性能媲美Google的pixel Visual Core。其實(shí)RK早先推出過圖像處理SoC芯片RK1108，同樣內(nèi)嵌CEVAXM4@600MHZ，同時(shí)帶video codec，多功能語音處理能力，可見RK在視覺領(lǐng)域其實(shí)也算布局已久。

而CV是指對(duì)得到的圖像進(jìn)行目標(biāo)識(shí)別、跟蹤、測量等視覺行動(dòng)。上文提到的Pixel Visual Core芯片是谷歌收購的一家公司的產(chǎn)品，被應(yīng)用在谷歌Pixel2和Pixel2 XL手機(jī)上，作為協(xié)處理器配合高通驍龍835芯片。該芯片的核心是8核IPU（ImageProcessing Unit圖像處理單元），每個(gè)IPU 都有512算術(shù)邏輯單元（ALU）。除了通過用Halide來進(jìn)行圖像處理，用TensorFlow處理機(jī)器學(xué)習(xí)，Google還做了一個(gè)編譯器，來優(yōu)化硬件代碼，Google使得IPU的功能一場的強(qiáng)大?？梢娫撔酒闹饕δ芷鋵?shí)是CV。同樣海思Kirin 970和AppleA11主芯片內(nèi)也嵌有CV模塊。

在ISP和CV上不得不提的是眾多的芯片IP廠商，IP廠商的出現(xiàn)降低了芯片廠商的開發(fā)門檻，但同時(shí)也有可能帶來同質(zhì)化的后果。目前在視覺處理芯片上最成功的IP廠商要數(shù)CEVA了，如在上圖中看到的CEVA的DSP XM系列 在Pre ISP，ISP及Post ISP上的應(yīng)用，同時(shí)也推出了用于CV的DNN加速軟硬件環(huán)境。自從高通的Hexagon DSP在深度學(xué)習(xí)上的應(yīng)用，普遍的看法是DSP加深度學(xué)習(xí)的HW Accelerator，在嵌入式視覺上應(yīng)用會(huì)更高效。CEVA-XM與CNN硬件加速器（最高可512個(gè)MAC單元）搭配使用，可實(shí)現(xiàn)Vision DSP和HW CNN的高效運(yùn)行，目前已經(jīng)有大量的公司采用CEVA的IP開發(fā)ISP及CV的芯片。

Synopsys開發(fā)的EV6x Embedded Vision Processor采用的方式類似，它可以將1到4個(gè)CPU核與CNN Engine結(jié)合。CNN Engine的MACs數(shù)量可以從880增加到1760再到3520個(gè)，用臺(tái)積電16納米制造芯片，頻率1.28GHz，芯片的總MACs最高可以達(dá)到4.5萬億（相當(dāng)于9 teraflops的性能）。

Cadence的Tensilica也推出了基于ISP和CV的DSP。Vision C5是一個(gè)神經(jīng)網(wǎng)絡(luò)DSP（NNDSP，數(shù)字信息處理器），它在一個(gè)內(nèi)核內(nèi)處理神經(jīng)網(wǎng)絡(luò)層，網(wǎng)絡(luò)層擁有1024個(gè)8位和512個(gè)16位MACs，每平方毫米芯片面積每秒可以完成1萬億次MACs（一個(gè)機(jī)器指令周期能實(shí)現(xiàn)乘加運(yùn)算）運(yùn)算。Vision C5有很強(qiáng)的擴(kuò)展性，內(nèi)核可以增加到任意數(shù)量，擁有更強(qiáng)的性能，可以編程。Vision C5是用臺(tái)積電16納米制程制造的，頻率690MHz，與商用GPU相比，它能讓AlexNet的運(yùn)行速度提高6倍，讓Inception V3提高9倍，讓ResNet50提高4.5倍。

而全球最大的IP公司ARM由于側(cè)重于移動(dòng)端的CPU和GPUIP，在DSP上的布局稍慢。當(dāng)然由于ISP對(duì)移動(dòng)端來說至關(guān)重要，ARM也不會(huì)錯(cuò)過。通過收購Apical獲得了ISP的Know How，三星某款型號(hào)芯片上采用了該技術(shù)。但目前來看ISP與Video Codec的協(xié)同會(huì)更多，在嵌入式CV上的布局有待進(jìn)一步確認(rèn)。

目前從視覺處理器SoC芯片產(chǎn)品來說，最知名的公司莫過于Movidius了，該公司已被Intel收購。Movidius的Myriad2VPU在很多領(lǐng)域被廣泛采用，包括大疆無人機(jī)，安防的?？岛痛笕A，以及在VR/AR等領(lǐng)域，實(shí)現(xiàn)圖像拼接、識(shí)別等AI功能。該款VPU采用12個(gè)SHAVE 128位SIMD矢量單元，適合低功耗高性能下的視覺和圖像算法，同時(shí)在Computational Imaging Hardware Accelerators部分集成了20多種圖形圖像的硬件加速算法，該芯片的時(shí)鐘只有300-600MHz，因此對(duì)于功率的要求很低。

另一家出名的3D深度及計(jì)算視覺芯片公司要數(shù)Inuitive（可用于AR/VR/MR等）了。其產(chǎn)品NU3000是谷歌Project Tango生態(tài)系統(tǒng)的一部分。開發(fā)人員能夠利用它來助力需要實(shí)時(shí)深度圖生成、映射、定位、導(dǎo)航和其它復(fù)雜信息處理算法的應(yīng)用。該芯片包含的功能強(qiáng)大，包含了Vision/Deep Learning Processor、ComputerVision Accelerators、Depth Processing Engine、Vision Processor等。需要指出的是，從應(yīng)用來看，Movidius和Inutive的芯片是為AI相關(guān)應(yīng)用而設(shè)計(jì)的，對(duì)畫質(zhì)的要求不需要那么高，ISP部分應(yīng)該做了簡化。