“嵌入式視覺”這一名詞是指在嵌入式系統(tǒng)中使用計(jì)算機(jī)視覺技術(shù)。換句話說，“嵌入式視覺”是指從視覺輸入中提取出其背后含義的嵌入式系統(tǒng)。與過去10年中無線通信技術(shù)的流行相類似，嵌入式視覺技術(shù)有望在今后10年得到廣泛應(yīng)用。而在實(shí)際的應(yīng)用系統(tǒng)中，嵌入式視覺技術(shù)如何才能發(fā)揮它的真正潛力呢？

　　在缺乏共通標(biāo)準(zhǔn)而使嵌入式視覺技術(shù)發(fā)展受阻之際，需要一種兼容各層面功能的標(biāo)準(zhǔn)，才能真正開啟并普及嵌入式視覺應(yīng)用。例如，如果基于手勢的用戶介面變得普及，對于用戶而言，能夠使用一套具有多種不同機(jī)制的通用手勢功能將會(huì)變得十分重要。而如果3D成像成為視覺應(yīng)用的共同工具，那么不管使用什么樣的傳感器，我們都將必須為視覺應(yīng)用找到一個(gè)重現(xiàn)3D圖形數(shù)據(jù)的共同方式。

　　而對于嵌入式視覺系統(tǒng)所用的處理器，視覺演算法與應(yīng)用大大地延伸了處理器性能要求的范圍，就運(yùn)算能力的這一點(diǎn)而言，處理器的性能至關(guān)重要。但當(dāng)你跨越學(xué)術(shù)研究到實(shí)際系統(tǒng)的鴻溝，采用先進(jìn)演算法以即時(shí)執(zhí)行視頻輸入時(shí)，卻不可避免地會(huì)消耗掉許多的處理功率。在許多嵌入式系統(tǒng)中，設(shè)計(jì)人員面臨著尺寸、功耗與成本等嚴(yán)苛的限制條件，因此，能夠以低成本與低功耗提供充份的處理能力是至關(guān)重要的。

　　而在其它一些要求大量運(yùn)算的嵌入式處理領(lǐng)域──如隨即浮現(xiàn)于我腦海中的消費(fèi)性視頻設(shè)備──在某種程度上而言，演算法是標(biāo)準(zhǔn)化的。這意味著芯片設(shè)計(jì)人員可以使用功能固定的硬件加速器和協(xié)同處理器，以低功耗和低成本提供大量的處理器運(yùn)算性能。

　　但在視覺應(yīng)用方面，不同的應(yīng)用之間往往采用不同的演算法，甚至是在同一款應(yīng)用中，所用的演算法也可能因設(shè)計(jì)不同或時(shí)間不同而異。因此，除了極其少數(shù)的一些大量應(yīng)用以外，功能固定的硬件往往無法作為解決方案。在嵌入式視覺系統(tǒng)中，我們需要的處理器必須能夠以低成本與低功耗，提供每秒數(shù)十億次即時(shí)運(yùn)算處理性能，并具有彈性化的可編程性能。過去幾年來，已經(jīng)有這樣的處理器問世，并可協(xié)助嵌入式視覺技術(shù)進(jìn)一步導(dǎo)入主流應(yīng)用中。

　　處理器類別的選擇

　　視覺算法通常需要很強(qiáng)的計(jì)算能力。當(dāng)然，所有的嵌入式系統(tǒng)一般都受限于嚴(yán)格的成本和功耗要求。在其他DSP應(yīng)用領(lǐng)域，例如，數(shù)字無線通信等，芯片設(shè)計(jì)人員使用專用協(xié)處理器和加速器來完成應(yīng)用所要求的苛刻的處理任務(wù)，同時(shí)滿足了高性能、低成本和低功耗需求，從而解決了這一難題。但是，芯片用戶一般不能對這些協(xié)處理器和加速器進(jìn)行編程。

　　無線應(yīng)用通常能夠接受這些優(yōu)缺點(diǎn)，無線應(yīng)用標(biāo)準(zhǔn)意味著不同設(shè)備設(shè)計(jì)人員使用的算法之間有很強(qiáng)的共性。然而在視覺應(yīng)用中，對算法的選擇并沒有標(biāo)準(zhǔn)約束。相反，一般可以選擇很多方法來解決某一特殊的視覺問題。因此，視覺算法是非常多樣的，往往隨著時(shí)間的變化而迅速變化。結(jié)果，與數(shù)字無線和以壓縮技術(shù)為主的消費(fèi)類視頻設(shè)備等應(yīng)用相比，視覺應(yīng)用并不傾向于采用非可編程加速器和協(xié)處理器。

　　但是很難同時(shí)實(shí)現(xiàn)高性能、低成本和低功耗以及可編程功能。專用硬件通常能夠以低成本實(shí)現(xiàn)高性能，但是可編程能力較弱。通用CPU具有可編程能力，但是性能較差，性價(jià)比不高，能效也較低。要求較高的嵌入式視覺應(yīng)用通常結(jié)合使用多個(gè)處理單元，例如，可能會(huì)包括：

　　●通用CPU，用于啟發(fā)式復(fù)雜判決、網(wǎng)絡(luò)訪問、用戶接口、存儲(chǔ)管理和總體控制等。

　　●高性能數(shù)字信號(hào)處理器，用于實(shí)時(shí)中等速率處理，不太復(fù)雜的算法等。

　　●用于簡單算法像素速率處理的一個(gè)或者多個(gè)高度并行的引擎。

　　任何處理器在理論上都可以用于嵌入式視覺，目前最有可能的類型是：

　　●高性能嵌入式CPU

　　●專用標(biāo)準(zhǔn)產(chǎn)品（ASSP）與CPU相結(jié)合

　　●具有CPU的圖形處理單元（GPU）

　　●具有加速器以及CPU的數(shù)字信號(hào)處理器

　　●移動(dòng)“應(yīng)用處理器”

　　●具有CPU的現(xiàn)場可編程門陣列（FPGA）

　　各類處理器，及其在嵌入式視覺應(yīng)用上的關(guān)鍵優(yōu)缺點(diǎn)

　　高性能嵌入式CPU

　　在很多情況下，嵌入式CPU不能提供足夠的性能實(shí)現(xiàn)要求較高的視覺算法——也不能夠以可以接受的價(jià)格或者功耗來滿足性能要求。通常，存儲(chǔ)器帶寬是關(guān)鍵性能瓶頸，因?yàn)橐曈X算法通常使用大量的數(shù)據(jù)，不會(huì)重復(fù)訪問相同的數(shù)據(jù)。嵌入式CPU的存儲(chǔ)器系統(tǒng)無法設(shè)計(jì)適應(yīng)這類數(shù)據(jù)流。然而，與大部分處理器相類似，隨著時(shí)間的推移，嵌入式CPU的性能在逐漸增強(qiáng)，在某些情況下，能夠提供足夠的性能。

　　在可能的情況下，有足夠的理由在CPU上運(yùn)行視覺算法。首先，大部分嵌入式系統(tǒng)需要CPU來實(shí)現(xiàn)各種功能。如果所需要的視覺功能能夠通過這種CPU來實(shí)現(xiàn)，那么，相對于多處理器解決方案相比，這降低了系統(tǒng)的復(fù)雜度。而且，大部分視覺算法一開始是在PC上開發(fā)的，使用了通用CPU及其相關(guān)的軟件開發(fā)工具。PC CPU和嵌入式CPU （及其相關(guān)的工具）之間的相似性意味著，與其他類型的嵌入式視覺處理器相比，一般比較容易在嵌入式CPU上通過嵌入方式實(shí)現(xiàn)視覺算法。最后，嵌入式CPU 使用起來通常比其他類型的嵌入式視覺處理器更簡單，這是因?yàn)槠湎鄬χ庇^的體系結(jié)構(gòu)、成熟的工具以及其他的應(yīng)用開發(fā)基礎(chǔ)支持平臺(tái)等，例如，操作系統(tǒng)。

　　結(jié)合了CPU的ASSP

　　ASSP 是專用、集成度很高的芯片，定制用于特殊應(yīng)用或者專業(yè)應(yīng)用。ASSP可以采用CPU，或者使用單獨(dú)的CPU芯片。憑借專業(yè)化，與其他類型的處理解決方案相比，ASSP通常具有優(yōu)異的成本和能效。在其他技術(shù)中，ASSP通過使用專用協(xié)處理器和加速器來提高效率。而且，由于ASSP主要集中在專業(yè)應(yīng)用上，因此，通常需要大量的應(yīng)用軟件。

　　這種專業(yè)化使得ASSP能夠?qū)崿F(xiàn)很高的效率，但是，也帶來了很大的局限：缺乏靈活性。設(shè)計(jì)用于某一應(yīng)用的 ASSP一般不能用于其他應(yīng)用，甚至目標(biāo)應(yīng)用相關(guān)的應(yīng)用。ASSP使用唯一的體系結(jié)構(gòu)，與其他類型的處理器相比，更難進(jìn)行編程。實(shí)際上，某些ASSP并不支持用戶編程。另一方面的考慮是風(fēng)險(xiǎn)問題。ASSP通常由小供應(yīng)商提供，這可能會(huì)增加難以提供芯片的風(fēng)險(xiǎn)，或者無法提供后續(xù)產(chǎn)品以幫助系統(tǒng)設(shè)計(jì)人員更新其設(shè)計(jì)，設(shè)計(jì)人員不得不從頭開始進(jìn)行設(shè)計(jì)。

　　具有CPU的GPU

　　GPU主要是用于3D圖形，并且越來越多的用于實(shí)現(xiàn)其他功能，例如，視覺應(yīng)用等。目前，個(gè)人計(jì)算機(jī)的GPU傾向于可編程，除了3D圖形還能完成其他功能。這類GPU被稱為“通用GPU”，或者“GPGPU”。 GPU有很強(qiáng)的并行處理能力。它們在個(gè)人計(jì)算機(jī)上是獨(dú)一無二的。可以免費(fèi)使用GPU軟件開發(fā)工具，從GPGPU開始進(jìn)行編程并不是很復(fù)雜。出于這些原因，在PC上第一次開發(fā)其計(jì)算機(jī)視覺算法的開發(fā)人員通常采用GPU作為并行處理引擎，他們出于仿真或者原型開發(fā)的目的，需要加速算法的執(zhí)行。

　　GPU 緊密集成了通用CPU，有時(shí)候是在同一芯片上。然而，GPU芯片的一種局限是目前能夠集成的CPU類型有限，而且支持這類集成的CPU操作系統(tǒng)也很有限。目前，可以提供設(shè)計(jì)用于智能電話和平板電腦等產(chǎn)品的低成本、低功耗GPU。但是，這些GPU一般不是GPGPU，因此，除了3D圖形之外，將其用在其他應(yīng)用中有很大的難度。

　　具有加速器以及CPU的數(shù)字信號(hào)處理器

　　數(shù)字信號(hào)處理器是專門用于信號(hào)處理算法和應(yīng)用的微處理器。對于視覺應(yīng)用核心的信號(hào)處理等任務(wù)，這種專業(yè)化使得數(shù)字信號(hào)處理器的效率要遠(yuǎn)遠(yuǎn)高于通用CPU。而且，與其他類型的并行處理器相比，數(shù)字信號(hào)處理器相對比較成熟，使用起來更方便。

　　但是，雖然數(shù)字信號(hào)處理器在視覺算法上的性能和效率要高于通用CPU，但仍然難以提供足夠的性能來滿足算法要求。出于這一原因，DSP一般需要一個(gè)或者多個(gè)輔助協(xié)處理器。因此，視覺應(yīng)用中一個(gè)典型的DSP芯片包括了CPU、數(shù)字信號(hào)處理器以及多個(gè)協(xié)處理器。這種異質(zhì)結(jié)合能夠產(chǎn)生很好的性能和很高的效率，但也難以編程。實(shí)際上，DSP供應(yīng)商一般不支持用戶對協(xié)處理器進(jìn)行編程；而是讓協(xié)處理器運(yùn)行芯片供應(yīng)商開發(fā)的軟件函數(shù)庫。

　　移動(dòng)“應(yīng)用處理器”

　　移動(dòng)“應(yīng)用處理器”是集成度非常高的芯片系統(tǒng)，一般主要設(shè)計(jì)用于智能電話，而不是其他應(yīng)用。應(yīng)用處理器通常包括高性能CPU內(nèi)核，以及各種特殊的協(xié)處理器，例如，數(shù)字信號(hào)處理器、GPU、視頻處理單元（VPU）、2D圖形處理器，以及圖像采集處理器等。

　　這些芯片專門針對電池供電應(yīng)用進(jìn)行了設(shè)計(jì)，因此，能效非常高。而且，由于圍繞智能電話和平板電腦的應(yīng)用越來越重要，因此，移動(dòng)應(yīng)用處理器一般有很強(qiáng)的軟件開發(fā)基礎(chǔ)支持平臺(tái)，包括，低成本開發(fā)電路板、Linux和Android端口等。然而，正如前面章節(jié)對數(shù)字信號(hào)處理器的討論，應(yīng)用處理器中的專用協(xié)處理器一般不是用戶可編程的，限制了它們在視覺應(yīng)用中的發(fā)展。

　　具有CPU的FPGA

　　FPGA是靈活的邏輯芯片，可以在門級(jí)和模塊級(jí)進(jìn)行重新配置。這一靈活性使得用戶能夠隨時(shí)實(shí)現(xiàn)定制滿足應(yīng)用需求的計(jì)算結(jié)構(gòu)。它還支持選擇滿足應(yīng)用需求的I/O接口和片內(nèi)外設(shè)。能夠定制計(jì)算結(jié)構(gòu)，結(jié)合現(xiàn)代FPGA中大量的資源，同時(shí)實(shí)現(xiàn)了高性能和良好的性價(jià)比和能效比。

　　但是，使用FGPA實(shí)際上是硬件設(shè)計(jì)功能，而不是軟件開發(fā)工作。一般在寄存器傳送級(jí)（RTL）使用硬件描述語言（Verilog或者VHLD）來進(jìn)行 FPGA設(shè)計(jì)，寄存器傳送級(jí)是很低的抽象級(jí)。與使用本文討論的其他類型的處理器相比，這使得FPGA設(shè)計(jì)非常耗時(shí)，成本也高。

　　雖然如此，使用FPGA越來越方便了，這是由多種因素造成的。首先，是所謂的“IP模塊”庫——可重用FPGA設(shè)計(jì)組件庫，其功能越來越強(qiáng)大了。在某些情況下，這些庫能夠直接滿足視覺算法要求。在其他一些應(yīng)用中，它們還支持視頻I/O端口或者掃描線緩沖等功能。而且，F(xiàn)GPA供應(yīng)商及其合作伙伴提供了越來越多的參考設(shè)計(jì)——采用了FPGA的可重用系統(tǒng)設(shè)計(jì)，面向?qū)I(yè)應(yīng)用。最后，利用高級(jí)綜合工具，設(shè)計(jì)人員使用高級(jí)語言，在FPGA中實(shí)現(xiàn)視覺和其他算法，而且效率越來越高。用戶可以在FPGA中實(shí)現(xiàn)性能相對低一些的CPU。而且，在少量的應(yīng)用中，F(xiàn)PGA制造商在器件中集成了高性能CPU。

　　傳感器扮演什么角色？

　　很明顯，圖形傳感器是嵌入式視覺技術(shù)的關(guān)鍵。圖形傳感器在近年來已變得比較不那么昂貴了，這主要可歸功于行動(dòng)電話普遍且大量且地采用了圖形傳感器。除了傳統(tǒng)的圖形傳感器以外，許多視覺應(yīng)用都可以利用各式各樣的傳感器。例如，3D傳感器在微軟Kinect的應(yīng)用即其一例，3D傳感器可說是許多應(yīng)用的一大福音，因?yàn)橛辛?D影像后確實(shí)簡化了一些視覺任務(wù)。

　　在深入探索嵌入式系統(tǒng)以前，必須先具備哪些電腦視覺知識(shí)呢？

　　大多數(shù)的嵌入式系統(tǒng)設(shè)計(jì)工程師并不了解嵌入式視覺技術(shù)具有什么樣的能力。這是因?yàn)椋恢钡阶罱郧埃诖蠖鄶?shù)的嵌入式系統(tǒng)中使用視覺技術(shù)仍不切實(shí)際；它畢竟還是太昂貴了。而今，為一系列廣泛的各種系統(tǒng)進(jìn)一步納入視覺性能，在經(jīng)濟(jì)上已經(jīng)變得較為可行了；因此，對于系統(tǒng)設(shè)計(jì)者而言，熟悉這項(xiàng)技術(shù)、并進(jìn)一步了解這項(xiàng)技術(shù)能做些什么是相當(dāng)重要的。

　　早期采用視覺技術(shù)的工程師們現(xiàn)在已經(jīng)可以拿出一些令人驚喜的新產(chǎn)品和產(chǎn)品功能了。當(dāng)然，工程師們不僅需要了解視覺技術(shù)能做什么，同時(shí)也要學(xué)會(huì)如何把視覺技術(shù)整合于自己的產(chǎn)品中。在這方面，目前雖然已經(jīng)累積了一些龐大的出版文獻(xiàn)可供參考，但其中絕大多數(shù)都是學(xué)術(shù)研究出版品，以及一些通常不適合協(xié)助工程師用于構(gòu)建解決方案的文獻(xiàn)。工程師們需要的是更實(shí)際的資訊，如指導(dǎo)方針、設(shè)計(jì)實(shí)例、架構(gòu)圖以及樣本程式碼等。

　　嵌入式視覺系統(tǒng)開發(fā)平臺(tái)

　　從頭開始打造一款視覺系統(tǒng)或子系統(tǒng)，可說是一項(xiàng)龐大且復(fù)雜的工作。你必須從像影像傳感器與處理器等這一類的基本元素開始，以及從無到有著手建立一種演算法。這對于資源的利用而言，并不是非常有效率的作法，特別是因?yàn)樵谝曈X應(yīng)用中還存在著不斷周而復(fù)始出現(xiàn)的共同問題。

　　工程師們最好不要選擇這種卷土重來的做法，他們應(yīng)該能夠針對特定應(yīng)用的一些共同元素，重新使用業(yè)經(jīng)驗(yàn)證的解決方案，然后再將自己的專才發(fā)揮在其設(shè)計(jì)獨(dú)特之處。我個(gè)人認(rèn)為，這意味著我們需要專門針對視覺應(yīng)用的先進(jìn)開發(fā)平臺(tái)，例如，其中包括開發(fā)板以及合適的處理器、記憶體、I/O和圖形傳感器的視覺開發(fā)平臺(tái)。同時(shí)還伴隨有建置一個(gè)或多個(gè)視覺應(yīng)用案例的應(yīng)用軟件。此外，這一視覺開發(fā)平臺(tái)也提供了源代碼，使工程師們能夠參考這些范例應(yīng)用立即開始工作，并對其設(shè)計(jì)進(jìn)行修改，或添加所需的獨(dú)特功能。

　　這種開發(fā)平臺(tái)還將包括強(qiáng)大的開發(fā)工具，讓工程師們在定義所需的功能時(shí)，能夠作業(yè)于更高的抽象層，無需犧牲太多性能。同時(shí)，完整的開發(fā)平臺(tái)還提供一個(gè)最佳化視覺建構(gòu)功能的豐富工具庫。

　　先進(jìn)的開發(fā)平臺(tái)將帶來莫大助益，以實(shí)現(xiàn)并加速視覺功能的普及。

　　總結(jié)

　　采用嵌入式視覺，業(yè)界進(jìn)入了一種“良性循環(huán)”，這是很多其他DSP應(yīng)用領(lǐng)域的特點(diǎn)。目前雖然很少有專門用于嵌入式視覺應(yīng)用的芯片，但是，這些應(yīng)用越來越多的采用了針對其他應(yīng)用開發(fā)的高性能、高性價(jià)比處理芯片，包括，數(shù)字信號(hào)處理器、CPU、FPGA和GPU等。這些芯片單位成本、單位功率的可編程性能越來越高，因此，能夠支持實(shí)現(xiàn)大批量嵌入式視覺產(chǎn)品。這些大批量應(yīng)用也相應(yīng)的引起了硅片提供商更多的關(guān)注，他們會(huì)提供更好的性能、更高的效率和可編程處理能力。

?