3d視覺測量原理是什么飛行時間（ToF）深度測量法的原理

蘋果公司從iPhone X 的開始引入了3D 深度傳感技術，它便是蘋果 Face ID 功能的基礎。

iPhone X 的 3D 攝像頭采用的是紅外 3D 結構光方案，包含「紅外光源+光學組件+紅外傳感器」等部分，其中最關鍵的部分就是紅外光源。早期 3D 傳感系統一般都使用 LED 作為紅外光源，但是隨著 VCSEL 芯片技術的成熟，在精確度、小型化、低功耗、可靠性等角度全方面占優，因而現在常見的 3D 攝像頭系統一般都采用 VCSEL 作為紅外光源。?

3D視覺測量原理

要談3D視覺應用方案，就必須先弄清楚光學測量分類以及其原理。光學測量分為主動測距法和被動測距法。

主動測距方法的基本思想是利用特定的、人為控制光源和聲源對物體目標進行照射，根據物體表面的反射特性及光學、聲學特性來獲取目標的三維信息。其特點是具有較高的測距精度、抗干擾能力和實時性，具有代表性的主動測距方法有結構光法、飛行時間法、和三角測距法。

1. 主動測距法

（1）結構光法

根據投影光束形態的不同，結構光法又可分為光點式結構光法、光條式結構光法和光面式結構光法等。

目前應用中較廣，且在深度測量中具有明顯優勢的方法是面結構光測量法。面結構光測量將各種模式的面結構投影到被測物體上，例如將分布較密集的均勻光柵投影到被測物體上面，由于被測物體表面凹凸不平，具有不同的深度，所以表面反射回來的光柵條紋會隨著表面不同的深度發生畸變，這個過程可以看作是由物體表面的深度信息對光柵的條紋進行調制。所以被測物體的表面信息也就被調制在反射回來的光柵之中。通過被測物體反射回來的光柵與參考光柵之間的幾何關系，分析得到每一個被測點之間的高度差和深度信息。

結構光的優點是計算簡單，測量精度較高，對于平坦的、無明顯紋理和形狀變化的表面區域都可進行精密的測量。其缺點是對設備和外界光線要求高，造價昂貴。目前，結構光法主要應用在條件良好的室內。

（2）飛行時間法（ToF）

飛行時間（Time of Flight，簡稱ToF）法，又叫做激光雷達（LiDAR）測距法。它將脈沖激光信號投射到物體表面，反射信號沿幾乎相同路徑反向傳至接收器，利用發射和接收脈沖激光信號的時間差可實現被測量表面每個像素的距離測量。

飛行時間（ToF）深度測量法的原理示意圖

ToF直接利用光傳播特性，不需要進行灰度圖像的獲取與分析，因此距離的獲取不受物體表面性質的影響，可快速準確地獲取景物表面完整的三維信息。缺點則是需要較復雜的光電設備，價格偏貴。

（3）三角測距法

三角測距法又稱主動三角法，是基于光學三角原理，根據光源、物體和檢測器三者之間的幾何成像關系來確定空間物體各點的三維坐標。在實際測量過程中，它常用激光作為光源，用CCD相機作為檢測器。這種方式主要用于工業勘探、工件表面粗糙度檢測、輪胎檢測、飛機檢測等工業、航空、軍事領域，在消費電子類產品還不曾涉及。

基于激光三角法測量系統簡圖

2. 被動測距法

被動測距技術不需要人為地設置輻射源，只利用場景在自然光照下的二維圖像來重建景物的三維信息，具有適應性強、實現手段靈活、造價低的優點。但是這種方法是用低維信號來計算高維信號的，所以其使用的算法復雜。被動測距按照使用的視覺傳感器數量可分為單目視覺、雙目立體視覺和多目視覺三大類。

（1）單目視覺

單目視覺是指僅利用一臺照相機拍攝一張相片來進行測量。因僅需要一臺相機，所以該方法的優點是結構簡單、相機標定容易，同時還避免了立體視覺的小視場問題和匹配困難問題。

單目視覺測量示意圖

單目視覺方法又可分聚焦法和離焦法兩類。聚焦法是指首先使相機相對于被測點處于聚焦位置，然后根據透鏡成像公式求得被測點相對于相機的距離。相機偏離聚焦位置會帶來測量誤差，因此尋求精確的聚焦位置是關鍵所在。而離焦法不要求相機相對于被測點處于聚焦位置，而是根據標定出的離焦模型計算被測點相對于相機的距離，這樣就避免了由于尋求精確的聚焦位置而降低測量效率的問題，但離焦模型的準確標定是該方法的主要難點。

（2）雙目立體視覺

雙目立體視覺的基本原理是從兩個視點觀察同一景物，以獲取在不同視角下的感知圖像，然后通過三角測量原理計算圖像像素間的位置偏差（視差）來獲取景物的三維信息。這一過程與人類視覺感知過程是類似的。

雙目立體視覺測量示意圖

在雙目立體視覺系統的硬件結構中，通常采用兩個攝像機作為視覺信號的采集設備，通過雙輸入通道圖像采集卡與計算機連接，把攝像機采集到的模擬信號經過采樣、濾波、強化、模數轉換，最終向計算機提供圖像數據。一個完整的雙目立體視覺系統通?？煞譃閿底謭D像采集、相機標定、圖像預處理與特征提取、圖像校正、立體匹配、三維重建六大部分。

（3）多目立體視覺

多目立體視覺系統是對雙目視覺系統的一種拓展。所謂多目立體視覺系統，就是采用多個攝像機設置于多個視點，或者由一個攝像機從多個視點觀測三維景物的視覺系統。

多目視覺測量示意圖

對多目系統所采集到的景物圖像進行感知、識別和理解的技術被稱為多目立體視覺系統技術。在雙目立體視覺中，對于給定的物體距離，視差與基線長度成正比，基線越長，對距離的計算越精確。但是當基線過長時，需要在相對較大的視覺范圍內進行搜索，從而增加計算量。利用多基線立體匹配是消除誤匹配、提高視差測量準確性的有效方法之?；€數目的增加可以通過增加相機來實現。

光電3D影像技術

根據獲取圖像信息方法的不同，光電3D影像技術分為有源和無源兩種技術，無源技術主要是接受物體的輻射或者環境的發射，有源技術是通過投射一束調制的或未調制的光到物體上通過檢測物體反射的光來形成3D圖像。

以前大多數技術研究集中在無源3D技術上，利用三角測量原理，通過兩臺相距一定距離的照相機，左邊照相機產生的圖像表示深度信息，右邊照相機產生差異的二維圖像。關鍵是產生深度信息的照相機需要分離出深度信息。無源3D影像技術需要拍攝的物體具有突出的輪廓特點，比如邊緣、角、線等。其優點是不需要特殊的硬件條件，并成功使用在好幾個方面。這種技術的缺點是需要兩臺或者更多的高質量的照相機、圖像處理軟件。圖像質量、拍照速度、數據傳輸等都是這種機制能否被廣泛應用的限制因素。

有源3D光電圖像方法是投射一束有規律的空間分布的線狀光到物體上從而產生一個網狀格的深度。廣泛使用的有源光方法是飛行時間(time off light)方法，最近幾年，市場上出現的3D照相機都是基于飛行時間方法，這些3D照相機主要應用于工業控制。SwissRanger3000照相機是最近應用這種技術的產品，通過飛行時間方法檢測相位來實現3D影像。一束幾十兆赫茲被調制的近紅外光照射到物體上，物體反射的光進入3D照相機，由于立體物體的遠近距離不同，反射光的相位存在一個延遲，通過檢測原始光束以及反射光束的相位延遲從而檢測出物體的景深，從而實現3D圖像。這種3D圖像傳感器的制作由ZMD公司完成，ZMD公司根據3D圖像傳感器需要高速的特點從噪聲和速度進行工藝優化，響應速度可以到100MHz以上。

3D視覺圖像傳感器技術

不管是多個照相機形成的3D無源影像技術，還是以飛行時間方為原理的有源3D影像技術，整個系統的價格都很高、功耗大、需要復雜的校正軟件。在有源3D影像技術中可以獲得高精度的3D圖像，但是要求傳感器的工作響應速度很高，在現有技術情況下，不得不降低圖像的分辨率。目前研究3D影像技術主要集中在基于CCD或者CMOS圖像傳感器的3D實現方法、圖像處理和顯示的研究，真正開展視覺傳感器研究的很少。

一種新的3D視覺圖像傳感器技術，可以單芯片實現3D拍照的功能，同時可以輸出2D的影像，并輸出高分辨率的3D圖像。這種圖像傳感器技術并不需要額外的有源光照，通過電子快門控制曝光時間，獲得高速的視頻圖像，通過自動對焦處理，形成景深影像。這種3D傳感器技術很適合于低價格、小型化的視覺應用系統，比如手機等多媒體應用。

該系統由兩部分構成，3DCMOS圖像傳感器以及可變焦的液體鏡頭兩部分構成，其中3DCMOS圖像傳感器集成光電轉變電路、低噪聲讀出電路、噪聲抑制電路、可編程放大電路、模數轉換器電路、曝光控制電路、壞像素糾正電路、彩色空間轉換電路、自動白平衡電路以及多媒體圖像信號處理電路等功能。

圖1是傳統2D與提出的3D拍照圖像傳感器芯片與系統，圖1(a)是傳統2D拍照圖像傳感器芯片與系統，圖中主要包括2DCMOS圖像傳感器芯片和定焦鏡頭，當拍照的時候，物體上所有的像素點都映射到AA'平面上，因此系統拍照得到的是一個2維圖像。圖2(b)是提出的3D拍照圖像傳感器芯片與系統，圖中主要包括3DCMOS圖像傳感器芯片和液體變焦鏡頭。其中3DCMOS圖像傳感器芯片的特點是響應速度快、動態范圍高、具有焦距判斷、輸出控制信號改變液態鏡頭的功能。液態變焦鏡頭是近兩年發展起來的新型變焦鏡頭，通過改變施加在液體上的電壓而改變焦距，比如拍照AA'平面時，液體變焦鏡頭的形狀如圖中的實線所示，如果拍照BB'平面時，液體變焦鏡頭的形狀如圖中的虛線所示，在AA'與BB'平面之間可以拍照多幅圖像，分析這些圖像的輪廓并合成這些圖像的邊緣，就可以得到一幅完整的3D圖像。這種3D拍照圖像傳感器系統具有分辨率高，根據預設拍照的照片個數的多少而得到更精確的景深照片。與傳統的光學變焦鏡頭相比，這種液體變焦鏡頭的優勢是響應快、變焦快，適合于快速變焦的應用場合。

圖2是3DCMOS圖像傳感器芯片的示意圖，圖中的像素單元電路具有靈敏度高、暗電流小、噪聲低等優點，行譯碼電路和列譯碼電路在時序控制電路的控制下產生像素陣列工作的時序，噪聲抑制電路消除信號通路帶來的噪聲，經過模數轉換器將模擬信號轉換為數字信號，并輸給邏輯產生與數字信號處理電路，邏輯產生與數字信號處理電路產生控制信號控制感光陣列的曝光時間，并集成白平衡處理、彩色差值、焦距判斷、輪廓提取等功能。其中模數轉換器是多分辨率的模數轉換器，在拍照2D圖像時輸出10bit的數據，當拍照3D圖像時，僅僅輸出二值化的圖像信息。同時電路可以集成電源管理、鎖相環電路模塊、I2C控制總線，這正是CMOS圖像傳感器的優勢所在(與CCD圖像傳感器相比，CCD不能單芯片集成)。

圖3表示3DCMOS圖像傳感器芯片及系統工作的時序圖，其中長曝光時間拍攝的是正常的2D圖像，后續短曝光拍攝的是景深圖像，從AA'到BB'平面可以連續自動拍照，從而產生合成3D影像的景深圖像。當3DCMOS圖像傳感器芯片工作于2D圖像拍照模式時，模數轉換器輸出10位的數據給數字信號圖像處理模塊，當3D CMOS圖像傳感器芯片工作于3D圖像拍照模式，模數轉換器輸出二值化的圖像信息，因此3D CMOS圖像傳感器芯片可以工作于高速拍照的模式，從而獲得高速視頻信息。

圖4是法國Varioptic公司的液體變焦鏡頭示意圖。液體變焦鏡頭由法國Varioptic發明，其原理是將兩種液體固定在不同的容器中，再它們之間加裝一個金屬電極，電極中間注入導電液體，當施加在電極上的電壓發生改變時，容器中的具有極性的水分子發生漂移，從是兩種液體容器中的液體形狀發生改變，根據變形的程度來改變焦距。最大特色是其具備幾乎是無限寬廣的變焦范圍，更快反映速度及更出色光學性能，可以應用在可拍照手機、數碼相機以及PDA等等設備上。其電壓控制信號由3D CMOS圖像傳感器芯片可編程提供或者自動等間距提供。