作者：Paul O'Sullivan and Nicolas Le Dortz

這是我們飛行時間（ToF）系列的第一篇文章，將概述連續波（CW）CMOS ToF相機系統技術及其相對于機器視覺應用傳統3D成像解決方案的優勢。后續文章將深入探討本文介紹的一些系統級組件，包括照明子系統、光學器件、電源管理和深度處理。

介紹

許多機器視覺應用現在需要高分辨率的3D深度圖像來取代或增強標準2D成像。這些解決方案依靠3D相機提供可靠的深度信息來保證安全，特別是當機器在人類附近操作時。相機還需要在具有挑戰性的環境中運行時提供可靠的深度信息，例如在具有高反射表面的大空間中以及存在其他移動物體的情況下。迄今為止，許多產品都使用低分辨率測距儀類型的解決方案來提供深度信息以增強2D成像。但是，這種方法有很多局限性。對于受益于更高分辨率3D深度信息的應用，CW CMOS ToF相機提供市場上性能最高的解決方案。表 1 更詳細地描述了高分辨率 CW ToF 傳感器技術支持的一些系統功能。這些系統功能還適用于視頻散景、面部認證和測量應用等消費者用例，以及駕駛員警覺性監控和自動車內配置等汽車用例。

連續波CMOS飛行時間相機概述

深度相機是每個像素輸出相機與場景之間距離的相機。測量深度的一種技術是計算光線從相機上的光源傳播到反射表面并返回相機所需的時間。此旅行時間通常稱為飛行時間 （ToF）。

圖1.飛行傳感器技術的連續波時間概述。

ToF相機由幾個元件組成（見圖1），包括：

在近紅外域中發光的光源，例如垂直腔面發射激光器 （VCSEL） 或邊緣發射半導體激光管。最常用的波長是 850 nm 和 940 nm。光源通常是漫射光源（泛光照明），它發出具有一定發散度（也稱為照明場或FOI）的光束，以照亮相機前的場景。

調制光源發出的光強度的激光驅動器。

具有像素陣列的傳感器，用于收集場景中的返回光并輸出每個像素的值。

將回光聚焦在傳感器陣列上的透鏡。

與鏡頭位于同一位置的帶通濾光片，可過濾掉光源波長周圍窄帶寬之外的光。

一種將傳感器的輸出原始幀轉換為深度圖像或點云的處理算法。

可以使用多種方法來調制ToF相機中的光線。一種簡單的方法是使用連續波調制，例如，占空比為50%的方波調制。實際上，激光波形很少是完美的方波，可能看起來更接近正弦波。對于給定的光功率，方形激光波形會產生更好的信噪比，但由于存在高頻諧波，也會引入深度非線性誤差。

CW ToF相機測量時差td通過估計相位偏移φ = 2πft 在發射信號和返回信號之間d在這兩個信號的基本面之間。深度可以從相位偏移（φ）和光速（c）估算，使用：

其中 f國防部是調制頻率。

傳感器中的時鐘發生電路控制互補像素時鐘，這些像素時鐘分別控制兩個電荷存儲元件（抽頭A和抽頭B）中光電荷的積累，以及激光驅動器的激光調制信號。返回調制光的相位可以相對于像素時鐘的相位進行測量（見圖1的右側）。像素中抽頭A和抽頭B之間的差分電荷與返回調制光的強度以及返回調制光相對于像素時鐘的相位成正比。

利用零差檢測原理，使用像素時鐘和激光調制信號之間的多個相對相位進行測量。將這些測量值結合起來，以確定返回調制光信號中基波的相位。了解此階段可以計算光從光源傳播到被觀察對象并返回傳感器像素所需的時間。

高調制頻率的優勢

在實踐中，存在光子散粒噪聲、讀出電路噪聲和多路徑干擾等非理想性，這些都可能導致相位測量誤差。具有高調制頻率可降低這些誤差對深度估計的影響。

通過舉一個簡單的例子，這很容易理解，其中有一個階段錯誤εφ—也就是說，傳感器測量的相位為

。深度誤差為：

因此，深度誤差與調制頻率成反比，f國防部.圖 2 以圖形方式對此進行了說明。

這個簡單的公式在很大程度上解釋了為什么具有高調制頻率的ToF相機比具有較低調制頻率的ToF相機具有更低的深度噪聲和更小的深度誤差。

圖2.相位誤差對距離估計的影響。

使用高調制頻率的一個缺點是相位繞得更快，這意味著可以明確測量的范圍更短。繞過此限制的常用方法是使用以不同速率環繞的多個調制頻率。最低調制頻率提供大范圍，沒有歧義，但深度誤差較大（噪聲、多路徑干擾等），而較高的調制頻率串聯使用以減少深度誤差。圖3顯示了具有三種不同調制頻率的該方案的示例。最終深度估計值是通過對不同調制頻率的未包裝相位估計值進行加權來計算的，較高的權重分配給較高的調制頻率。

圖3.多頻相位展開。

如果以最佳方式選擇每個頻率的權重，則深度噪聲與系統中所選調制頻率的均方根（rms）成反比。對于恒定的深度噪聲預算，增加調制頻率可以減少積分時間或照明功率。

對性能至關重要的其他系統方面

在開發高性能ToF相機時，需要考慮許多系統功能，本文將簡要介紹其中的一些功能。

圖像傳感器

圖像傳感器是ToF相機的關鍵組件。當系統的平均調制頻率增加時，大多數深度估計非理想（例如，偏置、深度噪聲和多徑偽影）的影響會降低。因此，傳感器在高調制頻率（數百MHz）下具有高解調對比度（分離抽頭A和抽頭B之間的光電子的能力）非常重要。傳感器還需要在近紅外波長（例如850nm和940nm）中具有高量子效率（QE），以便在像素中產生光電子所需的光功率更少。最后，低讀出噪聲允許檢測低回波信號（遠反射率或低反射率物體），有助于提高相機的動態范圍。

照明

激光驅動器以高調制頻率調制光源（例如VCSEL）。為了在給定光功率下最大化像素處的有用信號量，光波形需要具有快速的上升和下降時間，并具有干凈的邊緣。照明子系統中激光器、激光驅動器和PCB布局的組合對于實現這一目標至關重要。還需要進行一些表征，以找到最佳的光功率和占空比設置，以最大化調制波形傅里葉變換中基波的幅度。最后，光功率還需要以安全的方式提供，并在激光驅動器和系統級別內置一些安全機制，以確保始終遵守1類眼睛安全限制。

光學

光學器件在ToF相機中起著關鍵作用。ToF相機具有某些獨特的特性，這些特性推動了特殊的光學要求。首先，光源的照明場應與透鏡的視場相匹配，以獲得最佳效率。同樣重要的是，鏡頭本身應該具有高光圈（低f / #），以獲得更好的光收集效率。大光圈可能會導致在漸暈、淺景深和鏡頭設計復雜性方面的其他權衡。低主光線角透鏡設計還有助于降低帶通濾光片帶寬，從而改善環境光抑制，從而提高戶外性能。光學子系統還應針對所需的工作波長（例如，減反射涂層、帶通濾光片設計、透鏡設計）進行優化，以最大限度地提高吞吐量效率并最大限度地減少雜散光。還有許多機械要求，以確保光學對準在最終應用所需的公差范圍內。

電源管理

電源管理在高性能3D ToF相機模塊設計中也至關重要。激光調制和像素調制會產生短脈沖的高峰值電流，這給電源管理解決方案帶來了一些限制。傳感器集成電路（IC）級別的一些特性可以幫助降低成像儀的峰值功耗。還有一些電源管理技術可以應用于系統級別，以幫助降低對電源（例如，電池或USB）的要求。ToF成像器的主要模擬電源通常需要具有良好瞬態響應和低噪聲的穩壓器。

圖4.光學系統架構。

深度處理算法

最后，系統級設計的另一大部分是深度處理算法。ToF圖像傳感器輸出原始像素數據，需要從中提取相位信息。此操作需要不同的步驟，包括噪聲濾波和相位展開。相位展開塊的輸出是光從激光到場景并返回像素的距離的測量值，通常稱為距離或徑向距離。

徑向距離通常轉換為點云信息，點云信息通過其實際坐標（X，Y，Z）表示特定像素的信息。通常，最終應用程序僅使用 Z 圖像映射（深度圖）而不是完整的點云。將徑向距離轉換為點云需要了解鏡頭固有和畸變參數。這些參數是在相機模塊的幾何校準期間估計的。深度處理算法還可以輸出其他信息，例如主動亮度圖像（返回激光信號的幅度）、被動 2D IR 圖像和置信水平，這些信息都可以用于最終應用。深度處理可以在相機模塊本身或系統其他位置的主機處理器上完成。

表 2 概述了本文介紹的不同系統級組件。這些主題將在以后的文章中更詳細地介紹。

結論

飛行相機的連續波時間是一種強大的解決方案，可為需要高質量3D信息的應用提供高精度。要確保實現最佳性能級別，需要考慮許多因素。調制頻率、解調對比度、量子效率和讀出噪聲等因素決定了圖像傳感器級別的性能。其他因素包括系統級考慮因素，包括照明子系統、光學設計、電源管理和深度處理算法。所有這些系統級組件對于實現最高精度的3D ToF相機系統至關重要。這些系統級主題將在后續文章中更詳細地介紹。

審核編輯：郭婷