今天來(lái)和大家介紹一下深度估計(jì)涉及到的理論知識(shí)點(diǎn)，包括計(jì)算機(jī)視覺(jué)基礎(chǔ)和深度學(xué)習(xí)基礎(chǔ)。

一、計(jì)算機(jī)視覺(jué)基礎(chǔ)

1.1. 針孔相機(jī)模型

相機(jī)模型，是指采用一個(gè)幾何模型來(lái)描述三維世界中的坐標(biāo)點(diǎn)映射到二維圖像平面的過(guò)程。其中，最簡(jiǎn)單的模型就是針孔相機(jī)模型。 針孔相機(jī)模型中一共涉及到四個(gè)坐標(biāo)系，分別為世界坐標(biāo)系(world)，相機(jī)坐標(biāo)系(camera)，圖像坐標(biāo)系(image)和像素坐標(biāo)系(pixel)。相機(jī)模型描述的就是四個(gè)坐標(biāo)系中間的轉(zhuǎn)換關(guān)系。

為了獲得更好的成像結(jié)果，相機(jī)前方加了透鏡，透鏡的加入會(huì)對(duì)成像過(guò)程中光線的傳播產(chǎn)生新的影響，這種影響我們稱之為畸變。結(jié)合畸變的糾正，我們就可以找到相機(jī)坐標(biāo)系中某點(diǎn)在像素平面上的正確位置。

1.2. 對(duì)極幾何

對(duì)極幾何是研究立體視覺(jué)中重要的理論，描述了兩張圖片之間存在的幾何對(duì)應(yīng)關(guān)系。

本質(zhì)矩陣和基本矩陣就反映了兩個(gè)視圖的對(duì)極幾何約束。如果知道一副圖像中的某個(gè)點(diǎn)和基本矩陣，就能求得另一張圖像上的對(duì)應(yīng)點(diǎn)所在的對(duì)極線，這樣就約束了兩視角下圖像中的空間位置關(guān)系。 我們可以將左右相機(jī)的坐標(biāo)系旋轉(zhuǎn)至在同一平面（共面），并計(jì)算視差圖。

根據(jù)視差，我們就可以估計(jì)像素與相機(jī)之間的距離，也就是深度。

1.3. 圖像重構(gòu)原理

圖像重構(gòu)是圖像領(lǐng)域的重要應(yīng)用，也是3D視覺(jué)中重要的一個(gè)知識(shí)點(diǎn)。在基于深度學(xué)習(xí)的深度估計(jì)方法中，會(huì)采用圖像重構(gòu)損失來(lái)作為其中的約束條件，如自監(jiān)督學(xué)習(xí)方法。常見(jiàn)的方法有兩種，前向warping和反向warping。

正向Warping

反向Warping

二、深度學(xué)習(xí)基礎(chǔ)

2.1. 相關(guān)網(wǎng)絡(luò)模型

在深度估計(jì)中，常用的網(wǎng)絡(luò)模型有ResNet、UNet和Autoencoder。ResNet的思想，是使用恒等映射直接將前一層傳到更深的網(wǎng)絡(luò)層。

UNet是深度估計(jì)中一個(gè)比較常用的網(wǎng)絡(luò)結(jié)構(gòu)，包括下采樣和上采樣過(guò)程。

Autoencoder可以用來(lái)提取圖像的特征，其訓(xùn)練方式是無(wú)監(jiān)督的。

2.2. 深度估計(jì)中的損失函數(shù)

損失函數(shù)是深度學(xué)習(xí)中的重要環(huán)節(jié)，如何設(shè)計(jì)或選擇合適的損失函數(shù)，是深度學(xué)習(xí)的關(guān)鍵。深度估計(jì)中，比較常見(jiàn)的損失函數(shù)有： 1）用于計(jì)算圖像重構(gòu)誤差 / 圖像相似度 2）用于計(jì)算像素梯度的平滑度 3）交叉熵?fù)p失函數(shù)，用于有監(jiān)督學(xué)習(xí)

2.3. 深度估計(jì)的評(píng)價(jià)指標(biāo)

深度估計(jì)的評(píng)價(jià)指標(biāo)有很多，比如AbsRel、SqRel、RMSE等等。

編輯：黃飛

?