01

如何理解域適應(yīng)

域適應(yīng)是計(jì)算機(jī)視覺的一個(gè)領(lǐng)域，我們的目標(biāo)是在源數(shù)據(jù)集上訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，并確保在顯著不同于源數(shù)據(jù)集的目標(biāo)數(shù)據(jù)集上也有良好的準(zhǔn)確性。為了更好地理解域適應(yīng)和它的應(yīng)用，讓我們先看看它的一些用例。

我們有很多不同用途的標(biāo)準(zhǔn)數(shù)據(jù)集，比如GTSRB用于交通標(biāo)志識別，LISA和LARA dataset用于交通信號燈檢測，COCO用于目標(biāo)檢測和分割等。然而，如果你想讓神經(jīng)網(wǎng)絡(luò)很好地完成你的任務(wù)，比如識別印度道路上的交通標(biāo)志，那么你必須首先收集印度道路的所有類型的圖像，然后為這些圖像做標(biāo)注，這是一項(xiàng)費(fèi)時(shí)費(fèi)力的任務(wù)。在這里我們可以使用域適應(yīng)，因?yàn)槲覀兛梢栽贕TSRB(源數(shù)據(jù)集)上訓(xùn)練模型，并在我們的印度交通標(biāo)志圖像(目標(biāo)數(shù)據(jù)集)上測試它。

在很多情況下很難收集數(shù)據(jù)集，這些數(shù)據(jù)集具有訓(xùn)練魯棒神經(jīng)網(wǎng)絡(luò)所需的所有變化和多樣性。在這種情況下，在不同的計(jì)算機(jī)視覺算法的幫助下，我們可以生成具有我們需要的所有變化的大型合成數(shù)據(jù)集。然后在合成數(shù)據(jù)集(源數(shù)據(jù)集)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并在真實(shí)數(shù)據(jù)集(目標(biāo)數(shù)據(jù)集)上測試它。

為了更好地理解，我假設(shè)我們對目標(biāo)數(shù)據(jù)集沒有可用的標(biāo)注，但這不是唯一的情況。因此在域適應(yīng)方面，我們的目標(biāo)是在一個(gè)標(biāo)簽可用的數(shù)據(jù)集(源)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并在另一個(gè)標(biāo)簽不可用的數(shù)據(jù)集(目標(biāo))上保證良好的性能。

分類pipeline

現(xiàn)在讓我們看看如何實(shí)現(xiàn)我們的目標(biāo)。考慮以上圖像分類的例子。為了從一個(gè)域適應(yīng)到另一個(gè)域，我們希望我們的分類器能夠很好地從源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集中提取特征。由于我們已經(jīng)在源數(shù)據(jù)集上訓(xùn)練了神經(jīng)網(wǎng)絡(luò)，分類器必須在源數(shù)據(jù)集上表現(xiàn)良好。然而，為了使分類器在目標(biāo)數(shù)據(jù)集上表現(xiàn)良好，我們希望從源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集提取的特征是相似的。因此，在訓(xùn)練時(shí)，我們加強(qiáng)特征提取，為源和目標(biāo)域圖像提取相似的特征。

成功的域適應(yīng)

02

基于目標(biāo)域的域自適應(yīng)類型

根據(jù)目標(biāo)域提供的數(shù)據(jù)類型，域適應(yīng)可分為以下幾類:

監(jiān)督— 你已經(jīng)標(biāo)記了來自目標(biāo)域的數(shù)據(jù)，目標(biāo)域數(shù)據(jù)集的大小比源數(shù)據(jù)集小得多。

半監(jiān)督— 你既有目標(biāo)域的標(biāo)記數(shù)據(jù)也有未標(biāo)記數(shù)據(jù)。

無監(jiān)督的— 你有很多目標(biāo)域的未標(biāo)記樣本。

域適應(yīng)技術(shù)

主要采用三種技術(shù)實(shí)現(xiàn)任意域適應(yīng)算法。以下是域適應(yīng)的三種技術(shù)：

基于分布的域適應(yīng)

基于對抗性的域適應(yīng)

基于重建的域適應(yīng)

現(xiàn)在讓我們逐個(gè)來看每種技術(shù)。

基于分布的域適應(yīng)

基于散度的域適應(yīng)原理是最小化源與目標(biāo)分布之間的散度準(zhǔn)則，從而得到域不變性特征。常用的分布準(zhǔn)則有對比域描述、相關(guān)對齊、最大平均差異(MMD)，Wasserstein等。為了更好地理解這個(gè)算法，讓我們先看看一些不同的分布。在最大平均差異(MMD)中，我們試圖找出給定的兩個(gè)樣本是否屬于相同的分布。我們將兩個(gè)分布之間的距離定義為平均嵌入特征之間的距離。如果我們有兩個(gè)在集合X上的分布P和Q，MMD通過一個(gè)特征映射來定義