計算機視覺是一門研究如何讓計算機達到人類那樣“看”的技術。使用攝像頭和電腦來代替人類完成一些復雜的工作，例如對目標進行分類、識別、分割、跟蹤等，計算機視覺技術已經在很多行業的應用場景中大放異彩。

本文將主要介紹計算機視覺中的幾個重要的研究方向。主要包括圖像分類、目標檢測、語義分割、實例分割、全景分割等。通過對這幾個計算機視覺任務的對比，我們將更好的理解每個視覺任務的含義以及應用場景。我們將通過這張對比圖來對以上的概念進行說明。

一、圖像分類

圖像分類是計算機視覺任務中的一個重要的概念，目標檢測技術的發展之初也主要是通過圖像分類思想來實現的。

圖像分類，顧名思義，即是輸入一張圖像，我們通過算法來輸出這個圖像的類別，例如判斷出這張圖像是貓或者狗。對于經典的Mnist數據集來說，這個數據集包括了0到9共10個數字的手寫體圖片，所以這就是一個典型的圖像多分類問題，即將這些圖片分為0到9共10個類別。傳統的圖像分類的主要步驟是進行特征提取，然后訓練分類器。

2012年，基于神經網絡的AlexNet網絡提出，在2012年的ImageNet競賽中奪得冠軍。之后，更多的更深的神經網絡被提出，比如優秀的vgg、GoogLeNet、ResNet等。

二、目標檢測

目標檢測是對圖像中的目標進行分類和定位，如圖所示，即找出圖像中的三個目標，將其劃分為“羊”這個類別，然后對每一只羊的位置進行定位，用邊界框的形式將其位置標注出來，目標檢測的應用非常廣泛。

目前目標檢測領域的深度學習方法主要分為兩類：兩階段的目標檢測算法、單階段目標檢測算法。兩階段目標檢測是指首先由算法生成一系列作為樣本的候選框，再通過卷積神經網絡進行樣本分類。常見的兩階段算法有R-CNN、Fast R-CNN、Faster R-CNN等。單階段目標檢測算法不需要產生候選框，直接將目標框定位的問題轉化為回歸問題處理。常見的算法有YOLO系列算法、SSD算法等。

三、語義分割

語義分割是一種像素級別的分類，就是把圖像中每個像素賦予一個類別標簽（比如羊、草地等），對比圖中的語義分割沒有對草地和天空進行劃分，只是單純的將每一個像素劃分為：是羊的像素；不是羊的像素。將羊的像素部分用顏色表示出來，我們一般將其稱為二進制掩碼，即一個0-1矩陣，其中羊的像素部分取值為1，不是羊的像素部分，取值為0。于是上述的圖片如果使用語義分割算法進行圖像分割，得到的二進制掩碼如下圖所示：

通過對掩碼的解析，我們就可以知道當前圖像中是否存在羊，以及羊處于什么位置。但是語義分割有一個局限性，比如如果一個像素被標記為橙色，那就代表這個像素所在的位置是一只羊，但是如果有兩個都是橙色的像素，語義分割無法判斷它們是屬于同一只羊還是不同的羊。也就是說語義分割只能判斷類別，無法區分個體。

語義分割中的經典算法為全卷積網絡FCN，通常CNN網絡在卷積層之后會接上若干個全連接層,將卷積層產生的特征圖映射成一個固定長度的特征向量。以AlexNet為代表的經典CNN結構適合于圖像級的分類和回歸任務。與經典的CNN在卷積層之后使用全連接層得到固定長度的特征向量進行分類不同，FCN可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的feature map進行上采樣,使它恢復到輸入圖像相同的尺寸，從而可以對每個像素都產生了一個預測,同時保留了原始輸入圖像中的空間信息,最后在上采樣的特征圖上進行逐像素分類。

語義分割領域中的經典算法有Deeplab系列算法、DFANet、BiseNet、ENet等。

四、實例分割

實例分割算法有點類似于語義分割和目標檢測的結合，不過目標檢測輸出的是邊界框的坐標，實例分割除了輸出邊界框的坐標，還會輸出二進制掩碼。實例分割和語義分割不同，它不需要對每個像素進行標記，它只需要找到感興趣物體的邊緣輪廓就行，實例分割是在像素級識別對象輪廓的任務。比如上圖中的羊就是感興趣的物體。我們可以看到每只羊都是不同的顏色的輪廓，因此我們可以區分出單個個體。

經典的實例分割算法有Mask-RCNN算法、SOLO算法，以及提升速度的YOLACT算法、BlendMask算法等。

五、全景分割

全景分割最先由FAIR與德國海德堡大學聯合提出，其任務是為圖像中每個像素點賦予類別Label和實例ID，生成全局的、統一的分割圖像。全景分割任務要求圖像中的每個像素點都必須被分配給一個語義標簽和一個實例ID。其中，語義標簽指的是物體的類別，而實例ID則對應同類物體的不同編號。全景分割的一個重要的特征在于其對背景也進行了檢測和分割。全景分割可以認為是語義分割和實例分割的結合。

常見的全景分割算法有UPSNet、OANet、EfficientPS等。

計算機視覺任務目前的主要應用場景主要有：人臉識別、自動駕駛、人群計數、視頻監控、文字識別、醫學圖像分割等。其應用領域涉及諸多行業。通過將圖像的分類、識別、分割、跟蹤等技術進行結合，可以在更多的行業場景中發揮作用。

原文標題：常見的計算機視覺任務綜述

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq