在不同的任務上對比了UNet和UNet++以及使用不同的預訓練編碼器的效果。

介紹

語義分割是計算機視覺的一個問題，我們的任務是使用圖像作為輸入，為圖像中的每個像素分配一個類。在語義分割的情況下，我們不關心是否有同一個類的多個實例(對象)，我們只是用它們的類別來標記它們。有多種關于不同計算機視覺問題的介紹課程，但用一張圖片可以總結不同的計算機視覺問題：

語義分割在生物醫學圖像分析中有著廣泛的應用：x射線、MRI掃描、數字病理、顯微鏡、內窺鏡等。https://grand-challenge.org/challenges上有許多不同的有趣和重要的問題有待探索。

從技術角度來看，如果我們考慮語義分割問題，對于N×M×3(假設我們有一個RGB圖像)的圖像，我們希望生成對應的映射N×M×k(其中k是類的數量)。有很多架構可以解決這個問題，但在這里我想談談兩個特定的架構，Unet和Unet++。

有許多關于Unet的評論，它如何永遠地改變了這個領域。它是一個統一的非常清晰的架構，由一個編碼器和一個解碼器組成，前者生成圖像的表示，后者使用該表示來構建分割。每個空間分辨率的兩個映射連接在一起(灰色箭頭)，因此可以將圖像的兩種不同表示組合在一起。并且它成功了！

接下來是使用一個訓練好的編碼器。考慮圖像分類的問題，我們試圖建立一個圖像的特征表示，這樣不同的類在該特征空間可以被分開。我們可以(幾乎)使用任何CNN，并將其作為一個編碼器，從編碼器中獲取特征，并將其提供給我們的解碼器。據我所知，Iglovikov & Shvets 使用了VGG11和resnet34分別為Unet解碼器以生成更好的特征和提高其性能。

Unet++是最近對Unet體系結構的改進，它有多個跳躍連接。

根據論文， Unet++的表現似乎優于原來的Unet。就像在Unet中一樣，這里可以使用多個編碼器(骨干)來為輸入圖像生成強特征。

我應該使用哪個編碼器？

這里我想重點介紹Unet和Unet++，并比較它們使用不同的預訓練編碼器的性能。為此，我選擇使用胸部x光數據集來分割肺部。這是一個二值分割，所以我們應該給每個像素分配一個類為“1”的概率，然后我們可以二值化來制作一個掩碼。首先，讓我們看看數據。

這些是非常大的圖像，通常是2000×2000像素，有很大的mask，從視覺上看，找到肺不是問題。使用segmentation_models_pytorch庫，我們為Unet和Unet++使用100+個不同的預訓練編碼器。我們做了一個快速的pipeline來訓練模型，使用Catalyst (pytorch的另一個庫，這可以幫助你訓練模型，而不必編寫很多無聊的代碼)和Albumentations(幫助你應用不同的圖像轉換)。

1. 定義數據集和增強。我們將調整圖像大小為256×256，并對訓練數據集應用一些大的增強。

importalbumentationsasA
fromtorch.utils.dataimportDataset,DataLoader
fromcollectionsimportOrderedDict

classChestXRayDataset(Dataset):
def__init__(
self,
images,
masks,
transforms):
self.images=images
self.masks=masks
self.transforms=transforms

def__len__(self):
return(len(self.images))

def__getitem__(self,idx):
"""Willloadthemask,getrandomcoordinatesaround/withthemask,
loadtheimagebycoordinates
"""
sample_image=imread(self.images[idx])
iflen(sample_image.shape)==3:
sample_image=sample_image[...,0]
sample_image=np.expand_dims(sample_image,2)/255
sample_mask=imread(self.masks[idx])/255
iflen(sample_mask.shape)==3:
sample_mask=sample_mask[...,0]
augmented=self.transforms(image=sample_image,mask=sample_mask)
sample_image=augmented['image']
sample_mask=augmented['mask']
sample_image=sample_image.transpose(2,0,1)#channelsfirst
sample_mask=np.expand_dims(sample_mask,0)
data={'features':torch.from_numpy(sample_image.copy()).float(),
'mask':torch.from_numpy(sample_mask.copy()).float()}
return(data)

defget_valid_transforms(crop_size=256):
returnA.Compose(
[
A.Resize(crop_size,crop_size),
],
p=1.0)

deflight_training_transforms(crop_size=256):
returnA.Compose([
A.RandomResizedCrop(height=crop_size,width=crop_size),
A.OneOf(
[
A.Transpose(),
A.VerticalFlip(),
A.HorizontalFlip(),
A.RandomRotate90(),
A.NoOp()
],p=1.0),
])

defmedium_training_transforms(crop_size=256):
returnA.Compose([
A.RandomResizedCrop(height=crop_size,width=crop_size),
A.OneOf(
[
A.Transpose(),
A.VerticalFlip(),
A.HorizontalFlip(),
A.RandomRotate90(),
A.NoOp()
],p=1.0),
A.OneOf(
[
A.CoarseDropout(max_holes=16,max_height=16,max_width=16),
A.NoOp()
],p=1.0),
])


defheavy_training_transforms(crop_size=256):
returnA.Compose([
A.RandomResizedCrop(height=crop_size,width=crop_size),
A.OneOf(
[
A.Transpose(),
A.VerticalFlip(),
A.HorizontalFlip(),
A.RandomRotate90(),
A.NoOp()
],p=1.0),
A.ShiftScaleRotate(p=0.75),
A.OneOf(
[
A.CoarseDropout(max_holes=16,max_height=16,max_width=16),
A.NoOp()
],p=1.0),
])

defget_training_trasnforms(transforms_type):
iftransforms_type=='light':
return(light_training_transforms())
eliftransforms_type=='medium':
return(medium_training_transforms())
eliftransforms_type=='heavy':
return(heavy_training_transforms())
else:
raiseNotImplementedError("Notimplementedtransformationconfiguration")

2. 定義模型和損失函數。這里我們使用帶有regnety_004編碼器的Unet++，并使用RAdam + Lookahed優化器使用DICE + BCE損失之和進行訓練。

importtorch
importsegmentation_models_pytorchassmp
importnumpyasnp
importmatplotlib.pyplotasplt
fromcatalystimportdl,metrics,core,contrib,utils
importtorch.nnasnn
fromskimage.ioimportimread
importos
fromsklearn.model_selectionimporttrain_test_split
fromcatalyst.dlimportCriterionCallback,MetricAggregationCallback
encoder='timm-regnety_004'
model=smp.UnetPlusPlus(encoder,classes=1,in_channels=1)
#model.cuda()
learning_rate=5e-3
encoder_learning_rate=5e-3/10
layerwise_params={"encoder*":dict(lr=encoder_learning_rate,weight_decay=0.00003)}
model_params=utils.process_model_params(model,layerwise_params=layerwise_params)
base_optimizer=contrib.nn.RAdam(model_params,lr=learning_rate,weight_decay=0.0003)
optimizer=contrib.nn.Lookahead(base_optimizer)
scheduler=torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer,factor=0.25,patience=10)
criterion={
"dice":DiceLoss(mode='binary'),
"bce":nn.BCEWithLogitsLoss()
}

3. 定義回調函數并訓練！

callbacks=[
#Eachcriterioniscalculatedseparately.
CriterionCallback(
input_key="mask",
prefix="loss_dice",
criterion_key="dice"
),
CriterionCallback(
input_key="mask",
prefix="loss_bce",
criterion_key="bce"
),

#Andonlythenweaggregateeverythingintooneloss.
MetricAggregationCallback(
prefix="loss",
mode="weighted_sum",
metrics={
"loss_dice":1.0,
"loss_bce":0.8
},
),

#metrics
IoUMetricsCallback(
mode='binary',
input_key='mask',
)

]

runner=dl.SupervisedRunner(input_key="features",input_target_key="mask")
runner.train(
model=model,
criterion=criterion,
optimizer=optimizer,
scheduler=scheduler,
loaders=loaders,
callbacks=callbacks,
logdir='../logs/xray_test_log',
num_epochs=100,
main_metric="loss",
minimize_metric=True,
verbose=True,
)

如果我們用不同的編碼器對Unet和Unet++進行驗證，我們可以看到每個訓練模型的驗證質量，并總結如下：

我們注意到的第一件事是，在所有編碼器中，Unet++的性能似乎都比Unet好。當然，有時這種差異并不是很大，我們不能說它們在統計上是否完全不同 —— 我們需要在多個folds上訓練，看看分數分布，單點不能證明任何事情。第二，resnest200e顯示了最高的質量，同時仍然有合理的參數數量。有趣的是，如果我們看看https://paperswithcode.com/task/semantic-segmentation，我們會發現resnest200在一些基準測試中也是SOTA。

好的，但是讓我們用Unet++和Unet使用resnest200e編碼器來比較不同的預測。

在某些個別情況下，Unet++實際上比Unet更糟糕。但總的來說似乎更好一些。

一般來說，對于分割網絡來說，這個數據集看起來是一個容易的任務。讓我們在一個更難的任務上測試Unet++。為此，我使用PanNuke數據集，這是一個帶標注的組織學數據集(205,343個標記核，19種不同的組織類型，5個核類)。數據已經被分割成3個folds。

我們可以使用類似的代碼在這個數據集上訓練Unet++模型，如下所示：

我們在這里看到了相同的模式 - resnest200e編碼器似乎比其他的性能更好。我們可以用兩個不同的模型(最好的是resnest200e編碼器，最差的是regnety_002)來可視化一些例子。

我們可以肯定地說，這個數據集是一項更難的任務 —— 不僅mask不夠精確，而且個別的核被分配到錯誤的類別。然而，使用resnest200e編碼器的Unet++仍然表現很好。

總結

這不是一個全面語義分割的指導，這更多的是一個想法，使用什么來獲得一個堅實的基線。有很多模型、FPN，DeepLabV3, Linknet與Unet有很大的不同，有許多Unet-like架構，例如，使用雙編碼器的Unet，MAnet，PraNet，U2-net — 有很多的型號供你選擇，其中一些可能在你的任務上表現的比較好，但是，一個堅實的基線可以幫助你從正確的方向上開始。