導讀

最基礎的半監督學習的概念，給大家一個感性的認識。

半監督學習(SSL)是一種機器學習技術，其中任務是從一個小的帶標簽的數據集和相對較大的未帶標簽的數據中學習得到的。SSL的目標是要比單獨使用有標記數據訓練的監督學習技術得到更好的結果。這是半監督學習系列文章的第1部分，對這個機器學習的重要子領域進行了簡要的介紹。

區分半監督學習，監督學習和無監督學習

整個數據集中可用于訓練的有標記數據的范圍區分了機器學習的這三個相關領域。

監督學習是機器學習中最流行的模式，在這種模式中，可以通過標簽的形式獲得完整的監督。整個數據集都有標記，即一個標簽與訓練數據集中的每個樣本相關聯。機器學習模型使用這個標簽數據集訓練，并期望對新的樣本預測一個標簽。監督學習主要包括兩類任務：分類和回歸。分類問題要求算法預測一個離散值，而回歸任務是需要從輸入變量(X)逼近一個映射函數(f)到連續輸出變量(y)。

手寫數字識別使用(MNIST)數據集。每個樣本都有一個圖像和對應的數字作為標簽。任務是學習從圖像中預測標簽(即數字)。

另一個例子是情感分類，使用IMDB數據集。每條記錄都包含一個評論和一個相應的標簽(正面的或負面的)。這里的任務是預測給定評論的情緒。

房價預測是一個回歸任務，其中標簽(房價)是一個連續變量。

在無監督學習中，沒有標記數據可用。訓練數據集包含樣本，但沒有特定的期望結果或標簽。機器學習模型試圖通過提取有用的特征并對其進行分析來自動地在數據中找到結構。像聚類、異常檢測、關聯等任務屬于無監督學習。

聚類是將數據集劃分為多個簇，使同一簇中的數據點與同一簇中的其他數據點更相似，與其他簇中的數據點不相似。例如，下圖(左)中的數據點可以分成3個簇，如圖(右)所示。注意，簇可以是任何形狀。

半監督式學習(SSL)，正如其名稱所示，介于兩個極端之間(監督式是指整個數據集被標記，而非監督式是指沒有標記)。半監督學習任務具有一個標記和一個未標記的數據集。它使用未標記的數據來獲得對數據結構的更多理解。通常，SSL使用小的帶標簽數據集和較大的未帶標簽數據集來進行學習。

我們的目標是學習一個預測器來預測未來的測試數據，這個預測器比單獨從有標記的訓練數據中學習的預測器更好。

監督學習，半監督學習，無監督學習在標記數據上的差別可視化

為什么要關注半監督學習

在許多實際應用中，收集大的有標簽數據集太昂貴或者不可行，但是有大量的無標簽數據可用。對于這種情況，半監督學習是一個完美的方案。SSL技術可以利用帶標簽的數據，也可以從未帶標簽的數據派生結構，從而更好地解決總體任務。

典型的監督學習算法在標記數據集較小的情況下，容易出現過擬合問題。SSL通過在訓練過程中理解未標記數據的結構來緩解這個問題。

此外，這種學習技術減輕了構建大量標記數據集來學習任務的負擔。SSL方法更接近我們人類的學習方式。

讓我們舉個例子來直觀地看看半監督學習的效果。在下面的圖中，當只對標記數據(大的黑點和白點)進行訓練(即對標記數據進行監督學習)時，決策邊界(虛線)并不遵循數據“流形”的輪廓，這可以由額外的未標記數據(小灰點)來表示。

因此，SSL的目標是利用未標記數據來生成決策邊界，從而更好地反映數據的底層結構。

由不同的半監督學習方法生成的決策邊界

半監督學習的任務舉例

CIFAR-10— 它是由10個類的32×32像素的RGB圖像組成的數據集，任務是圖像分類。通常使用Tiny Images數據集中的隨機圖像來形成未標記數據集。

SVHN— 街景門牌號數據集由真實門牌號的32×32像素的RGB圖像組成，任務是分類最中間的數字。它附帶一個“SVHN-extra”數據集，該數據集由531,131個額外的數字圖像組成，可以用作未標記數據。

Text-Classification Tasks— 亞馬遜評論數據庫，Yelp評論數據集。

總結

半監督學習是一種有趣的方法，用于解決機器學習中缺乏標記數據的問題。SSL算法還利用未標記數據來提高監督學習算法的性能。SSL算法通常提供了一種從無標簽示例中了解數據結構的方法，減輕了對標簽的需求。

本系列的第2部分會介紹了一些具體的SSL技術，未完待續。

責任編輯：xj

原文標題：半監督學習入門基礎（一）

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。