USB如何一次性解決當前半監督基準存在問題

導讀

微軟亞洲研究院的研究員們聯合西湖大學、東京工業大學、卡內基梅隆大學、馬克斯-普朗克研究所等機構的研究人員們提出了USB：第一個將視覺，語言，和音頻分類任務進行統一的半監督分類學習基準。?

當使用監督學習(Supervised Learning)對大量高質量的標記數據(Labeled Data)進行訓練時，神經網絡模型會產生有競爭力的結果。例如，根據Paperswithcode網站統計，在ImageNet這一百萬量級的數據集上，傳統的監督學習方法可以達到超過88%的準確率。然而，獲取大量有標簽的數據往往費時費力。為了緩解對標注數據的依賴，半監督學習(Semi-supervised Learning/SSL)致力于在僅有少量的標注數據時利用大量無標簽數據(Unlabeled Data)來提升模型的泛化性。半監督學習亦是機器學習的重要主題之一。深度學習之前，這一領域的研究者們提出了諸如半監督支持向量機、熵正則化、協同訓練等經典算法。

深度半監督學習

隨著深度學習的興起，深度半監督學習算法也取得了長足的進步。同時，包括Google、Meta和微軟等在內的科技巨頭也認識到了半監督學習在實際場景中的巨大潛力。例如，Google利用噪聲學生訓練(Noisy student training)這一半監督算法提高了其在搜索方面的性能[1]。當前最具代表性的半監督算法通常對標注數據使用交叉熵損失進行訓練，對無標注數據使用一致性正則技術(Consistency Regularization)鼓勵對輸入擾動進行不變預測。例如，Google在NeurIPS 2020提出的FixMatch算法[2]利用增強錨定(Augmentation Anchoring)和固定閾值(Fixed Thresholding)技術來增強模型對不同強增強數據的泛化性和減少噪聲偽標簽(Noisy Pseudo Labels)的影響。在訓練中，FixMatch過濾了低于用戶指定(user-provided / pre-defined)閾值的無標簽數據。微軟亞洲研究院與東京工業大學等在NeurIPS 2021合作提出的FlexMatch[3]則考慮到了不同類之間的學習難度不同，因此提出了課程偽標簽(Curriculum Pseudo Labeling)技術對于不同類應該采用不同的閾值。具體來說，對于容易學習的類別，模型應該設置高閾值以降低噪聲偽標簽的影響；對于難學習的類，模型應該設置低閾值鼓勵該類的擬合。每個類的學習難度評估取決于落入該類且高于固定值的未標記數據樣本的數量。同時，研究員和這些學校還合作提出了一個統一的基于Pytorch的半監督方法代碼庫TorchSSL[4]，對該領域的深度方法、常用數據集、和基準結果進行了統一的支持。

微軟亞洲研究院聯合東京工業大學等單位提出的FlexMatch算法

當前半監督學習代碼庫存在的問題與挑戰

盡管半監督學習的發展如火如荼，但是，研究員們注意到目前大部分半監督論文只關注計算機視覺 (CV) 分類任務，而其他領域（例如自然語言處理 (NLP)、音頻處理 (Audio)）研究者無法得知這些在CV任務上有效的算法是否依然有效。另外，大部分半監督論文都是由谷歌，微軟等大型機構發表的，學術界的實驗室往往由于計算資源的限制不能一起推動半監督領域的發展。總的來說，半監督學習基準目前存在以下兩個問題：（1）多樣性不足。 現有的半監督學習基準大多局限于計算機視覺 (CV) 分類任務（即 CIFAR-10/100，SVHN，STL-10 和 ImageNet 分類），排除了對自然語言處理 (NLP)、音頻處理 (Audio) 等分類任務的一致和多樣化評估，而在NLP和Audio中缺乏足夠的標記數據也是一個普遍問題。 （2）耗時且對學術界不友好。 現有的半監督學習基準（如TorchSSL）通常是耗時且不環保的，因為它需要通常從頭開始訓練深度神經網絡模型。具體而言，使用 TorchSSL評估FixMatch[1]大約需要300個GPU日。如此高的訓練成本使得許多研究實驗室（尤其是學術界的實驗室或小研究團體）無法負擔得起SSL的相關研究，從而阻礙了SSL的進展。

USB: 任務多樣化和對研究者更友好的新基準庫

微軟亞洲研究院的研究員們聯合西湖大學、東京工業大學、卡內基梅隆大學、馬克斯-普朗克研究所等機構的研究人員們提出了USB：第一個將視覺，語言，和音頻分類任務進行統一的半監督分類學習基準。相比于之前的半監督學習基準(如TorchSSL)只關注少量視覺任務，該論文不僅引入更多樣化的應用領域，還首次利用視覺預訓練模型（Pretrained Vision Transformer）大大縮減了半監督算法的驗證時間（從7000GPU時縮減至900GPU時），使得半監督研究對研究者、特別是小研究團體更友好。USB的相關論文已被國際人工智能頂會NeurIPS 2022接收。此工作由多個單位合作完成：第一作者為王一棟（東京工業大學碩士、微軟亞洲研究院與西湖大學實習生）、陳皓(卡耐基梅隆大學)、范越（馬克斯·普朗克研究所）；通訊作者是來自微軟亞洲研究院的王晉東和來自西湖大學的張岳。其余作者來自清華大學、微軟亞洲工程院、南京大學、奈良先端科學技術大學院大學和北京大學。

USB: 統一的半監督學習框架

USB提供的解決方案

那么，USB如何一次性解決當前半監督基準存在的問題呢？研究員們進行了如下的改進：（1）為增強任務多樣性，USB引入了5個CV 數據集，5個NLP數據集和5個音頻數據集提供了一個多樣化且具有挑戰性的基準，從而能夠對來自不同領域的多個任務進行一致的評估。下表提供了USB與TorchSSL的任務和訓練時間等方面的詳細對比。

（2）為提高訓練效率，研究員們將預訓練的Vision Transformer引入SSL，而不是從頭訓練ResNets。具體而言，研究員們發現在不影響性能的情況下使用預訓練模型可以大大減少訓練迭代次數（例如，將 CV 任務的訓練迭代次數從100萬步減少到20萬步）。（3）為了對研究人員更加友好，研究員們開源實現了14種 SSL算法并開源了一個模塊化代碼庫和相關的配置文件以供研究者輕松再現USB報告中的結果。為了快速上手，USB還提供詳細的文檔和教程。此外，USB還提供pip包以供使用者直接調用SSL算法。研究員們承諾未來會在USB中不斷加入新的算法（例如不平衡半監督算法等）和更多更具挑戰性的數據集。下圖展示了USB中已支持的算法和模塊。