0. 這篇文章干了啥？

擴大模型規模一直是近年來在人工智能各個領域取得進展的關鍵驅動因素之一，包括語言建模，圖像和視頻生成等。同樣地，對于視覺理解來說，較大的模型在足夠的預訓練數據的情況下一直顯示出改進。這一趨勢導致追求具有數十億參數的巨型模型成為實現更強大的視覺表示和在下游任務上提升性能的默認策略。

在這項工作中，作者重新考慮了一個問題：獲得更好的視覺理解是否一定需要較大的模型？ 與其擴大模型規模，作者考慮在圖像規模維度上進行縮放，稱之為"尺度縮放"（S2）。通過S2，可以對多個圖像尺度上運行預訓練的并凍結的較小視覺模型（例如，ViT-B 或 ViT-L）以生成多尺度表示。采用一個在單個圖像尺度上進行預訓練的模型，將圖像插值到多個尺度，通過將較大的圖像分割成正常大小（224^2）的子圖像并在每個尺度上分別處理然后匯總和與原始表示中的特征進行連接來提取每個尺度上的特征。

令人驚訝的是，通過對各種預訓練模型的視覺表示（例如，ViT，DINOv2，OpenCLIP，MVP）進行評估，作者發現具有S2縮放的較小模型在分類、語義分割、深度估計、MLLM基準測試和機器人操作方面始終優于較大模型，而且參數數量明顯較少（0.28×至0.07×）并且具有可比較的GFLOPS。值得注意的是，通過將圖像尺度擴大到1008^2，在V?基準測試上實現了MLLM視覺細節理解的最新性能，超過了開源甚至商業的MLLMs如 Gemini Pro和 GPT-4V。

作者進一步研究了S2相對于模型大小縮放的首選縮放方法的條件。發現：雖然在許多情況下具有S2的較小模型比較大模型實現了更好的下游性能，但是在難例上，較大模型仍然可以展現出更好的泛化能力。這引發了對較小模型是否能夠達到與較大模型相同的泛化能力的調查。令人驚訝的是，作者發現較大模型的特征可以通過單一線性變換很好地近似于多尺度較小模型，這意味著較小模型至少應具有與其較大對應物類似的學習能力。作者假設它們較弱的泛化能力源自于僅使用單一圖像尺度進行預訓練。通過在ViT上進行ImageNet-21k預訓練的實驗，作者展示了使用S2縮放進行預訓練可以提高較小模型的泛化能力，使它們能夠達到甚至超越較大模型的優勢。

下面一起來閱讀一下這項工作~

1. 論文信息

2. 摘要

將視覺模型的規模擴大已成為獲取更強大視覺表征的事實標準。在這項工作中，我們討論了更大的視覺模型不再必要的點。首先，我們展示了尺度上的擴展（S2）的力量，在這種情況下，一個預先訓練并凍結的較小的視覺模型（例如ViT-B或ViT-L），在多個圖像尺度上運行，可以在分類、分割、深度估計、多模態LLM（MLLM）基準和機器人操縱方面勝過較大的模型（例如ViT-H或ViT-G）。值得注意的是，S2在對V*基準的MLLM進行詳細理解方面達到了最先進的性能，超過了諸如GPT-4V之類的模型。我們研究了與模型規模比較的情況下S2作為首選尺度方法的條件。盡管較大的模型在困難示例上具有更好的泛化能力，但我們表明較大視覺模型的特征可以很好地由多尺度較小模型的特征近似。這表明，目前大型預訓練模型學到的大部分，如果不是全部，表示也可以從多尺度較小模型中獲得。我們的結果表明，多尺度較小模型具有與較大模型相當的學習能力，并且用S2預訓練較小模型可以達到或甚至超過較大模型的優勢。我們發布了一個Python包，可以用一行代碼將S2應用于任何視覺模型。

3. S2-Wrapper

S2-Wrapper是一種簡單的機制，可以以無參數的方式將任何預訓練的視覺模型擴展到多個圖像尺度。以ViT-B為例，S2-Wrapper首先將輸入圖像插值到不同的尺度（例如，224^2和448^2），并將每個尺度劃分為幾個與默認輸入尺寸相同的子圖像（448^2→4×224^2）。對于每個尺度，所有子圖像都被饋送到同一模型中，并且輸出（例如，4×16^2）被合并成整個圖像的特征圖（32^2）。不同尺度的特征圖被平均池化到原始空間大小（16^2），然后拼接在一起。最終的多尺度特征具有與單尺度特征相同的空間形狀，但具有更高的通道維度（例如，1536 vs. 768）。

4. 實驗

對三個模型（ViT、DINOv2 和 OpenCLIP）和三個任務（ImageNet 分類、語義分割和深度估計）進行 S2 縮放和模型大小縮放的比較。

對于每個模型和每個任務，測試基本、大型和巨型/巨大模型的模型大小縮放（以灰色曲線繪制）。對于 S2 縮放（以綠色曲線繪制），測試三組從單一尺度（1x）到多尺度（最多 3x）的比例，并調整每組比例，使其與相應模型大小的 GFLOPs 匹配。請注意，對于特定的模型和任務，分別在基本模型和大型模型上測試 S2 縮放（以淺綠色和深綠色曲線分別繪制）。可以看到，在（a）、（d）、（e）、（f）、（g）和（i）中，具有 S2 縮放的基本模型已經實現了與具有相似 GFLOPs 但模型尺寸更小的大型模型相媲美或更好的性能。在（b）和（h）中，來自大型模型的 S2 縮放與巨型模型相當，同樣具有相似的 GFLOPs 和更少的參數。唯一的失敗案例是（c），在該案例中，基本模型或大型模型上的 S2 縮放與模型大小縮放無法競爭。

在MLLM上進行S2縮放和模型尺寸縮放的比較。 S2縮放比模型尺寸縮放在所有三類基準上都具有相當或更好的縮放曲線。使用大的圖像尺度通常會提供更好的性能，而使用較大的模型在某些情況下會降低模型的性能。

6. 實驗結果

評估三類模型：(i) 在ImageNet-21k上預訓練的ViT，(ii) 在LAION-2B上預訓練的OpenCLIP，以及(iii) 在ImageNet-1k上預訓練的MAE。重建損失是所有輸出標記的平均值，并在ImageNet-1k上進行評估。結果顯示在表2中。與基本模型相比，觀察到多尺度基本模型始終具有更低的損失，并且重建了更多大模型表示的信息（例如，對于ViT，0.521 vs. 0.440）。更有趣的是，作者發現來自多尺度基本模型的重建信息量通常接近于巨型模型，盡管有時略低但從未明顯超過。例如，雖然OpenCLIP-Base可以重建92.7%的信息，但多尺度基本模型可以重建99.9%。對于其他模型，Base-S2模型的重建比例通常接近100%，但從未超過0.5%。這意味著(i) 巨型/巨大模型確實是特征重建的有效上界，以及(ii) 更大模型的大部分特征也被多尺度較小模型所學習。唯一的例外是當重建OpenCLIP-Huge特征時，重建比例為88.9%。盡管不接近100%，但仍顯著優于基本大小模型，這意味著至少巨型模型特征的一大部分仍是多尺度特征。這些結果暗示具有S2縮放的較小模型應至少具有學習較大模型學習的相似能力水平。另一方面，還注意到訓練集和測試集之間存在差距，即測試集上的重建比例可能低于訓練集（例如，在OpenCLIP-L上為96.3% vs. 99.9%）。作者假設這是因為僅在預訓練后應用多尺度，而僅在單個圖像尺度上預訓練的基本模型特征具有較弱的泛化能力。

對于記憶能力，給定一個數據集（例如ImageNet），將每個圖像視為一個單獨的類別，并訓練模型來對單個圖像進行分類，這要求模型記憶每個圖像。分類損失反映了每個實例被記憶的程度，因此反映了模型的容量。對于訓練損失，作者報告了在ImageNet-1k的訓練集上的分類損失，對于DINOv2和OpenCLIP。較低的損失意味著模型更好地適應訓練數據，這暗示了更大的模型容量。結果如表3所示。對于實例記憶，可以看到具有S2縮放（224^2和448^2）的ViT-B與ViT-L具有相似的損失。對于ImageNet分類，對于OpenCLIP，ViT-B-S2的訓練損失與ViT-L相似，而對于DINOv2，其損失甚至更低。這些結果表明，多尺度較小的模型至少具有與較大模型相當的模型容量。使用S2進行預訓練可以使較小的模型更好。作者評估了基于S2縮放的基礎模型在預訓練期間或預訓練后的ImageNet分類。在ImageNet-21k上對模型進行預訓練，使用ViT圖像分類或DINOv2作為預訓練目標。作者比較了在預訓練期間使用或不使用S2的模型，以及在單尺度基礎模型和大型模型之間的差異。結果如表4所示。可以看到，當基礎模型使用單一圖像尺度進行訓練，并且僅在預訓練后才擴展到多個圖像尺度時，它們的性能與大型模型相比是次優的。然而，當將S2縮放加入到預訓練中時，多尺度基礎模型能夠在ViT上勝過大型模型。對于DINOv2，預先使用S2進行訓練的基礎模型的性能明顯優于沒有S2進行預訓練的基礎模型，并且與大型模型更具可比性。盡管仍然略遜于大型模型，但使用S2預訓練大型模型可能會產生更好的縮放曲線。證明了使用S2預先訓練的較小模型可以匹敵較大模型的優勢。

7. 討論 & 未來工作

在這項工作中，作者提出了一個問題：對于更好的視覺理解，總是需要一個更大的模型嗎？ 作者發現，在圖像規模的維度上進行縮放（稱之為尺度縮放，S2），而不是模型大小通常可以在廣泛的下游任務中獲得更好的性能。作者進一步展示，具有S2的較小模型可以學習到較大模型學到的大部分內容，并且對于較小模型進行S2預訓練可以匹配較大模型的優勢，甚至表現更好。

S2對未來工作有一些影響，包括（i）尺度選擇性處理，即，并不是圖像中每個位置的每個尺度都包含同樣有用的特征，根據圖像內容和高級任務，為每個區域選擇處理某些尺度會更加高效，這類似于人類視覺注意力中的自下而上和自上而下的選擇機制，（ii）單個圖像的并行處理，即，與常規的ViT相比，在S2中每個子圖像都是獨立處理的，這使得單個圖像的不同子圖像可以并行處理，這對于處理單個大圖像的延遲至關重要的情景特別有幫助。

對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~

審核編輯：黃飛

?