當Transformer模型發布時，它徹底革新了機器翻譯領域。雖然最初是為特定任務設計的，但這種革命性的架構顯示出它可以輕松適應不同的任務。隨后成為了Transformer一個標準，甚至用于它最初設計之外的數據（如圖像和其他序列數據）。

然后人們也開始優化和尋找替代方案，主要是為了減少計算成本（自注意力機制的二次方成本）。關于哪種架構在計算成本方面更優的討論一直在進行，但是對于Transformer來說，它的成功之處在于模型能夠展示出強大的推理能力。

如何分析神經網絡的推理能力？

最常用的方法之一是研究利用架構內部表示能執行哪些算法。有一個完整的領域致力于這項任務：Neural algorithmic reasoning。Transformer是否能進行泛化，或者通過擴展是否能解決一些問題，這些問題仍然懸而未決，并且這方面的研究也十分活躍。有些人認為Transformer具有普適推理能力，而其他人認為它是引領我們走向人工通用智能的架構（假設我們能夠足夠擴展它），但是目前看Transformer能夠在不同的領域，NLP，時間序列，甚至CV中取得良好的成績但是測試其極限也非常重要。我們不僅需要測試它的極限，還需要與其他架構進行比較，并在未來建立基準。在最近的一項研究中，研究人員決定深入研究一個特定的領域:圖神經網絡。今天介紹的這篇論文叫“Understanding Transformer Reasoning Capabilities via Graph Algorithms”

這可能聽起來有些奇怪，但近來Transformer（以及大型語言模型）與圖（Graphs）之間的關系越來越密切。首先，自注意力可以被視為一種圖的形式。其次，圖（尤其是知識圖譜）可以用來擴展Transformer。第三，圖是復雜推理的理想抽象。思維鏈條和其他技術也可以被視為圖的一種抽象。另外許多圖問題可以通過簡單的架構解決，而其他問題則需要復雜的推理和先進的圖神經網絡（GNNs）。

圖計算已經成為過去幾十年計算和人工智能中幾個成功設計的基礎之一，例如用于蛋白質預測的AlphaFold。許多推理任務可以表達為關于圖的推理（這就是為什么像Tree of Thoughts或Graph of Thoughts這樣的技術顯示出成功）。所以這似乎是測試Transformer能力的最佳選擇。盡管有不同的理論前提，但是進行嚴格分析并不容易：圖推理任務可以被歸類到已知的計算類別中。但是當我們想要評估一個神經網絡解決這些任務的能力時，情況就不同了。在Transformer的情況下，我們也感興趣的不僅僅是固定深度的情況，還有通過改變層數從而學習更簡單或更復雜的表征時的變化。并且Transformer也可以在寬度上增長，這在考慮到對上下文長度的重新關注時尤其相關。作者總結了三類任務，它們的難度逐步增加，只能通過越來越復雜的模型來解決：1. 檢索任務。節點計數、邊計數、邊存在檢查和節點度數是只需要一次查找的任務，因此只需要一個Transformer層和一個小型嵌入。2. 可并行化任務。連通性、連接節點和循環檢查（以及更復雜的任務如二分性和平面性）可以用對數深度的Transformer解決。3. 搜索任務。最短路徑和其他需要更多推理的任務需要模型的擴展。

論文中進行了幾項理論分析，展示了Transformer如何解決這些任務以及解決這些任務所需的維度要求。另一個有趣的點是，作者還分析了“pause tokens”的影響。

結果在對Transformer的推理能力進行了實證分析后。他們選擇使用從頭開始訓練的模型（最多60M參數），對預訓練的Transformer（T5，帶11B參數）進行微調，測試提示技術，并將其與圖神經網絡（GNNs）進行比較。使用GraphQA基準任務進行了實驗。

圖推理算法可以分為局部和全局兩種。前者在局部聚合信息（節點及其鄰居），而后者模擬節點之間可能是長距離的全局連接。論文主要專注于全局任務，如評估連通性或計算最短路徑（這些任務需要分析圖的全局結構）。在少數示例情況下，圖神經網絡（GNNs）在這些任務中更為高效，但通過增加示例數量，Transformer的表現更好（Transformer仍然具有弱歸納偏見，需要許多示例才能最好地學習）。對Transformer進行微調也對預訓練的Transformer有積極影響。

以前的研究已經表明，對于圖神經網絡（GNN）來說，以參數效率的方式解決連通性存在限制。微調后的模型似乎對連通性和最短路徑都更有效。雖然Transformer在解決全局任務方面更有效，但GNN在分析局部推理的任務中似乎更為高效：

表明GNN對于學習可以通過專門關注局部啟發式解決的圖推理任務具有有益的歸納偏見。（論文原文翻譯）

在GNN中的消息傳遞框架便于節點與其鄰居之間的信息傳遞（每增加一層相當于圖中的一次跳躍）。相比之下，注意力機制計算每對標記之間的關系，因此它通過全局任務來促進，但在數據量較低的情況下，識別重要的局部關系更為困難。

作者還測試了使用大型語言模型（LLM）的情況，對表現優異的Transformer進行微調優于使用提示方法。盡管在訓練過程中，LLM會在語料庫中看到圖數據，因此并不是完全沒有接觸過此類數據。但這表明在特定任務的情況下專業的小模型還是要更好，并且微調要比直接使用提示的方式好。

總結這篇論文詳細展示了Transformer在圖推理方面的能力，并且涵蓋了不同的參數縮放模式。許多問題可以被重新表述為圖問題，所以這篇論文還是值得閱讀。并且論文還顯示，一些能力的展示需要一定的網絡深度，以便讓Transformer解決問題。例如在需要全局推理的任務中，Transformer超過了圖神經網絡（GNN），這得益于自注意力機制，它允許長距離依賴關系被高效評估。這些發現為使用Transformer處理具有復雜全局依賴性的圖推理任務提供了理論和實證支持。

論文地址：https://arxiv.org/abs/2405.18512
作者：Salvatore Raieli

本文來源：DeepHub IMBA