近日，OpenAI的科學家Hyung Won Chung在首爾國立大學的演講中表示，GPT-4即將實現重大突破，并在性能上有顯著跳躍。

他指出，新一代的大型語言模型正處于重大的變革之前，社會需要盡快改變對人工智能的看法。盡管目前市場上的大型模型可能在某些方面表現不佳，但隨著模型規模的擴大，許多原有的結論可能會被推翻。

目前，大型模型由于輸入和輸出的限制存在一些問題，一些人對大型模型的發展表達了一些擔憂。他們擔心大型模型可能會導致信息濫用和誤導，特別是在虛假新聞和深度偽造方面。然而，根據Chung的演講，新一代的GPT可能具備快速自我糾正的能力，可以有效解決這些問題。

Hyung Won Chung表示，他在實驗過程中會記錄失敗的情況。每當有新模型出現時，他會再次運行實驗，查看哪些是成功的，哪些是失敗的，并不斷更新和糾正自己的認知和理解，以適應技術的快速發展。

目前，GPT-3和GPT-4之間仍存在顯著差距，試圖填補當前模型與GPT-4之間的差距可能是不切實際的。

總的來說，Hyung Won Chung認為，最大似然估計的目標函數是達到GPT-4 10000倍規模的瓶頸。使用更多表達能力的神經網絡來學習目標函數將成為下一個更可擴展的范式。隨著計算成本的指數級下降，可擴展的方法最終將取得成功。

編輯：黃飛