2024年6月14日，一場人工智能領(lǐng)域的頂級盛宴——“2024北京智源大會”，在享譽全球的中關(guān)村展示中心拉開了帷幕。這場會議引起了廣泛關(guān)注，各路英豪齊聚一堂，聚焦于大模型在人工智能領(lǐng)域的未來發(fā)展趨勢及相關(guān)重要議題進行深入探討與交流。其中，零一萬物首席執(zhí)行官李開復(fù)先生，以及清華大學(xué)智能產(chǎn)業(yè)研究院院長張亞勤教授，共同擔(dān)任本次大會的主持人，他們的觀點和見解無疑為我們揭示了大模型在人工智能領(lǐng)域取得巨大成功背后的深層原因，同時也指出了大模型在發(fā)展過程中所面臨的諸多挑戰(zhàn)和難題。

李開復(fù)先生在會上表示，人工智能2.0是人類歷史上最為偉大的科技革命之一，也是一次前所未有的平臺革命。而大模型的崛起，正是得益于這個時代對于大規(guī)模數(shù)據(jù)處理和強大計算能力的需求。隨著計算能力和數(shù)據(jù)量的不斷增長，大模型的智慧也在不斷提升，然而，這只是剛剛開始，我們尚未觸碰到大模型智慧的極限。

然而，大模型在發(fā)展過程中也遇到了一系列挑戰(zhàn)。例如，如果我們過分強調(diào)通過增加計算能力來推動大模型的進步，那么這可能會導(dǎo)致只有擁有大量GPU資源的企業(yè)和國家才能在這場競爭中脫穎而出。然而，值得注意的是，盡管在某些特定場景下，中國的大模型已經(jīng)接近甚至超越了美國的大模型，但這并不意味著我們可以忽視算法和工程創(chuàng)新的協(xié)同推進。

除此之外，大模型還面臨著記憶問題、窗口長度問題、幻覺問題等諸多挑戰(zhàn)。然而，我們應(yīng)該看到，隨著全球眾多優(yōu)秀人才紛紛投身于這個領(lǐng)域，這些問題正在逐漸得到解決。因此，我們對于大模型的未來充滿信心。

張亞勤教授則從大模型的“三個做得好”和“三個需要改進”兩個角度出發(fā)，對大模型的現(xiàn)狀進行了全面分析。他認為，大模型之所以能取得今天的成就，主要得益于規(guī)模定律的實現(xiàn)，以及對海量數(shù)據(jù)的有效利用和算力的大幅提升。同時，當(dāng)前的擴散和轉(zhuǎn)換架構(gòu)也能夠高效地利用算力和數(shù)據(jù)，從而形成了良性循環(huán)。至少在未來五年內(nèi)，大模型仍然將是人工智能產(chǎn)業(yè)發(fā)展的主導(dǎo)方向。

構(gòu)建大模型中，“ Token ”被視為底層基石的構(gòu)成部分。無論是字詞句段、音聲圖像、視頻文件乃至自動化駕駛所依賴的激光雷達信號，亦或是生物學(xué)界探討的蛋白質(zhì)及細胞層面，無一例外地均可轉(zhuǎn)化為一個個獨立且抽象的“ Token ”。這些“ Token ”之間的訓(xùn)練、學(xué)習(xí)以及生成過程，無疑是整個大模型運作的核心所在，其運作模式與人體大腦內(nèi)神經(jīng)元的工作原理頗為相似，無論面臨何種任務(wù)挑戰(zhàn)，其基本運作機制始終保持不變。

如今的大模型，其通用性已不再局限于傳統(tǒng)的文本處理領(lǐng)域，而是已經(jīng)拓展至多模態(tài)領(lǐng)域，甚至具備了生成諸如蛋白質(zhì)這類復(fù)雜結(jié)構(gòu)的能力。更為重要的是，大模型在物理世界（例如具身智能）以及生物世界（例如生物智能）中同樣具有廣闊的應(yīng)用前景。

針對當(dāng)前階段大模型所面臨的主要問題，他指出，首要問題便是效率相對較低。尤其是大模型在計算效率方面的不足，與人類大腦的高效運作形成了鮮明的反差。盡管人類大腦僅由 860 億個神經(jīng)元組成，每個神經(jīng)元又擁有數(shù)千個突觸連接，但其所需能耗僅為 20 瓦，重量更是輕盈到不足三公斤；然而，GPT4 這樣一個擁有萬億參數(shù)的模型，卻需消耗大量的算力和能源，與人類大腦的效率相比，差距高達 1000 倍之巨。除此之外，人類大腦能夠依據(jù)不同情境靈活調(diào)動各個區(qū)域的神經(jīng)元，而大模型在每次接收一個問題時，都需要調(diào)用并激活幾乎所有的參數(shù)。因此，如何借鑒人類大腦的計算策略，以期在降低計算能耗、提升效率方面取得突破性的進展，無疑是一個值得深入研究和探索的方向。

其次，大模型目前尚不能真正理解物理世界，相關(guān)的推理能力、透明度以及幻覺等問題仍然有待進一步深入研究。大模型在生成式表述與對真實世界的描繪之間依然存在著難以調(diào)和的矛盾。因此，我們亟待尋找一種方式，將生成式的概率大模型與現(xiàn)有的“第一性原理”或真實模型、知識圖譜有機地融合起來。他預(yù)測，在未來五年之內(nèi)，一種全新的架構(gòu)有望應(yīng)運而生，這種架構(gòu)有望替代現(xiàn)行的 Transformer 和 Diffusion 模型。

最后，大模型在邊界問題上的表現(xiàn)也不盡如人意。目前，大模型無法明確感知自身的“無知”之處，這正是我們當(dāng)前需要解決的問題，也是大模型所面臨的邊界效應(yīng)。