亚洲aav一区二区三区,欧美激情精品视频一区二区三区,性视频一区二区三区免费

除了模仿人類說話、寫作、寫代碼，大模型還能用來發(fā)現(xiàn)新知識。

作為今年 AI 圈的頂流，大型語言模型（LLM）擅長的是組合概念，并且可以通過閱讀、理解、寫作和編碼來幫助人們解決問題。但它們能發(fā)現(xiàn)全新的知識嗎？

由于 LLM 已被證明存在「幻覺」問題，即生成與事實不符的信息，因此利用 LLM 來做可驗證的正確發(fā)現(xiàn)是一項挑戰(zhàn)。

現(xiàn)在，來自 Google DeepMind 的研究團(tuán)隊提出了一種為數(shù)學(xué)和計算機(jī)科學(xué)問題搜索解決方案的新方法 ——FunSearch。FunSearch 的工作原理是將預(yù)訓(xùn)練的 LLM（以計算機(jī)代碼的形式提供創(chuàng)造性解決方案）與自動「評估器」配對，以防止產(chǎn)生幻覺和錯誤思路。通過在這兩個組件之間來回迭代，最初的解決方案演變成了「新的知識」。相關(guān)論文發(fā)表在《自然》雜志上。

論文地址：https://www.nature.com/articles/s41586-023-06924-6

這項工作是首次利用 LLM 在科學(xué)或數(shù)學(xué)的挑戰(zhàn)性開放問題方面取得新發(fā)現(xiàn)。

FunSearch 發(fā)現(xiàn)了 cap set 問題的全新解決方案，這是數(shù)學(xué)中一個長期存在的開放問題。此外，為了展示 FunSearch 的實際用途，DeepMind 還用它來發(fā)現(xiàn)更有效的算法來解決「裝箱」問題，該問題應(yīng)用廣泛，比如可以用于提高數(shù)據(jù)中心的效率。

研究團(tuán)隊認(rèn)為 FunSearch 將成為一個特別強(qiáng)大的科學(xué)工具，因為它輸出的程序揭示了其解決方案是如何構(gòu)建的，而不僅僅是解決方案是什么。這將會激發(fā)科學(xué)家的進(jìn)一步見解，從而形成科學(xué)改進(jìn)與發(fā)現(xiàn)的良性循環(huán)。

通過語言模型的進(jìn)化推動發(fā)現(xiàn)

FunSearch 采用由 LLM 支持的進(jìn)化方法，鼓勵并推動得分最高的思路想法。這些想法被表達(dá)成計算機(jī)程序，以便它們可以自動運(yùn)行和評估。

首先，用戶需要以代碼的形式編寫問題的描述。該描述包括評估程序的過程和用于初始化程序池的種子程序。

FunSearch 是一個迭代過程，在每次迭代中，系統(tǒng)都會從當(dāng)前的程序池中選擇一些程序，并將其饋送到 LLM。LLM 創(chuàng)造性地在此基礎(chǔ)上進(jìn)行構(gòu)建，生成新的程序，并自動進(jìn)行評估。最好的程序?qū)⒈惶砑踊噩F(xiàn)有程序庫中，從而創(chuàng)建一個自我改進(jìn)的循環(huán)。FunSearch 使用 Google 的 PaLM 2，但對其他接受過代碼訓(xùn)練的方法兼容。

LLM 會從程序數(shù)據(jù)庫中檢索出生成的最佳程序，并被要求生成一個更好的程序。

眾所周知，在不同領(lǐng)域發(fā)現(xiàn)新的數(shù)學(xué)知識和算法是一項艱巨的任務(wù)，很大程度上超出了當(dāng)前最先進(jìn)人工智能系統(tǒng)的能力。為了讓 FunSearch 做到這一點，該研究引入了多個關(guān)鍵組件。FunSearch 不是從頭開始，而是從關(guān)于問題的常識開始一個進(jìn)化過程，讓 FunSearch 專注于尋找最關(guān)鍵的想法以獲得新的發(fā)現(xiàn)。

此外，F(xiàn)unSearch 的進(jìn)化過程使用一種策略來提高想法的多樣性，以避免出現(xiàn)停滯情況。最后，為了提高系統(tǒng)效率，進(jìn)化過程是并行運(yùn)行的。

在數(shù)學(xué)領(lǐng)域開辟新天地

DeepMind 表示，他們首先要解決的是 Cap set 問題，這是一個開放性難題，幾十年來一直困擾著多個研究領(lǐng)域的數(shù)學(xué)家。知名數(shù)學(xué)家陶哲軒曾把它描述為自己最喜歡的開放性問題。DeepMind 選擇與威斯康星大學(xué)麥迪遜分校的數(shù)學(xué)教授 Jordan Ellenberg 合作，他是 Cap set 問題的重要突破者。

這個問題包括在一個高維網(wǎng)格中找到最大的點集（稱為 cap set），其中沒有三個點位于一條直線上。這個問題之所以重要，是因為它可以作為極值組合學(xué)中其他問題的模型。極值組合學(xué)研究的是數(shù)字、圖或其他對象的集合可能有多大或多小。暴力破解方法無法解決這個問題 —— 要考慮的可能性數(shù)量很快就會超過宇宙中原子的數(shù)量。

FunSearch 以程序形式生成的解決方案在某些情況下發(fā)現(xiàn)了有史以來最大的 cap set。這代表了過去 20 年中 cap set 規(guī)模的最大增長。此外，F(xiàn)unSearch 的性能超過了最先進(jìn)的計算求解器，因為這個問題的規(guī)模遠(yuǎn)遠(yuǎn)超出了它們目前的能力。

交互式圖表顯示了從種子程序（上）到新的高分函數(shù)（下）的演變。每個圓圈都代表一個程序，其大小與分配給它的分?jǐn)?shù)成正比。圖中僅顯示底部程序的上級。FunSearch 為每個節(jié)點生成的相應(yīng)函數(shù)如右側(cè)所示。

這些結(jié)果表明，F(xiàn)unSearch 技術(shù)可以讓人類超越困難組合問題的既定結(jié)果，而在這些問題上很難建立直覺。DeepMind 期望這種方法能夠在組合學(xué)中類似理論問題的新發(fā)現(xiàn)中發(fā)揮作用，并在未來為通信理論等領(lǐng)域帶來新的可能性。

FunSearch 偏好簡潔、可由人類理解的程序

盡管發(fā)現(xiàn)新的數(shù)學(xué)知識本身意義重大，但與傳統(tǒng)的計算機(jī)搜索技術(shù)相比，F(xiàn)unSearch 方法還展現(xiàn)出了其他的優(yōu)勢。這是因為，F(xiàn)unSearch 并不是一個只會生成問題解決方案的黑箱。相反，它生成的程序會描述出這些解決方案是如何得出的。這種「show-your-working」通常是科學(xué)家的工作方式，他們通過闡述產(chǎn)生新發(fā)現(xiàn)或新現(xiàn)象的過程來解釋這些發(fā)現(xiàn)或現(xiàn)象。

FunSearch 更傾向于尋找高度緊湊的程序所代表的解決方案，即具有較低 Kolmogorov 復(fù)雜度的解決方案（Kolmogorov 復(fù)雜度是輸出解的最短計算機(jī)程序的長度）。簡短的程序可以描述非常大的對象，從而使 FunSearch 能夠擴(kuò)展到非常復(fù)雜的問題。此外，這也讓研究人員更容易理解 FunSearch 的程序輸出。Ellenberg 說：「FunSearch 為制定攻擊策略提供了一種全新的機(jī)制。FunSearch 生成的解決方案在概念上要比單純的數(shù)字列表豐富得多。當(dāng)我研究它們時，我學(xué)到了一些東西。」

更重要的是，F(xiàn)unSearch 程序的這種可解釋性可以為研究人員提供可操作的見解。例如，DeepMind 在使用 FunSearch 的過程中注意到，它的一些高分輸出的代碼中存在耐人尋味的對稱性。這讓 DeepMind 對問題有了新的認(rèn)識，他們利用這種認(rèn)識改進(jìn)了引入 FunSearch 的問題，從而找到了更好的解決方案。DeepMind 認(rèn)為，這是人類與 FunSearch 在數(shù)學(xué)領(lǐng)域的許多問題上進(jìn)行合作的典范。

左圖：通過檢查 FunSearch 生成的代碼，DeepMind 獲得了更多可操作的見解（高亮部分）。右圖：使用（更短的）左圖程序構(gòu)造的原始「可接受」集合。

解決一個眾所周知的計算難題

在理論 cap set 問題取得成功的鼓舞下，DeepMind 決定將 FunSearch 應(yīng)用于計算機(jī)科學(xué)中一個重要的實際挑戰(zhàn) —— 裝箱問題（bin packing），以探索它的靈活性。裝箱問題關(guān)注的是如何將不同尺寸的物品打包到最少數(shù)量的箱子中。它是許多現(xiàn)實世界問題的核心，從裝載物品的集裝箱到數(shù)據(jù)中心的計算工作分配，這些場景都需要最大限度地降低成本。

在線裝箱問題通常使用基于人類經(jīng)驗的算法規(guī)則（啟發(fā)式）來解決。但是，要為每種特定情況（大小、時間或容量各不相同）找到一套規(guī)則是非常具有挑戰(zhàn)性的。盡管與 cap set 問題非常不同，但為這個問題設(shè)置 FunSearch 很容易。FunSearch 提供了一個自動定制的程序（適應(yīng)數(shù)據(jù)的具體情況），優(yōu)于現(xiàn)有的啟發(fā)式方法 —— 可以使用更少的箱子來打包相同數(shù)量的物品。

使用現(xiàn)有啟發(fā)式 ——Best-fit 啟發(fā)式（左）和 FunSearch 發(fā)現(xiàn)的啟發(fā)式（右）進(jìn)行裝箱的示例。

像在線裝箱這樣的復(fù)雜組合問題可以使用其他人工智能方法來解決，比如神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)。這些方法也被證明是有效的，但也可能需要大量的資源來部署。另一方面，F(xiàn)unSearch 輸出的代碼易于檢查和部署，這意味著它的解決方案有可能被應(yīng)用到各種現(xiàn)實工業(yè)系統(tǒng)中，從而迅速帶來效益。

DeepMind：用大模型應(yīng)對科學(xué)挑戰(zhàn)將成普遍做法

FunSearch 證明，如果能防止 LLM 產(chǎn)生幻覺，那么這些模型的力量不僅可以用來產(chǎn)生新的數(shù)學(xué)發(fā)現(xiàn)，還可以用來揭示重要現(xiàn)實問題的潛在解決方案。

DeepMind 認(rèn)為，對于科學(xué)和工業(yè)領(lǐng)域的許多問題 —— 無論是長期存在的問題還是新問題 —— 使用 LLM 驅(qū)動的方法生成有效和量身定制的算法將成為普遍做法。

其實，這僅僅是一個開始。隨著 LLM 不斷取得進(jìn)展，F(xiàn)unSearch 也將不斷完善。DeepMind 表示，他們還將努力擴(kuò)展其功能，以應(yīng)對社會上各種緊迫的科學(xué)和工程挑戰(zhàn)。

參考鏈接：https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/

原文標(biāo)題：DeepMind論文登上Nature：困擾數(shù)學(xué)家?guī)资甑碾y題，大模型發(fā)現(xiàn)全新解

文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴