1998 年，一些斯坦福大學(xué)的研究生發(fā)表了一篇論文，描述了一種新型的搜索引擎：“在本文中，我們將會(huì)介紹 Google 這種大型搜索引擎的原型。該原型大量使用了超文本形式的結(jié)構(gòu)。Google 旨在有效地對(duì)萬維網(wǎng)數(shù)據(jù)進(jìn)行檢索和編制索引，并生成比現(xiàn)有系統(tǒng)更令人滿意的搜索結(jié)果。”

該研究的關(guān)鍵創(chuàng)新是一種稱為 PageRank 的算法，該算法通過基于用戶在網(wǎng)絡(luò)上查詢內(nèi)容與網(wǎng)絡(luò)上其他頁面鏈接的相關(guān)性來計(jì)算搜索結(jié)果，并且對(duì)搜索結(jié)果進(jìn)行排序。在 PageRank 的支持下，Google 成為了通往互聯(lián)網(wǎng)的門戶，而謝爾蓋?布林和拉里?佩奇建立了世界上最大的公司之一。

現(xiàn)在，一組 Google 研究人員發(fā)布了一項(xiàng)提議，要求對(duì)引擎進(jìn)行徹底的重新設(shè)計(jì)，從而排除現(xiàn)有排序的方法，并用單一的大型 AI 語言模型（例如 BERT 或 GPT-3，以及它們的未來版本）來代替。

這樣一來，用戶將不再用在龐大的網(wǎng)頁列表中搜索信息，而是通過對(duì)這些頁面上經(jīng)過訓(xùn)練的語言模型提出問題來直接尋找答案。

這種方法不但可以改變搜索引擎的工作方式，而且可以改變它們可以做的事情，以及我們?nèi)绾闻c之互動(dòng)的方式。

即使網(wǎng)絡(luò)的規(guī)模激增，搜索引擎也在變得越來越快，且越來越準(zhǔn)確。現(xiàn)在我們使用 AI 來對(duì)結(jié)果進(jìn)行排序，而 Google 可以通過 BERT 來更好地理解用戶搜索的內(nèi)容。

然而，在這些調(diào)整之下，所有主流搜索引擎的工作方式仍與 20 年前相同：爬蟲將網(wǎng)頁編入索引（可不間斷地讀取網(wǎng)絡(luò)并維護(hù)找到的所有內(nèi)容的列表的軟件），在與用戶查詢相匹配的結(jié)果索引中收集數(shù)據(jù)，然后對(duì)結(jié)果進(jìn)行排序。

唐納德?麥茨勒（Donald Metzler）和他在 Google 研究部的同事寫道：“這種索引檢索然后排序的藍(lán)圖經(jīng)受得住時(shí)間的考驗(yàn)，但也很少受到挑戰(zhàn)或被認(rèn)真地重新考慮一下。”

問題就在于，即使是當(dāng)今最好的搜索引擎，它仍然會(huì)以包含所需信息的文檔列表來進(jìn)行響應(yīng)，而不是包含信息本身。

搜索引擎也并不擅長(zhǎng)回答需要從多個(gè)來源獲得答案的查詢?nèi)蝿?wù)，就像你看病時(shí)，醫(yī)生給你一篇需要閱讀的文章列表，而不是直接給你答案一樣。

麥茨勒和他的同事對(duì)能像真人專家那樣工作的搜索引擎十分感興趣，它應(yīng)當(dāng)以自然語言生成答案，并由多個(gè)文檔合成，而且像維基百科的文章一樣，以支持證據(jù)的形式備份其答案。

大型語言模型為這樣的想法奠定了一些基礎(chǔ)，GPT-3 在大多數(shù)網(wǎng)絡(luò)和數(shù)百本書上都接受過培訓(xùn)，它可以從多種來源中獲取信息，以自然語言回答問題。

現(xiàn)在的問題在于它無法跟蹤這些來源，也無法提供證據(jù)來支持這些答案。我們無法判斷 GPT-3 是在模仿可信賴的信息還是虛假信息，或者只是散播自己的廢話。

麥茨勒和他的同事們稱語言模型為 Dilettantes——“人們以為它懂的很多，但實(shí)際上它的知識(shí)很膚淺。”

他們聲稱，解決方案是構(gòu)建和培訓(xùn)未來的 BERT 和 GPT-3，以保留其單詞來源的記錄。目前尚無此類模型能夠做到這一點(diǎn)，但原則上是可行的，并且朝著這個(gè)方向的早期工作也已被提上日程。

來自英國(guó)謝菲爾德大學(xué)研究網(wǎng)絡(luò)信息檢索的張子琦說，在不同的搜索領(lǐng)域，從響應(yīng)用戶查詢、到總結(jié)文檔、再到結(jié)構(gòu)化信息，已經(jīng)有了數(shù)十年的發(fā)展。

但是，這些技術(shù)都沒有徹底改革過搜索，因?yàn)樗鼈兠總€(gè)都只是解決特定的問題而無法被通用化。他說，這篇論文中提到的令人興奮的事情就是一些大型語言模型能夠同時(shí)完成所有這些操作。

然而，張也指出，語言模型在技術(shù)性或?qū)I(yè)學(xué)科上表現(xiàn)不佳，因?yàn)橛?xùn)練這些語言的文本中很少有這類范例。

他說：“網(wǎng)絡(luò)上關(guān)于電子商務(wù)的數(shù)據(jù)可能比有關(guān)量子力學(xué)的數(shù)據(jù)多數(shù)百倍。” 而且當(dāng)今的語言模型也偏向英語，這會(huì)使網(wǎng)絡(luò)上的非英語部分無法得到充分服務(wù)。

但張還是很喜歡這個(gè)主意，他說：“要是在過去，這么做是不可能的，因?yàn)榇笮驼Z言模型只是最近才興起的。如果成功了，它將改變我們的搜索體驗(yàn)。”

原文標(biāo)題：GPT-3或宣告新型搜索引擎的誕生：通過語言模型提問即可找到答案

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq