電子發燒友網報道（文/李彎彎）日前，由OpenAI訓練的大規模語言模型ChatGPT上線。ChatGPT背后的算法基于Transformer架構，這是一種使用自注意力機制處理輸入數據的深度神經網絡。Transformer架構廣泛應用于語言翻譯、文本摘要、問答等自然語言處理任務。

ChatGPT可用于創建能與用戶進行對話的聊天機器人，由ChatGPT構建的對話機器人，可以高質量的回答用戶的提問，能夠寫小說，編寫程序。不僅能夠為用戶提供有用的信息還很好玩，因此迅速出圈。據稱，ChatGPT的用戶數量已經突破100萬。

什么是ChatGPT

OpenAI是2015年在美國成立的一家人工智能研究機構，由馬斯克、美國創業孵化器Y Combinator總裁阿爾特曼、全球在線支付平臺PayPal聯合創始人彼得·蒂爾等創立。后來馬斯克退出，微軟在2019年向OpenAI投資10億美元。

OpenAI分別在2018年、2019年和2020年相繼推出語言模型GPT-1、GPT-2和GPT-3。其中GPT-3在2020年6月上線的時候引起很大關注，被認為是史上最強大的AI模型語言模型，參數量達到1750億。

相比GPT-3而言，今年初，OpenAI 采用對齊研究（alignment research），訓練出更真實、更無害，而且更好地遵循用戶意圖的語言模型InstructGPT，被認為是GPT-3.5版本。

OpenAI此次上線的ChatGPT，其訓練方法和InstructGPT大體一樣，只是在使用的數據集上有微小差別。首先，通過有監督學習訓練出初始模型：人類AI培訓員分別作為使用者和AI助手，模擬用戶和AI的對話。在這個過程中，人類AI培訓員能夠訪問機器編寫的建議來幫助他們生成恰當的回復。

為了創建出強化學習所需要的獎勵機制，OpenAI將數個機器生成的回復進行對比，并按照回復質量由高到低進行排序。訓練團隊選取了人類AI培訓員與機器的對話后，從中隨機挑選一條機器編寫的信息，和幾條替代選項放在一起，讓人類AI培訓員進行排序。通過這種近端策略優化方法，可以篩選出最讓人滿意的模型，多次迭代后便訓練出了現在的版本。

ChatGPT有多強大

相比之下，ChatGPT比GPT-3更強。GPT-3只預測任何給定的單詞串之后的文本，而ChatGPT則試圖以一種更像人類的方式與用戶發生互動。ChatGPT的互動非常流暢，并且有能力參與各種主題，與幾年前才面世的聊天機器人相比，有巨大改進。

ChatGPT到底有多強大，由其構建的聊天機器人，交互界面簡潔，只有一個輸入框，AI將根據輸入內容進行回復，并允許在一個語境下持續聊天。從用戶的使用情況來看，無論是讓它寫首押韻的詩、檢查代碼的bug、回答科學問題，它都能隨機給出令人滿意的答案。

比如，知識講解。


比如，寫小說。


有人用《老友記》等喜劇演員為角色，讓它寫一些肥皂劇對白，它可以寫得惟妙惟肖。解釋極其專業的科學概念也不在話下。它甚至可以寫一些基本的學術文章。

總之，ChatGPT可以回答基本的、甚至無聊的瑣碎問題，也可以解釋專業的知識。這讓許多人認為，像這樣的人工智能系統有一天會取代搜索引擎。聊天機器人是根據從網上收集到的信息進行訓練的。因此，如果能準確地呈現這些信息，并以更流暢和對話的語調來進行反饋，這將代表著傳統搜索的巨大進步。

ChatGPT也存在問題

雖然很多用戶對ChatGPT的功能印象深刻，然而也有人注意到，它容易產生看似合理但錯誤的回答。比如，讓ChatGPT寫一個公眾人物的傳記，它很可能插入錯誤的人物生平。讓它為特定功能編寫程序，它也許會生成看起來可信但最終不正確的代碼。

普林斯頓大學計算機科學教授Arvind Narayanan在推特上指出，人們對使用ChatGPT學習感到興奮。不過，除非你已經知道答案，否則你無法判斷它什么時候是錯的。他說：“我嘗試了一些基本的信息安全問題。在大多數情況下，答案聽起來似乎有理，但實際上漏洞百出。”

近日，編程問答網站Stack Overflow暫時禁止用戶分享ChatGPT生成的回復。原因是，Stack Overflow認為，ChatGPT很容易與用戶互動，且可以快速生成大量回答，這讓網站充斥著許多第一眼看起來是正確的答案，但在仔細檢查后就能發現其中的錯誤。

OpenAI也坦誠地表示，由于ChatGPT的知識只來自訓練數據中的統計規律，而不是任何類似人類對世界復雜和抽象系統的理解，因此該系統可能偶爾會產生不正確或誤導性的信息，并產生攻擊性或有偏見的內容。

ChatGPT頻出的錯誤是人工智能文本生成模型的幾個眾所周知的缺點之一。這些系統通過分析從網上抓取的大量文本來訓練機器人。人工智能在這些數據中尋找統計規律，并利用這些規律來預測給定的句子中，接下來應該出現什么單詞。然而，這意味著他們缺乏世界上許多系統運行的硬編碼規則，導致他們傾向于產生“流利的廢話”。

小結

不可否認的是，OpenAI訓練的ChatGPT確實非常強大，可以回答無聊的問題，也能解釋專業的科學問題，可以寫小說，也可以編寫程序。然而確實也還存在問題，對2021年之后的世界認知有限，對某些特定人群的問題知之甚少，寫的人物傳記不準確等。目前來說，將其作為新一代的搜索引擎還存在風險。不過ChatGPT的上線也展示出了人工智能的更多可能。