試著和 ChatGPT 聊了幾句，它把我的問題解決了。

當每個人都在苦苦等待 GPT-4 發布時，OpenAI 卻一直遲遲沒有消息，仍在修復其前身。這家總部位于舊金山的公司于昨日發布了一個名為 ChatGPT 的新模型，它是 GPT-3 的衍生產品，它以對話的方式進行交互。

這種對話允許 ChatGPT 回答后續問題，承認錯誤，挑戰不正確的前提，并拒絕不適當的請求。不同于別的語言模型胡編亂造，例如 Meta 的語言模型 Galactica 因為不負責任的胡編亂造，上線幾天就下架了。ChatGPT 的不同之處在于，當它不知道自己在說什么時，它承認不知道。此外，ChatGPT 拒絕回答它沒有受過訓練的問題，例如，它不會試圖回答有關 2022 年之后發生的事件的問題。它也不會回答關于個人的問題。

這個模型到底有多智能？以前調試代碼的腦力活都得程序員親自動手，現在 ChatGPT 可以攬下這個苦差事。

用戶表示：這段代碼沒有像我期望的那樣運行，我該如何修改？

ChatGPT：你給的上下文信息太少了，很難說出代碼的問題。你能否提供更多關于代碼的信息，比如代碼用來干什么的，這是整個代碼還是其中的一部分?

用戶：這是代碼的一部分。我認為 channel 出現了問題。

ChatGPT：如果沒有更多信息來說明代碼應該做什么、執行時發生了什么，這個問題就很難說了。從你提供的信息可以看出，代碼的一個潛在問題是 resultWorkerErr channel 從未關閉，這意味著如果從未寫入 resultWorkerErr channel，代碼可能會掛起。如果 b.resultWorker 沒有返回錯誤或者它在有機會返回錯誤之前被取消，就會發生這種情況。

要解決此問題，你可以在寫入 resultWorkerErr channel 后將其關閉。例如，你可以在向 channel 發送錯誤的行之后添加以下代碼行：

這將確保 resultWorkerErr channel 總是關閉的，即使 b.c retworker 從未返回錯誤。同樣，如果沒有更多關于你所看到的問題的信息，很難判斷這是否是你正在經歷的問題。你能提供更多關于運行代碼時發生的細節嗎?

以上就是 ChatGPT 修改 Bug 的一個過程，可以說是刨根問底了。

在下面的示例中，ChatGPT 提供了對后續指令的響應。下圖大概意思是說，用戶要求 ChatGPT 幫自己寫個簡短的介紹，好與鄰居認識一下；ChatGPT 給出了一篇簡短文字介紹，但用戶嫌棄不夠正式，好脾氣的 ChatGPT 又來了一版正式一點的；之后用戶又提了一個要求，讓 ChatGPT 幫忙寄出去。最后 ChatGPT 回答：「很抱歉，我是一個基于文本的 AI 助手，沒有能力為你發送一封實體信件。我只能提供關于寫什么的建議。你可以接受該建議并自己發送這封信。」

看到這，你是不是也想嘗試一番。不錯，這個模型一經發布，讓很多人沉迷而無法自拔，就連馬斯克都來了一句：「很多人陷入了該死瘋狂的 ChatGPT 循環中。」

ChatGPT新玩法：扮演Linux虛擬機，能管理文件&編程&開瀏覽器；ChatGPT的智能回答堪比雅思口語滿分案例、讓AI生成AI繪畫提示詞......有人喊出“ChatGPT出世，“谷歌要完蛋了？” 。OpenAI最新成果ChatGPT被網友玩壞了！

一時間，大家仿佛找到了一個新的樂子，紛紛和 ChatGPT 打開了對話模式。「要求它解釋一個沒有上下文的復雜的正則表達式……」這個問題真是夠難為人的，但是難不倒 ChatGPT。看這解釋的篇幅，應該是解釋清楚了。

「ChatGPT 是一個很好的 debugging 伙伴，它不僅能解釋 bug，還能修復 bug 并解釋修復 bug 的方法。」網友表示。

更有網友不可思議道：「天吶，ChatGPT 竟然知道 AWS IAM 策略。」

「ChatGPT 可以生成數百行 Python 代碼，將 100 GB 的文件上傳到 AWS S3 bucket 中，只需編寫這樣一句話即可「Write Python code to upload a file to an AWS S3 bucket（編寫 Python 代碼，將文件上傳到 AWS S3 bucket 中）。」

由于大家太過熱情，試用網站已經崩了：「我們的需求異常旺盛。請稍等，我們正在擴充我們的系統。」

試用地址：chat.openai.com

方法

ChatGPT 使用與 InstructGPT 相同的方法——用人類反饋強化學習 (RLHF) 訓練模型，但數據收集設置略有不同。ChatGPT 使用監督微調訓練了一個初始模型：人類 AI 訓練員提供對話，他們在對話中扮演雙方——用戶和 AI 助手，AI 訓練員可以訪問模型編寫的對話回復，以幫助 AI 調整回復內容。

為了創建強化學習的獎勵模型，該研究需要收集比較數據，其中包含兩個或多個按質量排序的模型回復。該研究收集了 AI 訓練員與聊天機器人的對話，并隨機選擇一條模型編寫的消息，抽取幾個備選回復，讓 AI 訓練員對這些回復進行排名。此外，該研究還使用近端策略優化算法（PPO）微調模型，并對整個過程進行了幾次迭代。

ChatGPT 對 GPT-3.5 系列中的某個模型進行了微調，該模型于 2022 年初完成訓練。ChatGPT 和 GPT 3.5 在 Azure AI 超級計算基礎設施上進行了訓練。

局限性

1. ChatGPT 有時會寫出看似合理但不正確或荒謬的答案。解決這個問題非常具有挑戰性，因為：

RL 訓練期間需要現實世界的數據，但目前沒有來源；

模型被訓練得過于謹慎導致它拒絕回答可以正確回答的問題；(3) 監督訓練會影響模型的性能，因為理想情況是模型知道正確答案是什么，而不是人類演示者知道是什么。

ChatGPT 對調整輸入措辭或多次嘗試相同的 prompt 很敏感。例如，給定一個問題，模型可以聲稱不知道答案，但只要對問題稍作改寫，模型就就可以正確回答。

模型的回答通常過于冗長并過度使用某些短語，例如重申它是 OpenAI 訓練的語言模型。這些問題源于訓練數據（訓練者喜歡看起來更全面的長答案）和過度優化。

理想情況下，當用戶提供模棱兩可的查詢時，模型會提出質疑，然而 ChatGPT 目前是自行猜測用戶的意圖。

雖然該研究已努力使模型拒絕不當請求，但它有時會回復有害指令或給出有偏見的回答。研究團隊正在使用 Moderation API 來警告模型或阻止某些類型的不安全內容，并試圖收集用戶反饋來進一步改進該系統的工作。

相比于 GPT-3 和 Codex，ChatGPT 作為 OpenAI 最新發布的模型，已經在安全性和可用性方面做出了諸多改進，汲取了先前模型的經驗教訓，并通過使用人類反饋強化學習 (RLHF) 大幅減少了模型的有害和不真實輸出。

審核編輯 ：李倩