5月31日(當?shù)貢r間),openai宣布其開始對抗人工智能的“錯覺”,并采用新的方法來訓練人工智能模型。
據(jù)說,如果open ai開發(fā)的chatgpt和谷歌開發(fā)的bard等模型完全捏造信息,就像羅列事實一樣,顯示ai的“幻覺(hallucination)”。例如,在谷歌今年2月公開的bard宣傳視頻中,聊天機器人對詹姆斯-韋伯太空望遠鏡進行了虛假說明。chatgpt最近在紐約聯(lián)邦法院寫了一份引用虛假案件的文件,涉及此案的紐約律師可能會受到處罰。
目前,openai提出了一種新的方法——來緩解chatgpt中的“幻覺”,并讓激情變得更好,這是通過“過程監(jiān)督”來提高大ai模型的數(shù)學推理能力。
openai研究組在報告書中表示:“最先進的模型也可能生成虛假信息——,有在不確定的瞬間捏造事實的傾向。”“這種幻想在需要多個層次推論的領域尤其有問題,因為邏輯錯誤可能會破壞更大的解決方案。”
openai對抗ai“幻覺”的新戰(zhàn)略不是單純地因為正確答案而給予補償,而是因為猜對正確的推理過程而給予補償。據(jù)研究者稱,這種方法被稱為“過程監(jiān)測”,而不是“結(jié)果監(jiān)測”。
這一策略也可能會導致更具描述性的人工智能,因為它鼓勵模型更多地遵循人類“思想”之類的方法鏈。除了結(jié)果監(jiān)控以外,過程監(jiān)控也有助于解決排序問題。
openai的研究人員還不知道這些結(jié)果是否適用于數(shù)學以外的領域,但他們認為在其他領域探索“過程監(jiān)督”的影響也很重要。
-
模型
+關注
關注
1文章
3751瀏覽量
52099 -
聊天機器人
+關注
關注
0文章
348瀏覽量
13089 -
OpenAI
+關注
關注
9文章
1245瀏覽量
10061
發(fā)布評論請先 登錄
用于窄帶匹配高速射頻ADC的全新方法
奧松電子榮獲2025年中國創(chuàng)新方法大賽全國總決賽二等獎
海康威視榮獲2025年中國創(chuàng)新方法大賽總決賽金獎
奧松半導體榮獲2025中國創(chuàng)新方法大賽重慶賽區(qū)二等獎
GPT-5.1發(fā)布 OpenAI開始拼情商
OpenAI Sora 2模型上線微軟Azure AI Foundry國際版
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+第二章 實現(xiàn)深度學習AI芯片的創(chuàng)新方法與架構(gòu)
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+內(nèi)容總覽
OpenAI開源模型登陸IBM watsonx.ai開發(fā)平臺
澎峰科技完成OpenAI最新開源推理模型適配
亞馬遜云科技現(xiàn)已上線OpenAI開放權(quán)重模型
OpenAI發(fā)布2款開源模型
芯片制造中高精度膜厚測量與校準:基于紅外干涉技術的新方法
OpenAI稱找到新方法減輕大模型“幻覺”
評論