“原文轉(zhuǎn)載自:https://hechingerreport.org/kids-chatgpt-worse-on-tests/。研究人員比較了近千名高中生的數(shù)學(xué)成績(jī)。”

人工智能真的能幫助學(xué)生學(xué)習(xí)嗎？

最近在一所高中進(jìn)行的一項(xiàng)實(shí)驗(yàn)提供了一個(gè)警示故事。

賓夕法尼亞大學(xué)的研究人員發(fā)現(xiàn)，在做數(shù)學(xué)練習(xí)題時(shí)使用 ChatGPT 的土耳其高中生與沒(méi)有使用 ChatGPT 的學(xué)生相比，數(shù)學(xué)考試成績(jī)更差。使用 ChatGPT 的學(xué)生在練習(xí)題中的正確解題率提高了 48%，但最終學(xué)生在考試中成績(jī)卻下降了 17%。

第三組學(xué)生可以使用經(jīng)過(guò)修改的 ChatGPT，它的功能更像是一個(gè)導(dǎo)師。這個(gè)聊天機(jī)器人的程序設(shè)計(jì)是在不直接透露答案的情況下提供提示。使用聊天機(jī)器人的學(xué)生在練習(xí)題上的表現(xiàn)非常出色，與沒(méi)有任何高科技輔助工具的學(xué)生相比，正確率提高了 127%。但在之后的測(cè)試中，這些經(jīng)過(guò)人工智能輔導(dǎo)的學(xué)生并沒(méi)有取得更好的成績(jī)。而那些只用老方法--自己做練習(xí)題--的學(xué)生則與他們的考試成績(jī)不相上下。

研究人員將他們的論文命名為 “生成式人工智能會(huì)損害學(xué)習(xí)”，目的是向家長(zhǎng)和教育工作者表明，目前免費(fèi)提供的人工智能聊天機(jī)器人會(huì) “極大地抑制學(xué)習(xí)”。即使是模仿家教設(shè)計(jì)的微調(diào)版 ChatGPT 也不一定有幫助。

研究人員認(rèn)為，問(wèn)題在于學(xué)生把聊天機(jī)器人當(dāng)成了 “拐杖”。當(dāng)他們分析學(xué)生輸入 ChatGPT 的問(wèn)題時(shí)，學(xué)生往往只是簡(jiǎn)單地詢問(wèn)答案。學(xué)生們并沒(méi)有通過(guò)自己解決問(wèn)題來(lái)培養(yǎng)技能。

ChatGPT 的錯(cuò)誤也可能是一個(gè)原因。聊天機(jī)器人只有一半的時(shí)間能正確回答數(shù)學(xué)問(wèn)題。它的算術(shù)計(jì)算有 8% 的時(shí)間是錯(cuò)誤的，但更大的問(wèn)題是，它逐步解決問(wèn)題的方法有 42% 的時(shí)間是錯(cuò)誤的。輔導(dǎo)版的 ChatGPT 直接輸入了正確的解題方法，從而將這些錯(cuò)誤降到了最低。

論文及實(shí)驗(yàn)

2024 年 7 月，一篇關(guān)于該實(shí)驗(yàn)的論文草案被發(fā)布在 SSRN（前身為社會(huì)科學(xué)研究網(wǎng)）的網(wǎng)站上： https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486 該論文尚未在同行評(píng)審期刊上發(fā)表，仍有可能被修改。

這只是在另一個(gè)國(guó)家進(jìn)行的一次實(shí)驗(yàn)，還需要更多的研究來(lái)證實(shí)其結(jié)論。但這次實(shí)驗(yàn)規(guī)模很大，在 2023 年秋季期間，有近千名九年級(jí)到十一年級(jí)的學(xué)生參與其中。教師首先與全班同學(xué)一起復(fù)習(xí)之前講過(guò)的一堂課，然后將他們的教室隨機(jī)分配成三種練習(xí)數(shù)學(xué)的方式之一：使用 ChatGPT、使用由 ChatGPT 支持的人工智能輔導(dǎo)員或完全不使用高科技輔助工具。每個(gè)年級(jí)的學(xué)生都被分配了相同的練習(xí)題，無(wú)論是否使用人工智能。之后，他們進(jìn)行測(cè)試，以了解自己對(duì)概念的掌握程度。研究人員共進(jìn)行了四次這樣的測(cè)試，讓學(xué)生在四個(gè)不同的數(shù)學(xué)題目中進(jìn)行了四次 90 分鐘的練習(xí)，以了解人工智能究竟是有幫助、有損害還是毫無(wú)用處。

ChatGPT 似乎也會(huì)讓學(xué)生產(chǎn)生過(guò)度自信。在與實(shí)驗(yàn)同時(shí)進(jìn)行的調(diào)查中，學(xué)生們表示，ChatGPT 讓他們學(xué)得更多了，而事實(shí)是他們學(xué)到的東西更少。使用人工智能輔導(dǎo)的學(xué)生認(rèn)為他們的考試成績(jī)明顯更好，盡管事實(shí)上成績(jī)沒(méi)有提高。(這也再次提醒我們，我們對(duì)自己所學(xué)知識(shí)的認(rèn)知往往是錯(cuò)誤的）。

作者將使用 ChatGPT 學(xué)習(xí)的問(wèn)題比作自動(dòng)駕駛。他們講述了過(guò)度依賴自動(dòng)駕駛是如何導(dǎo)致美國(guó)聯(lián)邦航空管理局建議飛行員盡量減少使用這項(xiàng)技術(shù)的。監(jiān)管機(jī)構(gòu)希望確保飛行員在自動(dòng)駕駛失靈時(shí)仍然知道如何飛行。

ChatGPT 并不是第一種在教育方面做出取舍的技術(shù)。打字機(jī)和計(jì)算機(jī)減少了對(duì)手寫的需求。計(jì)算器減少了對(duì)算術(shù)的需求。當(dāng)學(xué)生可以使用 ChatGPT 時(shí)，他們可能會(huì)回答更多正確的問(wèn)題，但學(xué)到的知識(shí)卻更少。一個(gè)問(wèn)題的正確結(jié)果并不能幫助他們解決下一個(gè)問(wèn)題。