AI機器人的安全性、友好性、是否符合積極正面的價值導(dǎo)向一直被質(zhì)疑，現(xiàn)在在佛羅里達(dá)州出現(xiàn)了一例AI聊天機器人對青少年人身安全造成威脅的現(xiàn)實案例。這也是已知的AI技術(shù)出現(xiàn)以來第一次對青少年人身安全造成威脅的現(xiàn)實案例。

據(jù)外媒報道一位佛羅里達(dá)州的美國母親控訴在線聊天AI機器人勸導(dǎo)其14歲的兒子自殺。在失去愛子后這位美國母親起訴了這家AI公司，但是這家AI公司拒絕承認(rèn)負(fù)有責(zé)任，后來，這家AI公司修改了安全政策，增加了內(nèi)容審核人員，并已經(jīng)承諾將加強對未成年用戶的保護(hù)，并對未成年人訪問時間進(jìn)行限制。

這位美國母親控訴人工智能技術(shù)具有欺騙性和成癮性，而業(yè)界對于這場悲劇到底孰是孰非還沒有定論，悲劇事件引發(fā)超過250萬人次圍觀。

但是可以確定的是法律法規(guī)對新技術(shù)監(jiān)管的重視必須要加強。

據(jù)悉，涉事公司是成立于2021年的Character.AI，總部位于美國加利福尼亞州；Character AI 擁有超過 2000 萬用戶，并創(chuàng)建了 1800 萬個自定義聊天機器人。2024年8月，Character.AI被谷歌收購。