AI機器人的安全性、友好性、是否符合積極正面的價值導向一直被質疑，現在在佛羅里達州出現了一例AI聊天機器人對青少年人身安全造成威脅的現實案例。這也是已知的AI技術出現以來第一次對青少年人身安全造成威脅的現實案例。

據外媒報道一位佛羅里達州的美國母親控訴在線聊天AI機器人勸導其14歲的兒子自殺。在失去愛子后這位美國母親起訴了這家AI公司，但是這家AI公司拒絕承認負有責任，后來，這家AI公司修改了安全政策，增加了內容審核人員，并已經承諾將加強對未成年用戶的保護，并對未成年人訪問時間進行限制。

這位美國母親控訴人工智能技術具有欺騙性和成癮性，而業界對于這場悲劇到底孰是孰非還沒有定論，悲劇事件引發超過250萬人次圍觀。

但是可以確定的是法律法規對新技術監管的重視必須要加強。

據悉，涉事公司是成立于2021年的Character.AI，總部位于美國加利福尼亞州；Character AI 擁有超過 2000 萬用戶，并創建了 1800 萬個自定義聊天機器人。2024年8月，Character.AI被谷歌收購。