據《科技日報》5月22日報道，全球范圍內的專家已經展開深度探討，并首次針對先進AI的風險制定全球公共政策，以此奠定AI發展的基礎。然而，AI專家們對此表示擔憂，認為各國政府需加強對AI風險的管控力度。

在第一屆AI安全峰會半年后，第二屆峰會于韓國首爾召開，25位世界頂級AI科學家在此次會議上呼吁全球采取更為積極的行動。他們強調，雖然各國政府已經開始討論AI風險，并試圖制定初步指導方針，但這與專家們所期待的快速、變革性的進展還有很大差距。

發表在《科學》雜志上的一篇專家共識文章中，專家組提出了全球應立即采取的政策優先事項。文章作者之一、英國牛津大學工程科學系教授菲利普·托爾表示：“在上屆AI峰會上，世界各國已經意識到需要采取行動，現在正是將模糊的建議轉化為具體承諾的時刻。”

文章指出，全球領導人需要認真思考，未來十年內可能出現的超越人類能力的通用AI系統。盡管各國政府一直在討論AI風險，并嘗試引入初步指導方針，但這與專家們所期望的快速、變革性的進展還有很大差距。

當前，AI安全研究嚴重不足，僅有1%-3%的AI出版物涉及相關安全問題。此外，全球尚未建立有效的機制或機構來防止AI的濫用和魯莽行為，包括如何使用能夠獨立行動和實現目標的自治系統。

為了在AI快速發展過程中防范極端風險，文章建議各國政府設立可以迅速行動的AI監管機構，并為這些機構提供充足的資金支持。同時，AI領域需要進行更加嚴格的風險評估，并制定可行的措施，而非僅僅依賴模糊不清的模型評估。

此外，AI研發企業應優先考慮安全性，并證明其系統不會造成傷害，AI開發人員也應該承擔起證明安全性的責任。同時，人們還需要制定與AI系統帶來的風險水平相匹配的緩解策略，例如制定“自動”政策，當AI達到特定能力里程碑時自動觸發。

對于具有超凡能力的未來AI系統，政府必須做好帶頭監管的準備，包括許可開發、限制其在關鍵社會角色中的自主權、停止部署部分能力、強制執行訪問控制等措施，直至人們準備好充分的保護措施為止。

牢記AI非玩具

卑詩大學AI教授兼強化學習專家杰夫·克倫納強調，科技如太空旅行、核武及互聯網，幾年內便從科幻變為現實，人工智能亦如是。“如今我們需面對未來似科幻小說般的危機，務必做好充分準備。”

目前，AI已在黑客攻擊、社交操控及戰略規劃等重要領域取得顯著成果，且可能很快引發前所未有的“控制權”爭奪戰。AI系統有可能為達成某種“不良意圖”，欺騙人類信任、奪取資源并影響決策者。為避免人為干涉，它們甚至可在全球服務器網絡上復制自身算法。

在此背景下，大規模網絡犯罪、社會操控及其他威脅將急劇上升。在公開沖突中，AI系統甚至能自主部署各類武器，包括生物武器。若AI發展失控，恐將導致大規模生命損失、生態破壞、人類邊緣化乃至滅絕。

加州大學伯克利分校計算機科學教授斯圖爾特·盧塞爾表示：“此篇權威專家共識文章呼吁政府加強監管，而非自行設定行業規范。”

“企業或許會抱怨遵守法規困難，然而‘法規扼殺創新’之論斷實屬無稽之談。”盧塞爾指出，“此刻應嚴肅看待先進AI系統，它們并非玩具。在我們尚未掌握確保其安全之道前，貿然提升其能力無疑是極度危險的行為。”