因為幾個美元字符，系統將一只標準貴賓犬識別為“小豬存錢罐”。

近日，非盈利式人工智能機構OpenAI的研究人員發現，他們最先進的計算機視覺系統輕而易舉的就被簡單的一些工具忽悠了。簡單的工具是什么？就是一支筆和一張紙。

實驗發現，在研究人員拿筆在紙上寫下單詞“iPod”，并將該紙條貼在一個澳洲青蘋果的表面上，隨即CLIP系統沒有“認出”青蘋果，而是將它識別為“iPod”。作為對比，在沒有粘貼紙條的實驗中，系統識別結果準確性超過了85%。

在另一個實驗中，研究人員只是在照片中的標準貴賓犬身上加上了幾個美元符號，最終系統也識別失敗，識別成“小豬存錢罐”。

這是為什么？

研究人員將這種攻擊稱作“文本攻擊”，基于模型強大的讀取文本的能力，即便是手寫文字的照片，也能夠做到“欺騙”模型。其中的核心在于CLUP的“多模態神經元”，后者能夠對物體的照片，以及草圖和文本做出反應。他們指出，這類攻擊類似于蒙騙計算機視覺系統的“對抗性圖像”，但是制作上卻簡單得多。

據悉，CLIP旨在探索人工智能系統如何通過在龐大的圖像和文本對的數據庫上進行訓練，學會在沒有密切監督的情況下識別物體。

本月初，針對CLIP的“多模態神經元”的表現，OpenAI的研究人員已經發表了一篇新的論文進行闡述。他們發現“多模態神經元”——機器學習網絡中的單個組件，不僅能對物體的圖像作出反應，還能對素描、漫畫和相關文本做出反應，類似單個腦細胞對抽象的概念而不是具體的例子做出反應。

只不過，相較于人類，該系統目前還處于初級階段，也因此具備一定的危險性。針對這一點，研究人員也表明，他們已經可以騙過特斯拉自動駕駛汽車的軟件系統，只需要在道路上放置一些貼紙，汽車便會在不發出警告的情況下改變車道。
編輯：jq