“常常有比喻說，鑰匙并不丟在這個地方，大家為什么都在這個地方找鑰匙呢？因為這個地方燈亮看得見。真正的鑰匙丟在黑暗的角落里，那里不好找，一時半會寫不了文章，所以好多人不愿意去找。”

近日，中國科學院院士、清華大學人工智能研究院院長張鈸在一次學術活動中闡述深度學習方法易受欺騙、易受攻擊的根本原因。他提出，根本解決辦法并不在“燈亮看得見”的深度學習模型的修修補補上，而應該向人類學習。學習的內容包括，一、改變深度學習網絡的模型與結構；二、在數據驅動的基礎上引進知識。

張鈸，清華大學計算機系教授，中國科學院院士，1958年畢業于清華大學自動控制系。他參與人工智能、人工神經網絡、機器學習等理論研究，以及這些理論應用于模式識別、知識工程與機器人等技術研究。

清華大學人工智能研究院院長張鈸

從“讓數據說話”到引入知識

數據、算法、算力通常被認為是深度學習時代驅動人工智能崛起的三大因素。

但張鈸認為，知識與這三者同樣重要，共同組成人工智能的四大基礎。“回顧人工智能的歷史，可以看到這四個因素不斷地發揮作用。”

1月11日，張鈸在清華-中國工程院知識智能聯合研究中心年會暨認知智能高峰論壇上提出上述觀點。

張鈸介紹，第一代人工智能即符號主義主導的人工智能時代強調知識對智能的作用，由于當時受算法和算力的限制，知識表示依賴人工編程，因而以知識為基礎的推理模型沒有得到大量推廣。

深度學習興起之后，學界將目標轉移至數據，提出“讓數據說話”。張鈸認為，這種強調對深度學習的發展起到積極的作用，但也有“很大的不足”：過分強調數量的重要性，片面認為“質量差沒關系，數據多就可以解決問題”。

“這導致按照大數據建起來的人工智能系統面臨不可信、不可靠、不安全、不易推廣的挑戰”。

在他看來，解決這個挑戰的辦法之一是引入知識。

“這也是我們人工智能研究院所提倡的第三代人工智能的道路——通過數據驅動和知識驅動的結合克服第一代和第二代人工智能的不足。

“鑰匙丟在黑暗的角落里”

深度學習應用于模式識別雖然可以在大數據的訓練中學到正確的分類，卻很容易受到惡意干擾、欺騙和攻擊。將獅子識別為圖書館、把雪山認作一只狗、停止標志識別被當成限速標志……此類深度學習系統被“忽悠”的案例層出不窮，如果發生在自動駕駛場景，就可能產生嚴重后果。

面對深度學習的脆弱性，單純從深度學習網絡上修修補補只能治標，不能治本。

張鈸在回答現場觀眾提問時表示，“深度學習不能提取出語義層面的特征，只能提取底層特征，這是它脆弱、易受攻擊的根本原因。如果不解決這個問題，只靠修修補補，不能根本解決問題，現在的很多做法就是如此。”

如何根本解決深度學習存在的問題？

張鈸認為，有兩個工作可以做：一是學習人類神經網絡的結構，結合腦科學以改進深度學習模型，二是將知識驅動與數據驅動結合起來。“前者涉及學科交叉更難一點，搞計算機的大多數選擇后一條路”。

走第二條路的關鍵問題是如何從原始數據中自動提取知識。“這一直做不好，因為知識很難自動獲取，需要依賴人工，單純依賴人工是走不遠的”。他鼓勵人工智能研究者重點在知識獲取方面做工作，“如果這個問題解決了，很多問題將迎刃而解。”