2018年11月7日晚，被稱為“深度學習三巨頭”之一的蒙特利爾大學計算機科學與運算研究系教授Yoshua Bengio在清華大學做了《深度學習抵達人類水平人工智能所面臨的挑戰（Challenges for Deep Learning towards Human-Level AI》的學術報告。

Yoshua Bengio教授客觀的說，目前人工智能距離人類水平還仍然十分遙遠，人工智能在工業應用的成功主要得益于監督學習方法，人工智能仍然面臨巨大挑戰，尤其在人類智能機理方面的研究還亟需加強。在報告中，Yoshua Bengio深度探討了深度學習模型的具體內容，如何實現對抽象特征的多層次學習，如何更好地進行表示學習，使用判別器優化信息間的獨立性、相關性和熵，Baby AI框架等話題。

Yoshua Bengio

Yoshua Bengio教授是蒙特利爾大學計算機系教授和加拿大科學院院士，被稱為神經網絡三巨頭之一。著有《Deep Learning》、《Learning Deep Architectures for AI》、《A neural probabilistic language model》等多部暢銷書/課本。在他的倡導下，加拿大成立了Mila研究院，專注研究人工智能和深度學習。也正是因為在深度學習方面的重要貢獻，Yoshua Bengio教授獲得了加拿大總督功勛獎，該獎項主要為了紀念做出了卓越成就或者對國家做出了重大貢獻的各領域人士，是加拿大公民的最高榮譽之一。

演講報告

人工智能的目標是讓計算機能夠進行人與動物所擅長的「決策」，為此，計算機需要掌握知識——這是幾乎全體 AI 研究者都同意的觀點。他們持有不同意見的部分是，我們應當如何把知識傳授給計算機。經典 AI（符號主義）試圖將我們能夠用語言表達的那部分知識放入計算機中。但是除此之外，我們還有大量直觀的（intuitive）、 無法用語言描述的、不能通過「意識」獲得的知識，它們很難應用于計算機中，而這就是機器學習的用武之地——我們可以訓練機器去獲取那些我們無法以編程形式給予它們的知識。

深度學習和 AI 領域有很大進步、大量行業應用。但是它們使用的都是監督學習，然而這些模型非常脆弱，極易受到外界干擾。

現在的系統的失敗之處在于，它們無法捕捉我們真正想讓機器捕捉到的高級抽象（high level abstraction）。而這樣的表征可以捕捉構成數據的根本因素。

如何發現好的糾纏表征？一個好的表征空間中，不同要素的變化應該可以彼此分離。除了解糾纏變量，我們還希望系統能解糾纏計算。解糾纏和因果的概念相關，而因果正是機器學習界需要重點關注的領域。

人類的認知任務可以分為系統 1 認知和系統 2 認知。系統 1 認知任務是那些你可以在不到 1 秒時間內無意識完成的任務。例如你可以很快認出手上拿著的物體是一個瓶子，但是無法向其他人解釋如何完成這項任務。這也是當前深度學習擅長的事情，「感知」。系統 2 認知任務與系統 1 任務的方式完全相反，它們很「慢」。大多數人需要遵循一定的規則、按照步驟完成計算。這是有意識的行為，你可以向別人解釋你的做法，而那個人可以重現你的做法——這就是算法。計算機科學正是關于這項任務的學科。而我對此的觀點是，AI 系統需要同時完成這兩類任務。

意識空間里的事物維度很低，因而可以在這樣的空間里進行推理。意識先驗就是假設有很多只包含很少變量但為真的事情，因此，好的表示的一個性質，就是當我們把數據映射到表示空間之后，變量之間只有少數相關。

那么要如何實現這種表征呢？對此，注意力機制是一種很重要的工具。注意力機制可以按順序選取重點關注的信息，來實現整個系統的端到端訓練。我們不需要設計一個獨立的系統來做這種選擇。你可以將注意力機制作為在某些全局目標下端到端訓練的更大系統的一部分。而這正是深度學習擅長的地方。

在架構方面，意識先驗在「原始輸入」和「某些更高級的表征」之外，還引入了第三個層次：這也就是有意識狀態（conscious state）。

這個理論框架還有非常多的細節需要完善，去年我們主要關注其中的一個方面：目標函數。機器學習和深度學習中的標準訓練目標函數都基于最大似然估計，而即使與最大似然無關的目標函數，例如 GAN 的一些目標函數，也是在像素級別進行構建的。然而，我們實際上想要在隱藏空間中表現出可預測性。

現在的NLP任務只是在文本+標注上訓練模型。

這樣會出現很多常識性的錯誤，因為它并沒有理解語言內在的含義。

要真正理解自然語言，不僅要對語言本身建模，還要對所處環境進行建模。要將語言學習和世界運轉方式的學習相結合。

機器需要對事物之間的因果聯系進行建模。

BabyAI通過19個由易到難的游戲關卡而不斷學習，就像嬰兒成長的過程一樣。這很像課程學習（curriculum learning）。