（文章來源：雷鋒網）

目前注意力機制已是深度學習里的大殺器，無論是圖像處理、語音識別還是自然語言處理的各種不同類型的任務中，都很容易遇到注意力模型的身影。

借鑒于人類的注意力機制，關注注意焦點，注意力機制是作為一種通用的思想出現的。

Bengio在其報告《與意識相關的深度學習先驗》中提到，丹尼爾·卡尼曼的書《思考，快與慢》中指出人的認知系統有兩類，一類是無意識（快系統）的，關鍵詞是直覺、非語言、習慣；第二類是有意識的（慢系統），關鍵詞是語言性、算法性，推理和計劃。

Bengio指出，第二類認知系統允許對語義概念進行操縱、重組，這對于當前的人工智能和機器學習算法來說是一個非常渴望的特性。

但目前的機器學習方法還遠沒有從無意識發展到全意識，但是Bengio相信從“無”到“有”的轉變完全可能，而注意力則是轉變過程的核心要素之一。在報告中，Bengio提到，注意力機制每次都關注其中某幾個概念并進行計算，因為意識先驗及其相關的假設中，許多高層次的依賴關系可以被一個稀疏因子圖近似地捕捉到。

最后，報告介紹了元學習，這種先驗意識和代理視角下的表征學習，會更加有助于以新穎的方式，支持強大的合成泛化形式。此次報告的主題是深度學習的未來發展方向，特別是深度學習與意識的關系。其實神經科學對意識內容的研究在近幾十年里已經有了很大的進展。

所以現在是機器學習考慮這些將意識加入模型的時候了。另一方面，這對意識的研究也有好處，能夠在測試意識的特定假設功能以及正式化方面提供幫助，也能夠讓我們從意識中獲得一些魔力，并理解意識的進化優勢、計算和統計優勢。
? ? ? （責任編輯：fqj）