本文作者曾經多次預測了技術發展的趨勢，最近的一次預測是“2011年軟件發展的趨勢與預測”。10項預言中，準確地命中了6項，比如JavaScript VM、NoSQL、大數據分析、私有云、Scala語言等等。今年，他對深度學習的發展趨勢做了一個預測，主要是研究領域的趨勢預測，而不是工業界的應用。

　　以下是對2017年度的預測內容。

　　1、硬件將加速倍增摩爾定律

　　作者根據其觀察到Nvidia和Intel的發展動態，認為這是顯而易見的趨勢。由于Nvidia具有完整的深度學習生態系統，它們在整個2017年都將主導占據主導地位。在另一個深度學習生態系統成熟之前，沒有人會拋棄Nvidia而追求其它的平臺。Intel的Xeon Phi方案中途夭折，預計要到2017年年中才能在性能上追趕上Nvidia，那時基于Nervana的芯片才推向市場。Intel的FPGA方案可能因為成本原因而被云提供商所采納。降低功耗是頭等大事。預計到2017年年中，Intel的Nervana芯片每秒可完成30萬億次浮點運算。作者個人猜測，Nvidia目前已經能夠實現每秒20萬億次浮點運算，他打賭Intel在2018年之前不會有太多動作。Intel手中的唯一可能的一張王牌是3D XPoint技術。這將有助于提高整個硬件堆棧，但不一定是提升核心能力。

　　2、卷積神經網絡（CNN）將會統治而RNNs和LSTM將被淘汰

　　作者認為CNN模型將成為深度學習系統的主流模型。RNN和LSTM模型及其遞歸設置和嵌套的記憶節點將越來越少地使用，因為它們無法與CNN所抗衡。就如同GOTO在代碼中消失一樣，作者希望RNN和LSTM模型也被淘汰。

　　3、簡單的調參工作將被元學習取代

　　當作者剛開始接觸深度學習時，他認為優化算法，特別是二階的算法能夠有巨大的提升。如今，已經有替我們優化模型的深度學習模型了。我們不在需要費盡心思改進SGD算法了，作者認為重要的一個原因是元學習（meta-learning）能夠根據領域自適應地優化學習過程。

　　4、可微分記憶網絡將更常見

　　記憶模塊將從核心節點中抽取出來，只是作為計算機制的一個獨立組件，作者覺得這是一個很自然的結果或者說架構。他認為LSTM的遺忘門、輸入門和輸出門沒有必要，它們可以被輔助的可微分記憶模塊所取代。這呼應了作者對CNN模型的預測。

　　5、強化學習只會變得更具創造性

　　對于現實的觀察永遠是不完美的。我們身邊存在著大量SGD無法解決的問題。因此，任何實踐性的深度學習系統都必須包含某些形式的強化學習。除此之外，強化學習將會出現在各種深度學習的訓練過程中。作者認為強化學習極大地促進了元學習。

　　6、對抗與合作學習將成為王牌

　　在過去，我們的深度學習系統都只有單一的目標函數。今后，作者希望看到兩個或兩個以上的網絡合作或競爭來實現一個最佳的解決方案。參見“博弈論揭示了深度學習的未來”。

　　7、轉移學習引領產業化

　　Andrew Ng認為這非常重要，作者也表示贊同！

　　8、更多的應用程序將使用深度學習組件

　　在2016年，我們已經看到深度學習在更大的搜索算法中用作一個功能評價組件。alphago采用深層學習來評估策略。谷歌的Gmail自動回復系統將深度學習與集束搜索（beam search）結合。作者希望看到更多的這類混合算法，而不是新的end-to-end的被訓練的DL系統。

　　9、更多的采用設計模式

　　深度學習只是眾多需要抽象結構的復雜領域之一。盡管它用到了很多高深的數學知識，仍有很多未經證明和模糊的概念可以借鑒在其它復雜領域已被證明是有效的方法，比如在軟件開發領域有效。作者認為人們最終會從深度學習與模式設計中得到啟發。

　　10、工程將超過理論

　　作者認為研究人員的背景和他們所使用的數學工具會給他們的研究方法帶來偏見。深度學習系統和無監督學習系統等等這些新的東西可能我們從來沒有遇到過。因此，他覺得沒有證據表明我們的傳統分析工具將對解開深度學習的謎團提供任何幫助。幾十年來，物理學中大量的動態系統一直困擾著作者，他將此類比于深度學習系統。

　　然而，盡管我們缺乏了解其本質，但是將不會阻止工程上的應用。作者覺得深度學習幾乎就像是生物技術或基因工程。我們已經創建了模擬學習機，我們不知道他們是如何工作的，但是這并沒有阻止任何人進行創新。