關于深度學習，它正在快速接近其極限。雖然事實可能的確如此，但我們仍未能在日常生活中感受到全面部署深度學習的影響。

MIT：算力將探底，算法需改革

近日，MIT發出警告：深度學習正在接近現有芯片的算力極限，如果不變革算法，深度學習恐難再進步。

根據麻省理工學院，MIT－IBM Watson AI實驗室，Underwood國際學院和巴西利亞大學的研究人員在最近的研究中發現，持續不斷的進步將需要通過改變現有技術或通過尚未發現的新方法來更有效地使用深度學習方法。

目前深度學習的繁榮過度依賴算力的提升，在后摩爾定律時代可能遭遇發展瓶頸，在算法改進上還需多多努力。

深度學習不是偶然的計算代價，而是設計的代價。共同的靈活性使它能夠出色地建模各種現象，并且性能優于專家模型，這也使其在計算上的成本大大提高。

研究人員估計，三年的算法改進相當于計算能力提高10倍。總體而言，在深度學習的許多領域中，訓練模型的進步取決于所使用的計算能力的大幅度提高。 另一種可能性是，要改善算法本身可能需要互補地提高計算能力。

在研究過程中，研究人員還對預測進行了推斷，以了解達到各種理論基準所需的計算能力以及相關的經濟和環境成本。

即使是最樂觀的計算，要降低ImageNet上的圖像分類錯誤率，也需要進行10的五次方以上的計算。

根據多項式和指數模型的預測，通過深度學習獲得相應性能基準所需的算力（以Gflops為單位），碳排放量和經濟成本，最樂觀的估計，ImageNet分類誤差要想達到1％，需要10＾28 Gflops的算力，這對硬件來說是不小的壓力。

爆炸式增長結束，頂部提升有機會

用于深度學習模型的計算能力的爆炸式增長已經結束了，并為各種任務的計算機性能樹立了新的基準。但是這些計算限制的可能影響迫使機器學習轉向比深度學習更高效的技術。

過去算力的提升歸納了兩個原因：

一個是底部的發展，即計算機部件的小型化，其受摩爾定律制約；

另一個是頂部的發展，是上面提到的軟件、算法、硬件架構的統稱。

在后摩爾定律時代，提升計算性能的方法，雖然底部已經沒有太多提升的空間，但頂部還有機會。

在軟件層面，可以通過性能工程（performance engineering）提高軟件的效率，改變傳統軟件的開發策略，盡可能縮短軟件運行時間，而不是縮短軟件開發時間。另外，性能工程還可以根據硬件的情況進行軟件定制，如利用并行處理器和矢量單元。

在算法層面，在已有算法上的改進是不均勻的，而且具有偶然性，大量算法進展可能來源于新的問題領域、可擴展性問題、根據硬件定制算法。

在硬件層面，由于摩爾定律的制約，顯然需要改進的是硬件的架構，主要問題就是如何簡化處理器和利用應用程序的并行性。

通過簡化處理器，可以將復雜的處理核替換為晶體管數量需求更少的簡單處理核。由此釋放出的晶體管預算可重新分配到其他用途上，比如增加并行運行的處理核的數量，這將大幅提升可利用并行性問題的效率。

深度學習時代AI模型需規模化擴展

現代AI模型需要消耗大量電力，而且對電力的需求正以驚人的速度增長。在深度學習時代，構建一流AI模型所需要的計算資源平均每3．4個月翻一番。

在當今以深度學習為中心的研究范式當中，AI的主要進步主要依賴于模型的規模化擴展：數據集更大、模型更大、計算資源更大。

在訓練過程中，神經網絡需要為每一條數據執行一整套冗長的數學運算（正向傳播與反向傳播），并以復雜的方式更新模型參數。

在現實環境中部署并運行AI模型，所帶來的能源消耗量甚至高于訓練過程。實際上，神經網絡全部算力成本中的80％到90％來自推理階段，而非訓練階段。

因此，數據集規模越大，與之對應的算力與能源需求也在飛速增長。模型中包含的參數量越大，推理階段所帶來的電力需求就越夸張。

深度學習時代AI模型需規模化擴展

現代AI模型需要消耗大量電力，而且對電力的需求正以驚人的速度增長。在深度學習時代，構建一流AI模型所需要的計算資源平均每3．4個月翻一番。

在當今以深度學習為中心的研究范式當中，AI的主要進步主要依賴于模型的規模化擴展：數據集更大、模型更大、計算資源更大。

在訓練過程中，神經網絡需要為每一條數據執行一整套冗長的數學運算（正向傳播與反向傳播），并以復雜的方式更新模型參數。

在現實環境中部署并運行AI模型，所帶來的能源消耗量甚至高于訓練過程。實際上，神經網絡全部算力成本中的80％到90％來自推理階段，而非訓練階段。

因此，數據集規模越大，與之對應的算力與能源需求也在飛速增長。模型中包含的參數量越大，推理階段所帶來的電力需求就越夸張。

雖然深度網絡會是解決方案的一部分，但還需要涉及組合原則和因果模型的互補方法，以捕捉數據的基本結構。此外，面對組合性爆炸，需要要再次思考如何訓練和評估視覺算法。

每一次人工智能低谷來臨之前，都會有科學家夸大和炒作他們創造的潛力，僅僅說他們的算法就能夠很好地完成某項任務是不夠的。

對大多數問題來說，深度學習并不是正確的解決方法，不要試圖為所有的問題尋找通用人工智能解決方案，因為它根本就不存在。

結尾：

深度學習的發展可能已達極限，但其影響還將持續深遠。為了避免在“人工智能冬天”中被淘汰的命運，能做的最好的事情就是明確你要解決的問題，并理解其本質；然后，尋找為特定問題提供解決方案的直觀路徑的方法。
? ? ? ?責任編輯:pj