有意思的是，這個回答，來自OpenAI開發的預訓練語言模型——GPT-3，這個可以跟人類對線、創作小說、編吉他譜的AI，著實在硅谷火了一把。

很難想象，2017年的ANI（弱人工智能，比如你手機上的Siri），智商測試的結果只有47，相當于一個六歲孩子的水平。

無疑，像GPT-3這樣的AGI（強人工智能）才是下一代AI的未來。

那實現從ANI到AGI跨越的關鍵是什么呢？——算力。GPT-3的高智商，很大程度上得益于算力的提升，它的參數量是1750 億，足足是 GPT-2 的 116 倍。

不過，麻省理工學院的研究人員最近發出了算力警告：深度學習正在逼近計算極限。

深度學習的阻礙——算力

現代計算機的計算能力以及可用于饋送算法的大量數據，的確讓我們步入了AI開發的新高度。不過，還不夠。

根據MIT的一項研究，深度學習的進展非常依賴算力的增長。他們斷言，必須發明革命性的算法才能更有效地使用深度學習方法。

研究人員分析了預印本服務器Arxiv.org上的1058篇論文和其他基準資料，以理解深度學習性能和算力之間的聯系，主要分析了圖像分類、目標檢測、問題回答、命名實體識別和機器翻譯等領域兩方面的計算需求:

1、每一網絡遍歷的計算量，或給定深度學習模型中單次遍歷(即權值調整)所需的浮點運算數。

2、訓練整個模型的硬件負擔，用處理器數量乘以計算速度和時間來估算。

結論顯示，訓練模型的進步取決于算力的大幅提高，具體來說，計算能力提高10倍相當于3年的算法改進成果。

換言之，算力提高的背后，其實現目標所隱含的計算需求——硬件、環境和金錢等成本將變得無法承受。

計算中有一個稱為摩爾定律的概念，它假定計算能力每兩年翻一番。OpenAI最近發布的一項研究表明，AI訓練中使用的計算能力每3到4個月翻一番，這大大提高了我們習慣的標準進度。自2012年以來，人工智能要求計算能力增加300,000倍，而按照摩爾定律，則只能將AI提升7倍。

人們從來沒有想到過芯片的算力會有到達極限的一天，至少從來沒有想到芯片算力極限會這么快到來。

深度學習的未來

關于提升算力，我們先把目光投向那些研究AI的大廠。

谷歌團隊去年開發的一種翻譯算法，大約需要運行12,000個專用芯片。據一些估計，通過云租用這么多的計算機功能將花費多達300萬美元。

谷歌的高層們轉念一想，這成本也太大了，這么下去不是個辦法。于是他們搞起了“量子至上”，并開發了一種能夠解決計算問題的量子處理器——Sycamore，計算能力相當于一臺超級計算機的10,000多倍。

再看看IBM，谷歌在量子計算領域的最大競爭對手之一，當然也不甘示弱。IBM自己的Summit之類的超級計算機可以在兩步內完成與Sycamore處理器相同的計算，僅需半天而不是10,000年。

雖然與谷歌的處理器完成任務大約需要三分半鐘的時間相比，差距還是比較大的。但在深度學習領域取得如此大的進展，量子計算是條出路。

在這些大廠相互“廝殺血拼”的時候，吃瓜群眾大都心存疑慮：深度學習，或者說機器學習，未來到底在何方？

2020年是至關重要的一年，這將為AI領域下一個十年的創新定下基調并繼續保持現有的勢頭。以下是五個新興AI和機器學習的趨勢：

1）數字數據監管

在當今世界，數據就是一切。各種技術的出現推動了數據的補充。無論是汽車工業還是制造業；數據正以前所未有的速度生成。但是問題是，“所有數據都相關嗎？”

好了，為了解開這個謎團，可以部署機器學習，因為它可以通過設置云解決方案和數據中心來對任意數量的數據進行排序。它僅根據數據的重要性過濾數據并調出功能數據，同時保留廢料。這樣，可以節省時間，組織也可以管理支出。

2020年，將產生大量數據，并且行業將要求機器學習對相關數據進行分類以提高效率。

2）語音協助中的機器學習

語音助手在行業中占相當大的比例。Siri，Cortana，Google Assistant和Amazon Alexa是智能個人助理的熱門示例。

機器學習與人工智能相結合，可以以最高的準確性幫助處理操作。因此，機器學習將幫助行業輕松完成復雜而重要的任務，同時提高生產率。

到2020年，不斷增長的研究與投資領域將主要集中在淘汰定制設計的機器學習語音幫助上。

3）有效營銷

營銷是每個企業在激烈的競爭中生存的重要因素。它在推動預期結果的同時提升了業務的存在性和可見性。但是，利用現有的多個營銷平臺，甚至要證明業務存在，就變得具有挑戰性。

但是，如果一家企業足夠成功，可以從現有用戶數據中提取模式，那么就非常有希望制定成功且有效的營銷策略。為了分析數據，可以使用機器學習來挖掘數據并評估研究方法以獲得更有益的結果。

在未來一段時間內，人們高度期望采用機器學習來定義有效的營銷策略。

4）網絡安全的發展

網絡安全一直是熱門話題，黑客每天創建大量的惡意軟件樣本，借助計算機、網絡、程序和數據中心，向企業或政府發動攻擊。

值得慶幸的是，我們擁有機器學習技術，可通過自動執行復雜任務并自行檢測網絡攻擊來提供多層保護。不僅如此，機器學習還可以擴展為對網絡安全漏洞做出反應并減輕損害。它可以自動響應網絡攻擊，而無需人工干預。

展望未來，機器學習將用于高級網絡防御計劃中，以控制并保存損害。

5）可解釋的人工智能-Explainable AI

XAI-可解釋的人工智能是另一個正在討論的未來AI趨勢。如今在許多行業和用例中，機器學習方法得出的結果不容易解釋。例如，數據科學家有時可能難以理解導致AI做出特定決定的原因，更不用說向其他人（例如客戶）解釋了。XAI的概念是一種AI，它可以解釋自己的決策過程，它源于能夠解釋算法的推理方式的需要，因為它還可以改進算法并避免錯誤。

XAI開發的主要障礙是神經網絡大多不那么容易解釋，因為各層返回權重矩陣。已經有一些想法正在實施，例如權重矩陣的熱圖可以改善神經網絡的可解釋性。可以肯定的是，未來幾年將在這一領域進行更多的研究。

深度學習的誤區

目前，深度學習在計算機視覺、自然語言處理與自然科學領域均展開了大規模的應用。一方面，深度學習有著比其他機器學習算法更加優秀的普適性；另一方面，這種普適性是以更高的時間與空間復雜度為代價的。

作為一名算法工程師，需要做的不僅僅是關注算法的可行性，還需要關注算法本身的復雜度。算法的普適性使深度學習算法具有了比其他機器學習算法更加寬廣的想象空間，而這也對相關從業者提出了更高的要求，因為需要了解多個學科的內容。

深度學習內容涉及的統計和幾何內容是相對復雜的知識體系。初學者缺乏一個合適的實現過程與理論描述方式，在進行深入學習時，往往會有以下誤區：

第一個誤區是對所有算法均試圖以圖形方式去理解或者尋找一種形象的方式去解釋。這種方式并不可取，因為初學者應當把精力放于公式之上，這對于算法實現和定量思維方式的建立都是十分重要的。

第二個誤區是試圖理解每一個公式，使學習過程無法繼續進行。初學者應當先建立知識框架，也就是了解每一種算法之間的關系與內在設計思路，在此之上再進行對公式的理解。

第三個誤區是太過強調機器學習庫。機器學習庫本身僅是輔助，更多的工作需要依賴于對算法的理解。在深入理解之后就會發現，幾乎所有的機器學習庫，比如PyTorch、Caffe等，均是十分相近的。

要解決這些問題，就要將精力集中于幾個部分。比如在數學基礎部分將主要精力放在理解什么是機器學習以及矩陣相關的概念；在深度神經網絡部分希望讀者更加關注于建模思路；深度學習建模思路是相近的，理解它有助于快速遷移至其他項目任務之中。

《深度學習算法和實踐》力求以統一的數學語言詳細而完整地描述深度學習理論，內容上側重于與應用相關的重點算法與理論，特別是算法預測過程。每一章的寫作過程盡量避免使用圖形，取而代之的是詳細的公式描述，這使讀者初讀本書時可能有些許障礙。但習慣了公式之后就會發現，圖形會使我們的理解出現偏差，同時無法進行實現，而公式則沒有這個問題。每一章都盡量對理論有完整的公式推演過程 ，供讀者熟悉理論知識。同時，在章節最后會對公式進行實現，以幫助讀者在進行理論學習的同時通過實踐快速學握算法。
編輯：hfy