深度學習(Deep Learning)，又名深度神經網絡，前身是一只感知機。生于達特茅斯會議次年的ta，注定與人工智能有著不解之緣。人工智能中的各種機器學習方法，從初期的符號學習到后來統計學習再到現在的深度學習，往往代表了學派之爭。初來咋到的感知機何以敢跟當時的霸主——‘符號主義’（symbolicism）分爭天下？因為ta有個爹叫‘聯結主義’(connectionism)。兩門派針鋒相對的歷史在這暫且不表，先來看看這位初生牛犢，感知機，如何一步步成長為今日叱咤風云的深度學習的。

‘感知機’(perceptron)，一個神秘的名字，到底是什么？雖然借用了人類大腦神經元連接的隱喻，但其終究不過是一個有著輸入和輸出兩層神經元的線性分類器。然而世事并不總是線性的，一個連XOR都解決不了的線性分類器如何委以重任？人工智能的爸爸之一，明斯基（Marvin Minsky），甚至專門出了本書《感知機》將其批判了一番，殊不知正是這本書，差點將深度學習扼殺于襁褓之中。大佬一發話，各路人馬紛紛飲恨而歸，相忘于江湖，神經網絡就此進入寒冬期。

圖1.達特茅斯會議五十年重聚首，中間那位是明斯基，于2016年1月24日辭世

多數人放棄了，但有人堅持了下來。為了解決非線性可分的問題，人類（Rumelhart、Williams、Hinton、LeCun等）為感知機加了些隱藏層（hidden layer）,于是‘多層感知機’便誕生了，這種每層神經元只與下層連接、神經元之間不同層連接的神經網絡結構就是一個最基本的神經網絡，‘前饋神經網絡’（feedforward networks）。如何訓練這個龐然大物，在當時依然不甚明了。直到八十年代中，BP算法的橫空出世，重新燃起了聯結主義的希望。BP算法為訓練多層網絡提供了簡潔優雅的微積分解決方案，使得神經網絡成為現實可用的模型。到此為止，就是神經網絡的第二次潮起。不難想見的是，雖然隨著神經網絡層數的增加，模型能擬合越來越復雜的函數，但如何避免局部最優解，如何避免梯度消失，仍無行之有效的方法。統計學習理論也在此期間登堂入室，大有取而代之之勢。神經網絡再次被打入冷宮。

直到新千年的到來。隨著計算能力的大幅提升和大數據的涌現，及ReLU、pre-training等訓練方法的出現，神經網絡重新以‘深度學習’的名字再現江湖，并在2012年橫掃了各大模式識別競賽，至此再無敗績。互聯網巨頭們見形勢利好，也紛紛披甲上陣，投入巨資，深度學習開始一路狂奔向人生巔峰。有趣的是，神經網絡的興衰史恰好也是其更名換姓史——從‘感知機’到‘神經網絡’再到今天炙手可熱的‘深度學習’，每換一次名字，就涅槃一次，可見一個好名字的重要性。若用五個字概括這次深度學習的復興，我想大概是——新瓶裝舊酒，不對，應該是，時勢造英雄。人工智能的車輪滾滾向前，三十年河東，三十年河西。這次聯結主義占盡了風頭，下一次，又會是誰？

圖2. 著名模式識別競賽ImageNet：Large Scale Visual Recognition Challenge