發展至今，人工智能可以劃分為兩類：弱人工智能和強人工智能。前者讓機器具備觀察和感知的能力，能做到一定程度的理解和推理；而強人工智能是讓機器獲得自適應能力，解決一些從沒遇到過的問題。這里的“智能”從何而來？人工智能又如何取得突破？要從一種實現人工智能的方法——機器學習說起。

與傳統的為解決特定任務、硬編碼的軟件程序不同，機器學習是用大量的數據來“訓練”，通過各種算法從數據中學習如何完成任務。

這里有三個重要信息：1. “機器學習”是“模擬、延伸和擴展人的智能”的一條路徑，是人工智能的一個子集；2. “機器學習”要基于大量數據，也就是說它的“智能”是用大量數據喂出來的；（敲黑板！！！這個后面會用到）3. 正是因為要處理海量數據，所以大數據技術尤為重要，而“機器學習”只是大數據技術上的一個應用。

雖然傳統的機器學習算法在指紋識別、人臉檢測等領域的應用基本達到了商業化要求，但“再進一步”卻很艱難，直到深度學習算法的出現。

深度學習（Deep Learning）屬于機器學習的子類，是目前最熱的機器學習方法，但它并不意味著是機器學習的終點。它的靈感來源于人類大腦的工作方式，是利用深度神經網絡來解決特征表達的一種學習過程。深度神經網絡本身并非是一個全新概念，可理解為包含多個隱含層的神經網絡結構。機器學習和深度學習有哪些維度的不同？機器學習是一種實現人工智能的方法，深度學習是一種實現機器學習的技術。一個同心圓就可以展現出它們的關系。

具體不同大致有以下幾點：

1. 數據依賴。隨著數據量的增加，二者的表現有很大區別。深度學習適合處理大數據，而數據量比較小的時候，用傳統機器學習方法也許更合適。

2. 硬件依賴。深度學習十分地依賴于高端的硬件設施，因為計算量實在太大。它會涉及很多矩陣運算，因此很多深度學習都要求有GPU（專門為矩陣運算而設計的）參與運算。

3. 特征工程。簡單講就是在訓練一個模型的時候，需要首先確定哪些特征。在機器學習方法中，幾乎所有特征都需要人為確認后，再進行手工特征編碼。而深度學習試圖自己從數據中學習特征。

4. 解決問題的方式。（重點！）解決問題時，機器學習通常先把問題分成幾塊，一個個地解決好之后，再重新組合。但是深度學習是一次性、端到端地解決。

5. 運行時間。深度學習需要花大量時間來訓練，因為有太多參數要去學習。機器學習一般幾秒鐘最多幾小時就可以訓練好。但深度學習訓練出的模型優勢就在于，在預測任務上運行非常快。也是剛剛提到的實時物體檢測。

深度學習前加個“分布式”，又是怎么回事？面對越來越復雜的任務，數據和深度學習模型的規模都變得日益龐大。當訓練數據詞表增大到成百上千萬時，如果不做任何剪枝處理，深度學習模型可能會擁有上百億、甚至是幾千億個參數。為了提高深度學習模型的訓練效率，分布式訓練出現了——即同時利用多個工作節點，分布式地、高效地訓練出性能優良的神經網絡模型。

目前主要有兩種并行化/分布式訓練方法：數據并行化和模型并行化。數據并行化里，不同的機器有同一個模型的多個副本，每個機器分配到數據的一部分，然后將所有機器的計算結果按照某種方式合并；模型并行化里，分布式系統中的不同機器負責單個網絡模型的不同部分。比如，神經網絡模型的不同網絡層被分配到不同機器。