人工智能早已不是一個新名詞，它的發展歷史已經有幾十年。從80年代早期開始，當時計算機科學家設計出可以學習和模仿人類行為的算法。在學習方面，最重要的算法是神經網絡，但由于模型過于強大，沒有足夠的數據支持，導致不是很成功。然而，在一些更具體的任務中，使用數據來適應函數的想法獲得了巨大的成功，這也構成了機器學習的基礎。在模仿方面，人工智能在圖像識別、語音識別和自然語言處理方面有著廣泛的應用。專家們花費了大量時間去創建邊緣計算，彩色型材，N-gram語言模型，語法樹等，不料所獲成績平平。

傳統的機器學習

機器學習（ML）技術在預測中發揮了重要作用，機器學習已經經歷了多代，有一套完備的模型結構，如：

? 線性回歸

? Logistic回歸

? 決策樹

? 支持向量機

? 貝葉斯模型

? 正則化模型

? 集成模型

? 神經網絡

每一個預測模型都基于一定的算法結構，參數可進行調整。訓練預測模型涉及以下步驟：

1.選擇模型結構（例如，邏輯回歸、隨機森林等）。

2.用訓練數據（輸入和輸出）對模型進行反饋。

3.學習算法將輸出最優模型（即具有特定參數的模型，使訓練誤差最小化）。

每個模型都有自己的特點，在某些任務中表現很好，在其他方面也卻不盡人意。但一般來說，我們可以把它們分為低功耗（簡單）模型和大功率（復雜）模型。在不同的模型之間進行選擇是一個非常棘手的問題。傳統上，使用低功耗/簡單模型比使用高功率/復雜模型要好，原因如下：

· 在我們擁有大量的處理能力之前，訓練高功率模型需要花費很長時間。

· 直到我們有一個龐大的數據量，培養高功率模型會導致過擬合問題（由于高功率模型具有豐富的參數，可以適應多種數據的形狀，我們可能最終會訓練出一個與當前訓練數據非常相關的模型，而不是對未來數據進行預測）。

然而，選擇低功耗模型存在著所謂的”欠擬合”問題，即模型結構過于簡單，無法在較復雜的情況下適應訓練數據。（假設下面的數據有一個二次關系：y=5*X的平方;沒有方法可以擬合一個線性回歸：y=A，B，B，B，無論我們選擇什么樣的A和B。）

為了減輕”不適合的問題”，數據科學家通常會應用他們的”領域知識”來產生”輸入特性”，它與輸出有更直接的關系。（例如，返回到二次關系y=5*X的平方），然后通過選取a=5和b=0，擬合線性回歸。

機器學習的一個主要障礙是這個特征工程步驟，它要求領域專家在進入培訓過程之前識別重要的信號。特征工程步驟非常手工，需要大量的領域專門知識，因此成為當今大多數機器學習任務的主要瓶頸。換句話說，如果我們沒有足夠的處理能力和足夠的數據，那么我們必須使用低功耗/簡單的模型，這需要我們花大量的時間和精力來創建適當的輸入特性。這是大多數數據科學家花時間做的事情。

神經網絡的回歸

在2000年代早期，隨著大容量數據時代大量的細粒度事件數據的收集，隨著云計算和大規模并行處理基礎設施的進步，機器處理能力得到了極大的提高。我們不再局限于低功耗/簡單的模型。例如，當今最流行的兩種主流機器學習模型是隨機森林和梯度增強樹。然而，盡管它們都非常強大，并提供非線性模型擬合訓練數據，數據科學家仍然需要仔細地創建功能，以達到良好的性能。

與此同時，計算機科學家重新使用了許多層的神經網絡來完成這些人類模擬任務。這給新出生的DNN（深度神經網絡）在圖像分類和語音識別的任務提供了一個重大的突破。

DNN的主要區別是，你可以發出原信號，（例如，RGB像素值）直接到DNN沒有創造任何特定于域的輸入特征。通過多層次的神經元（這就是為什么它被稱為”深”的神經網絡），能夠自動生成相應的功能，通過各層最后提供了一個很好的預測。這大大節省了”特征工程”的努力，也是數據科學家遇到的一個主要瓶頸。

DNN也演變成許多不同的網絡結構，所以我們美國有線電視新聞網（卷積神經網絡），RNN（神經網絡）、LSTM（長短期記憶）、GAN（生成對抗網絡），遷移學習，注意模型…整個光譜被稱為”深度學習”，這是當今全機器學習界關注的焦點。

強化學習

另一個關鍵的部分是如何模仿一個人（或動物）學習。想象一下感知/行為/獎賞周期的非常自然的動物行為。一個人或動物首先會通過感知他或她處于什么狀態來理解環境?；谶@一點，他或她會選擇一個”動作”把他或她帶到另一個”狀態”，然后他或她會得到一個”獎勵”，如此循環重復。

這種學習方法（稱為強化學習）與傳統的有監督機器學習的曲線擬合方法有很大的不同。特別是，強化學習的發生非常迅速，因為每一個新的反饋（如執行一個動作和獲得一個獎勵）立即被發送來影響隨后的決定。強化學習已經獲得了巨大的成功在自動駕駛汽車以及AlphaGO（下棋機器人）。

強化學習也提供了一個平滑的預測和優化集成，因為它保持一個信念的當前狀態和可能的轉移概率時采取不同的行動，然后作出決定，哪些行動會帶來最好的結果。

深度學習+強化學習=人工智能

與經典機器學習技術相比，深度學習提供了一個更強大的預測模型，通常能產生良好的預測。與經典的優化模型相比，強化學習提供了更快的學習機制，并且更適應環境的變化。