機器學習算法的分類是棘手的，有幾種合理的分類，他們可以分為生成/識別，參數/非參數，監督/無監督等。

例如，Scikit-Learn的文檔頁面通過學習機制對算法進行分組。這產生類別如：1，廣義線性模型，2，支持向量機，3，最近鄰居法，4，決策樹，5，神經網絡，等等…

但是，從我們的經驗來看，這并不總是算法分組最為實用的方法。那是因為對于應用機器學習，你通常不會想，“今天我要訓練一個支持向量機！”相反，你心里通常有一個最終目標，如利用它來預測結果或分類觀察。

所以在機器學習中，有一種叫做“沒有免費的午餐”的定理。簡而言之，它的意思就是說沒有任何一種算法可以完美地解決每個問題，這對于監督式學習（即預測性建模）尤其重要。

例如，你不能說神經網絡總是比決策樹好，反之亦然。有很多因素在起作用，比如數據集的大小和結構。因此，您應該為您的問題嘗試許多不同的算法，同時使用數據的“測試集”來評估性能并選擇優勝者。

當然，你嘗試的算法必須適合你的問題，這就是選擇正確的機器學習算法的重要性之所在。打個比方，如果你需要清理你的房子，你可以使用真空吸塵器，掃帚或拖把，但是你不會拿出一把鏟子然后開始挖掘。

因此，我們想要介紹另一種分類算法的方法，即通過機器學習所負責的任務來分類。

機器學習的任務

1.回歸

回歸是一種用于建模和預測連續數值變量的監督學習任務。例如預測房地產價格，股價變動或學生考試分數。

回歸任務的特征是具有數字目標變量的標記數據集。換句話說，對于每個可用于監督算法的觀察結果，您都有一些“基于事實”的數值。

1.1。 （正則化）線性回歸

線性回歸是回歸任務中最常用的算法之一。它最簡單的形式是試圖將一個直的超平面整合到你的數據集中（即當你只有兩個變量的時候，你只能得到一條直線）。正如您可能猜到的那樣，當數據集的變量之間存在線性關系時，它的效果是非常好的。

實際上，簡單的線性回歸經常被正則化的同類算法（LASSO，Ridge和Elastic-Net）所忽略。正則化是一種懲罰大系數的技術，以避免過度擬合，它應該調整其懲罰的力度。

優點：線性回歸可以直觀地理解和解釋，并且可以正則化以避免過度擬合。另外，使用隨機梯度下降的新數據可以很容易地更新線性模型。

缺點：當存在非線性關系時，線性回歸表現不佳。它們本身并不具有足夠的靈活性來捕捉更為復雜的模式，對于添加正確的交互作用項或者多項式來說可能會非常棘手和耗時。

實現：Python/ R

1.2。回歸樹（集成）

回歸樹（決策樹的一種）是通過將數據集反復分割成單獨的分支來實現分層化學習，從而最大化每個分割信息的增益效果。這種分支結構允許回歸樹自然地學習非線性關系。

隨機森林（RF）和梯度增強樹（GBM）等集成方法結合了許多單獨樹的特性。我們不會在這里介紹他們的基本機制，但是在實踐中，隨機森林通常表現地非常好，而梯度增強樹則很難調整，但是后者往往會有更高的性能上限。

優點：回歸樹可以學習非線性關系，并且對異常值相當敏銳。在實踐中，回歸樹也表現地非常出色，贏得了許多經典（即非深度學習）的機器學習比賽。

缺點：無約束的單個樹很容易過擬合，因為它們可以保持分支直到它們記住了所有的訓練數據。但是，這個問題可以通過使用集成的方式來緩解。

實現：隨機森林 - Python / R，梯度增強樹 - Python / R

1.3。深度學習

深度學習是指能學習極其復雜模式的多層神經網絡。他們使用輸入和輸出之間的“隱藏層”來模擬其他算法難以學習的數據中介碼。

他們有幾個重要的機制，如卷積和丟棄，使他們能夠有效地從高維數據中學習。然而，與其他算法相比，深度學習仍然需要更多的數據來訓練，因為這些模型需要更多的參數來實現其更準確的推測。

優點：深度學習是在諸如計算機視覺和語音識別等領域內，目前可以被利用的最先進的方法。深度神經網絡在圖像，音頻和文本數據上表現地非常出色，可以輕松地使用成批量的傳播方法來更新數據。它的體系結構（即層的數量和結構）可以適應許多類型的問題，并且它們的隱藏層減少了對特征工程的需要。