缺點(diǎn)：深度學(xué)習(xí)算法不適合作為通用算法，因?yàn)樗鼈冃枰罅康臄?shù)據(jù)。事實(shí)上，對于傳統(tǒng)的機(jī)器學(xué)習(xí)問題，它們的表現(xiàn)通常遜色于決策樹。另外，它們需要密集型的計(jì)算訓(xùn)練，而且需要更多的專業(yè)知識來做調(diào)試（即設(shè)置架構(gòu)和超參數(shù)）。

實(shí)現(xiàn)：Python/ R

1.4。特別提及：最近鄰居法

最近鄰居算法是“基于實(shí)例的”，這意味著它會保存每個(gè)訓(xùn)練觀察的結(jié)果。然后，通過搜索最相似的訓(xùn)練觀察值并匯集結(jié)果，來預(yù)測新的觀測值。

這些算法是內(nèi)存密集型的，對于高維度數(shù)據(jù)的表現(xiàn)不佳，并且需要有意義的距離函數(shù)來計(jì)算相似度。在實(shí)踐中，訓(xùn)練正則化回歸或決策樹可能會更節(jié)省你的時(shí)間。

2.分類

分類是建模和預(yù)測分類變量的監(jiān)督學(xué)習(xí)任務(wù)。例如預(yù)測員工的流失，垃圾郵件，財(cái)務(wù)欺詐或者學(xué)生信件等級。

如你所見，許多回歸算法都有分類對應(yīng)。這種算法適用于預(yù)測類（或類概率）而不是實(shí)數(shù)類。

2.1。 （正則化的）邏輯回歸

邏輯回歸是線性回歸的分類對應(yīng)。它預(yù)測被映射到介于0和1之間的邏輯函數(shù)，這意味著預(yù)測可以被解釋為類概率。

模型本身仍然是“線性的”，所以當(dāng)你的類是線性可分的（即它們可以被一個(gè)單一的決策表面分開）時(shí)候，邏輯回歸算法十分有效。 邏輯回歸也可以通過具有可調(diào)懲罰強(qiáng)度的系數(shù)來實(shí)現(xiàn)正則化。

優(yōu)點(diǎn)：數(shù)據(jù)的輸出有一個(gè)很好的概率解釋，算法可以正則化以避免過度擬合。 邏輯回歸可以使用隨機(jī)梯度下降的方法使得新數(shù)據(jù)的更新變得更為輕松。

缺點(diǎn)：當(dāng)存在多個(gè)或非線性的決策邊界時(shí)，邏輯回歸往往表現(xiàn)不佳。它不夠靈活，無法自然地捕捉到更復(fù)雜的關(guān)系。

實(shí)現(xiàn)：Python/ R

2.2。分類樹（集成）

分類樹是回歸樹的分類對應(yīng)算法。它們倆被統(tǒng)稱為“決策樹”，或者被稱為“分類和回歸樹（CART）”。

優(yōu)點(diǎn)：與回歸樹一樣，集成分類樹在實(shí)踐中的表現(xiàn)也很好。它們對于異常值的控制是可靠的和可擴(kuò)展的，并且由于它們的層次結(jié)構(gòu)，能夠自然地對非線性決策邊界進(jìn)行建模。

缺點(diǎn)：不受約束的單個(gè)樹容易過度擬合，但是這可以通過集成方法來緩解。

實(shí)現(xiàn)：隨機(jī)森林 - Python / R，梯度增強(qiáng)樹 - Python / R

2.3。深度學(xué)習(xí)

延續(xù)其一貫的趨勢，深度學(xué)習(xí)也很容易適應(yīng)分類問題。實(shí)際上，深度學(xué)習(xí)往往是分類中比較常用的方法，比如在圖像分類中。

優(yōu)點(diǎn)：在分類音頻，文本和圖像數(shù)據(jù)時(shí)，深度學(xué)習(xí)表現(xiàn)地非常出色。

缺點(diǎn)：與回歸一樣，深度神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，所以它不被視為通用算法。

實(shí)現(xiàn)：Python的/ R

2.4。支持向量機(jī)

支持向量機(jī)（SVM）使用稱為核心（kernels）的機(jī)制，它計(jì)算兩個(gè)觀察對象之間的距離。隨后支持向量機(jī)算法找到一個(gè)決策邊界，最大化不同類別的最近成員之間的距離。

例如，具有線性內(nèi)核的支持向量機(jī)類似于邏輯回歸。因此，在實(shí)踐中，支持向量機(jī)的好處通常來自于使用非線性的內(nèi)核來建模一種非線性的決策邊界。

優(yōu)點(diǎn)：支持向量機(jī)可以模擬非線性決策邊界，并有許多內(nèi)核可供選擇。它們對于過度擬合的控制力也相當(dāng)強(qiáng)大，特別是在高維空間。

缺點(diǎn)：然而，支持向量機(jī)是難以調(diào)整的內(nèi)存密集型算法，而且很依賴于選擇正確的核心，并且不能很好地?cái)U(kuò)展到較大的數(shù)據(jù)集里。目前在行業(yè)中，隨機(jī)森林通常優(yōu)于支持向量機(jī)。

實(shí)現(xiàn)：Python/ R

2.5。樸素貝葉斯

樸素貝葉斯（NB）是一個(gè)基于條件概率和計(jì)數(shù)的非常簡單的算法。從本質(zhì)上講，你的模型實(shí)際上是一個(gè)概率表，通過你的訓(xùn)練數(shù)據(jù)得到更新。為了預(yù)測一個(gè)新的觀察結(jié)果，您只需根據(jù)其“特征值”，在“概率表”中查找該類的概率。

它被稱為“樸素的”，是因?yàn)樗鼦l件獨(dú)立的核心假設(shè)（即所有輸入特征是相互獨(dú)立的），這在現(xiàn)實(shí)世界中很少成立。

優(yōu)點(diǎn)：即使條件獨(dú)立性假設(shè)很少成立，但樸素貝葉斯模型在實(shí)踐中表現(xiàn)得非常出色，特別是它十分簡單。而且很容易實(shí)現(xiàn)，并可以和數(shù)據(jù)集同步擴(kuò)展。

缺點(diǎn)：由于其簡單化的原因，樸素貝葉斯模型經(jīng)常被經(jīng)過適當(dāng)訓(xùn)練的其他模型和之前已經(jīng)列出的算法吊打。

實(shí)現(xiàn)：Python/ R

3.聚類