支持向量機(jī)（SVM）：通過盡可能寬的邊緣方式發(fā)現(xiàn)分離類的邊界。當(dāng)二分式不能清晰的切分時(shí)，算法找到最好的邊界。這個(gè)算法真正的亮點(diǎn)是強(qiáng)烈的數(shù)據(jù)特征，好像文本或者染色體組（>100特性）。在這些情況下，SVMs比其許多其他算法更快遞切分二項(xiàng)，也更少地過度擬合，除了需要少量的內(nèi)存。

人工神經(jīng)網(wǎng)絡(luò)（Artificial neural networks）：是大腦啟發(fā)學(xué)習(xí)算法，覆蓋多項(xiàng)式分類、二項(xiàng)式分類，以及回歸問題。它們帶來了無限的多樣性，包括感知和深度學(xué)習(xí)。它們花費(fèi)很長時(shí)間進(jìn)行訓(xùn)練，但是帶來各種應(yīng)用領(lǐng)域的先進(jìn)性能。

邏輯回歸（Logistic regression）：雖然包含‘回歸’這個(gè)詞看上去有點(diǎn)令人費(fèi)解，邏輯回歸事實(shí)上是一個(gè)對于二項(xiàng)式和多項(xiàng)式分類來說強(qiáng)大的功能。它很快和簡單。事實(shí)是它使用了‘S’形曲線代替直線讓它對于切分?jǐn)?shù)據(jù)進(jìn)入組變得很自然。邏輯回歸給出線性分類邊界（linear class boundaries），所以當(dāng)你使用它來確保一個(gè)線性近似的時(shí)候，類似于你生活中可以使用的一些東西。

決策樹和隨機(jī)樹（Decision trees、random forests）：決策森林（回歸、二項(xiàng)式，以及多項(xiàng)式），決策叢林（二項(xiàng)式、多項(xiàng)式），以及提高決策樹（回歸和二項(xiàng)式）所有被稱為決策樹，一種機(jī)器學(xué)習(xí)的基本概念。決策樹的變種有很多，但是它們都做了相同的事情，使用相同的標(biāo)簽細(xì)分特征空間到各個(gè)區(qū)域。這些可以是一致類別或者恒定值的區(qū)域，依賴于是否你正在做分類或者回歸。

回歸（Regression）：

線性回歸（Linear
regression）：線性回歸擬合直接（或者平臺(tái)，或者超平面）數(shù)據(jù)集。這是一個(gè)工具，簡單而快速，但是對于一些問題可能過于簡單。

貝葉斯線性回歸（Bayesian linear
regression）：它有非常可取的品質(zhì)，避免了過度擬合。貝葉斯方式實(shí)現(xiàn)它通過對可能分布的答案作出一些假設(shè)。這種方式的其他副產(chǎn)品是它們有很少的參數(shù)。

提高決策樹回歸：如上所述，提高決策樹（回歸或二項(xiàng)式）是基于決策樹的，并通過細(xì)分大多數(shù)相同標(biāo)簽的特征空間到區(qū)域完成。提高決策樹通過限制它們可以細(xì)分的次數(shù)和每一個(gè)區(qū)域的最小數(shù)據(jù)點(diǎn)數(shù)量避免過度擬合。算法構(gòu)造一顆序列樹，每一顆樹學(xué)習(xí)補(bǔ)償樹前留下的錯(cuò)誤。結(jié)果是非常準(zhǔn)確的學(xué)習(xí)者，該算法傾向于使用大量內(nèi)存。

聚合（Clustering）：

層次聚類（Hierarchical
clustering）：層次聚類的試圖簡歷一個(gè)層次結(jié)構(gòu)的聚類，它有兩種格式。聚集聚類（Agglomerative
clustering）是一個(gè)“自下而上”的過程，其中每個(gè)觀察從自己的聚類開始，隨著其在層次中向上移動(dòng)，成對的聚類會(huì)進(jìn)行融合。分裂聚類（Divisive
clustering）則是一種“自頂向下”的方式，所有的觀察開始于一個(gè)聚類，并且會(huì)隨著向下的層次移動(dòng)而遞歸式地分裂。整體而言，這里進(jìn)行的融合和分裂是以一種激進(jìn)的方式確定。層次聚類的結(jié)果通常表示成樹狀圖（dendrogram）形式。

k-均值聚類（k-means
clustering）的目標(biāo)是將n組觀測值分為k個(gè)聚類，其中每個(gè)觀測值都屬于其接近的那個(gè)均值的聚類，這些均值被用作這些聚類的原型。這會(huì)將數(shù)據(jù)空間分割成Voronoidan單元。

異常檢測（Anomaly detection）：

K最近鄰（k-nearest
neighbors/k-NN）是用于分類和回歸的非參數(shù)方法。在這兩種情況下，輸入都是由特征空間中與k最接近的訓(xùn)練樣本組成的。在k-NN分類中，輸出是一個(gè)類成員。對象通過其k最近鄰的多數(shù)投票來分類，其中對象被分配給k最近鄰并且最常見的類（k是一個(gè)正整數(shù)，通常較小）。在k-NN回歸中，輸出為對象的屬性值。該值為其k最近鄰值的平均值。

單類支持向量機(jī)（One-class
SVM）：使用了非線性支持向量機(jī)的一個(gè)巧妙的擴(kuò)展，單類支持向量機(jī)可以描繪一個(gè)嚴(yán)格概述整個(gè)數(shù)據(jù)集的邊界。遠(yuǎn)在邊界之外的任何新數(shù)據(jù)點(diǎn)都是足夠非正常的，也是值得特別關(guān)注的。

第3步：實(shí)現(xiàn)所有適用的算法

對于給定的問題，通常會(huì)有一些候選算法可以適用。所以我們?nèi)绾沃滥囊粋€(gè)可以挑選？通常，這個(gè)問題的答案不是那么直截了當(dāng)?shù)模晕覀儽仨毞磸?fù)試驗(yàn)。

原型開發(fā)最好分兩步完成。第一步，我們希望通過最小化特征工程快速而簡單地完成幾種算法的實(shí)現(xiàn)。在這個(gè)階段，我們主要興趣在粗略來看那個(gè)算法表現(xiàn)更好。這個(gè)步驟有點(diǎn)類似招聘：我們會(huì)盡可能地尋找可以縮短我們候選算法列表的理由。

一旦我們將列表縮減為幾個(gè)候選算法，真正的原型開發(fā)開始了。理想地，我們想建立一個(gè)機(jī)器學(xué)習(xí)流程，使用一組經(jīng)過精心挑選的評估標(biāo)準(zhǔn)比較每個(gè)算法在數(shù)據(jù)集上的表現(xiàn)。在這個(gè)階段，我們只處理一小部分的算法，所以我們可以把注意力轉(zhuǎn)到真正神奇的地方：特征工程。

第4步：特征工程

或許比選擇算法更重要的是正確選擇表示數(shù)據(jù)的特征。從上面的列表中選擇合適的算法是相對簡單直接的，然而特征工程卻更像是一門藝術(shù)。

主要問題在于我們試圖分類的數(shù)據(jù)在特征空間的描述極少。利如，用像素的灰度值來預(yù)測圖片通常是不佳的選擇；相反，我們需要找到能提高信噪比的數(shù)據(jù)變換。如果沒有這些數(shù)據(jù)轉(zhuǎn)換，我們的任務(wù)可能無法解決。利如，在方向梯度直方圖（HOG）出現(xiàn)之前，復(fù)雜的視覺任務(wù)（像行人檢測或面部檢測）都是很難做到的。

雖然大多數(shù)特征的有效性需要靠實(shí)驗(yàn)來評估，但是了解常見的選取數(shù)據(jù)特征的方法是很有幫助的。這里有幾個(gè)較好的方法：

主成分分析（Principal component
analysis，PCA）：一種線性降維方法，可以找出包含信息量較高的特征主成分，可以解釋數(shù)據(jù)中的大多數(shù)方差。

尺度不變特征變換（Scale-invariant feature
transform，SIFT）：計(jì)算機(jī)視覺領(lǐng)域中的算法，用以檢測和描述圖片的局部特征。它有一個(gè)開源的替代方法
ORB（Oriented FAST and rotated BRIEF）。

加速穩(wěn)健特征（Speeded up robust features，SURF）：SIFT 的更穩(wěn)健版本。

方向梯度直方圖（Histogram of oriented
gradients，HOG）：一種特征描述方法，在計(jì)算機(jī)視覺中用于計(jì)數(shù)一張圖像中局部部分的梯度方向的發(fā)生。

當(dāng)然，你也可以想出你自己的特征描述方法。如果你有幾個(gè)候選方法，你可以使用封裝好的方法進(jìn)行智能的特征選擇。

前向搜索：

最開始不選取任何特征。

然后選擇最相關(guān)的特征，將這個(gè)特征加入到已有特征；計(jì)算模型的交叉驗(yàn)證誤差，重復(fù)選取其它所有候選特征；最后，選取能使你交叉驗(yàn)證誤差最小特征，并放入已選擇的特征之中。

重復(fù)，直到達(dá)到期望數(shù)量的特征為止！

反向搜索：

從所有特征開始。
先移除最不相關(guān)的特征，然后計(jì)算模型的交叉驗(yàn)證誤差；對其它所有候選特征，重復(fù)這一過程；最后，移除使交叉驗(yàn)證誤差最大的候選特征。
重復(fù)，直到達(dá)到期望數(shù)量的特征為止！
使用交叉驗(yàn)證的準(zhǔn)則來移除和增加特征！

第5步：超參數(shù)優(yōu)化（可選）

最后，你可能想優(yōu)化算法的超參數(shù)。例如，主成分分析中的主成分個(gè)數(shù)，k 近鄰算法的參數(shù) k，或者是神經(jīng)網(wǎng)絡(luò)中的層數(shù)和學(xué)習(xí)速率。最好的方法是使用交叉驗(yàn)證來選擇。

一旦你運(yùn)用了上述所有方法，你將有很好的機(jī)會(huì)創(chuàng)造出強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。但是，你可能也猜到了，成敗在于細(xì)節(jié)，你可能不得不反復(fù)實(shí)驗(yàn)，最后才能走向成功。

相關(guān)知識(shí)

二項(xiàng)式分類（binomial classification）：

適用環(huán)境：

各觀察單位只能具有相互對立的一種結(jié)果，如陽性或陰性，生存或死亡等，屬于兩分類資料。
已知發(fā)生某一結(jié)果（陽性）的概率為p，其對立結(jié)果的概率為1?p，實(shí)際工作中要求p是從大量觀察中獲得比較穩(wěn)定的數(shù)值。
n次試驗(yàn)在相同條件下進(jìn)行，且各個(gè)觀察單位的觀察結(jié)果相互獨(dú)立，即每個(gè)觀察單位的觀察結(jié)果不會(huì)影響到其他觀察單位的結(jié)果。如要求疾病無傳染性、無家族性等。
符號(hào)：b(x,n,p)
概率函數(shù)*：Cxnpxqn?x，其中x=0,1,?,n為正整數(shù)即發(fā)生的次數(shù)，Cxn=n!x!(n?x)!

例題：
擲硬幣試驗(yàn)。有10個(gè)硬幣擲一次，或1個(gè)硬幣擲十次。問五次正面向上的概率是多少?

解：根據(jù)題意n＝10，p＝q＝12，x＝5
b(5,l0,12)=C510p5q10=10!(5!(10?5)!)×(12)5×(12)5=252×(132)×(132)=0.2469
所以五次正面向上的概率為0．24609

Support vector machines

是一種監(jiān)督式學(xué)習(xí)的方法，可廣泛地應(yīng)用于統(tǒng)計(jì)分類以及回歸分析。支持向量機(jī)屬于一般化線性分類器，也可以被認(rèn)為是提克洛夫規(guī)范化（Tikhonov Regularization）方法的一個(gè)特例。這族分類器的特點(diǎn)是他們能夠同時(shí)最小化經(jīng)驗(yàn)誤差與最大化幾何邊緣區(qū)，因此支持向量機(jī)也被稱為最大邊緣區(qū)分類器。

全文總結(jié)

所有的技術(shù)選型原理都是類似的，首先需要你的自身知識(shí)積累，然后是明確需要解決的問題，即明確需求。接下來確定一個(gè)較大的調(diào)研范圍，進(jìn)而進(jìn)一步調(diào)研后縮小范圍，最后通過實(shí)際應(yīng)用場景的測試挑選出合適的技術(shù)方案或者方法。機(jī)器學(xué)習(xí)算法選擇，也不例外。