機器學習很大程度上就像軟件工程一樣，比如我現在要實現一個key-value的數據庫，那么有很多種模式都可以實現，但是他們最終所達到的效果卻是千差萬別的。同樣，在機器學習領域，如果我想實現一個分類器，也有很多種算法，但是每種算法都對數據做了不同的前提假設。

曾經當我們處理少量數據的時候，我們往往可以先設計若干種算法，然后每種都測試一下，選擇一種最優的方法，但是當面對大數據時，我們就需要轉變一下思路，首先對數據進行分析，然后選擇一種模型對數據進行處理。

在過去，我們經常會發現，很多人都沉迷于某一種模型，無論遇到任何問題他們都會選擇同樣的模型來解決問題，而原因僅僅是他們擅長這個模型，而不是數據適合這個模型。在這篇文章中，主要會來陳述下在機器學習時常見的幾種錯誤。

1. 使用模型默認的損失函數

損失函數是一個機器學習算法的核心，損失函數決定了最終優化后得到的參數以及模型本身。在不同的業務場景下，優化的目標應該是不同的。例如我在珍愛網做付費用戶預測時，由于付費用戶本身數量級就不大，所以我寧可誤判十個，也不能錯過一個。所以這個時候我們就需要去修改分類器模型的損失函數。

2. 無根據地選擇線性模型

這個同樣是我很常遇到的同事會犯的錯誤。遇到一個分類問題，二話不說就上邏輯回歸，其實原因很簡單，就是因為邏輯回歸效率高，實現容易。但是大家往往都忽略了一點，邏輯回歸本身就是一個線性模型，但是真實數據是否線性可分卻是我們未知的情況。其實我個人認為，由于高維數據下判斷數據是否線性可分幾乎是一個不現實的任務，所以我個人的經驗往往是先使用邏輯回歸做一次分類，但是同時也會采用決策樹，或者SVM等非線性模型來對該數據進行重新的分類比對。（我不知道是否有更好的方法）

話說在大數據情況下，很多人都來和我講現在都提倡海量數據+線性模型，但是我個人認為這句話是有誤的，線性模型的成立并非建立在海量數據的基礎上，而是建立在海量特征的基礎上，說的更恰當些，應該是建立在更好的特征工程的基礎之上。

3. 忽視異常值的意義

異常值是個很有趣的事情，讓你又愛又恨。我記得之前在統計之都上看過一篇文章對我啟發很大，說曾經我們都愿意把異常值直接給丟掉，但是我們卻忘記了異常值并非錯誤值，而同樣是真實情況的表現，我們之所以認為異常，只是因為我們的數據量不足夠大而已。文中還舉了一個例子，說我們用計算機來模擬高斯分布，也一樣會模擬出一些數據點落在N個標準差之外，而我們并不能說這是異常點，因為如果我們把這些點刪除掉，這就不是一個高斯分布了。所以異常值很多情況下非但不能丟掉，還需要引起我們的足夠重視和分析，例如網站的收入突然增長。

但是我們又要注意這個異常值是否是錯誤值，如果是錯誤值，這個時候我們就應該想辦法把這些錯誤值去掉，因為這些錯誤往往會影響我們實際的模型效果。如果當訓練數據中包含一些異常值的時候，我們就需要考慮模型的敏感性了，例如AdaBoost, Kmeans這種就屬于對異常值很敏感的機器學習模型。

4. 不考慮n和p的關系

n: 訓練數據的數量。p: 特征的數量。SVM核函數的一個關鍵概念就是維度提升，如果當n << p的時候，還依然采用SVM來選定模型，那么就必然會導致p進一步增加，于是導致特征的參數中自由變量增加，必然會對分類的效果產生很大的影響。

5. L1 / L2 正則化之前并沒有對特征進行標準化

這個道理很簡單，如果你的每個特征是處在不同的區間時，你是沒辦法去做L1/L2的正則化的，舉個例子，x1 代表年齡，x2 代表收入，如果我采用一個廣義的線性模型，比如 Y = f(ax1 + bx2)，然后x1大小范圍是10-50，x2大小范圍是5000 - 100000，a和b根本就沒辦法在一個量級上，這時正則化一定是有問題的。

6. 變量之間的共線性問題

當特征變量之間產生共線性時，產生最大的問題就是讓線性模型的參數是無法解釋的，正常來說線性模型的參數權重基本就代表了該特征變量的重要性，但是如果共線性，那么這個意義就失效了。但是我也并不知道這個有什么特別好的解決方法，因為當特征增加時，特征之間的共線性（或者說相關性吧，這樣更泛一些）幾乎是不可避免的。