在之前的格物匯文章中，我們介紹了特征抽取的經典算法——主成分分析（PCA），了解了PCA算法實質上是進行了一次坐標軸旋轉，盡可能讓數據映射在新坐標軸方向上的方差盡可能大，并且讓原數據與新映射的數據在距離的變化上盡可能小。方差較大的方向代表數據含有的信息量較大，建議保留。方差較小的方向代表數據含有的信息量較少，建議舍棄。今天我們就來看一下PCA的具體應用案例和特征映射的另一種方法：線性判別分析（LDA）。

PCA案例

在機器學習中，所使用的數據往往維數很大，我們需要使用降維的方法來突顯信息含量較大的數據，PCA就是一個很好的降維方法。下面我們來看一個具體的應用案例，為了簡單起見，我們使用一個較小的數據集來展示：

顯而易見，我們數據有6維，維數雖然不是很多但不一定代表數據不可以降維。我們使用sklearn中的PCA算法擬合數據集得到如下的結果：

我們可以看到經過PCA降維后依然生成了新的6個維度，但是數據映射在每一個維度上的方差大小不一樣。我們會對每一個維度上的方差進行歸一化，每一個維度上的方差量我們稱為可解釋的方差量（Explained Variance）。由圖可知，每一個維度上可解釋方差占比為：0．4430，0．2638，0．1231，0．1012，0．0485，0．0204。根據經驗來說我們期望可解釋的方差量累計值在80％以上較好，因此我們可以選擇降維降到3維（82．99％）或者4維（93．11％），括號中的數字為累計可解釋的方差量，最后兩維方差解釋只有7％不到，建議舍去。圖中的柱狀圖表示原維度在新坐標軸上的映射向量大小。在前兩維度上表現如下圖所示：

PCA雖然能實現很好的降維效果，但是它卻是一種無監(jiān)督的方法。實際上我們更加希望對于有類別標簽的數據（有監(jiān)督），也能實現降維，并且降維后能更好的區(qū)分每一個類。此時，特征抽取的另一種經典算法——線性判別分析（LDA）就閃亮登場了。