分類變量特征提取

分類數據的獨熱編碼方法，分類變量特征提取（One-of-K or One-Hot Encoding）：通過二進制數來表示每個解釋變量的特征

from sklearn.feature_extraction import DictVectorizer

onhot_encoder = DictVectorizer（）

instances=［{‘city’：‘New York’}，{‘city’：‘San Francisco’}，{‘city’：‘Chapel Hill’}］

print （onhot_encoder.fit_transform（instances）.toarray（））

［［0. 1. 0.］

［0. 0. 1.］

［1. 0. 0.］］

文字特征提取-詞庫模型

文字模型化最常用方法，可以看成是獨熱編碼的一種擴展，它為每個單詞設值一個特征值。依據是用類似單詞的文章意思也差不多。可以通過有限的編碼信息實現有效的文檔分類和檢索。

CountVectorizer 類會將文檔全部轉換成小寫，然后將文檔詞塊化（tokenize）。文檔詞塊化是把句子分割成詞塊（token）或有意義的字母序列的過程。詞塊大多是單詞，但是他們也可能是一些短語，如標點符號和詞綴。

CountVectorizer類通過正則表達式用空格分割句子，然后抽取長度大于等于2的字母序列。

from sklearn.feature_extraction.text import CountVectorizer

corpus = ［

‘UNC played Duke in basketball’，

‘Duke lost the basketball game’，

‘I ate a sandwich’

］

vectorizer = CountVectorizer（）

print （vectorizer.fit_transform（corpus）.todense（））

print （vectorizer.vocabulary_）

［［0 1 1 0 1 0 1 0 0 1］

［0 1 1 1 0 1 0 0 1 0］

［1 0 0 0 0 0 0 1 0 0］］

{‘unc’： 9， ‘played’： 6， ‘duke’： 2， ‘in’： 4， ‘basketball’： 1， ‘lost’： 5， ‘the’： 8， ‘game’： 3， ‘ate’： 0， ‘sandwich’： 7}

對比文檔的特征向量

對比文檔的特征向量，會發現前兩個文檔相比第三個文檔更相似。如果用歐氏距離（Euclidean distance）計算它們的特征向量會比其與第三個文檔距離更接近。

兩向量的歐氏距離就是兩個向量歐氏范數（Euclidean norm）或L2范數差的絕對值：d=||x0-x1||向量的歐氏范數是其元素平方和的平方根：scikit-learn里面的euclidean_distances函數可以計算若干向量的距離，表示兩個語義最相似的文檔其向量在空間中也是最接近的。

from sklearn.feature_extraction.text import CountVectorizer

from sklearn.metrics.pairwise import euclidean_distances

vectorizer = CountVectorizer（）

corpus = ［

‘UNC played Duke in basketball’，

‘Duke lost the basketball game’，

‘I ate a sandwich’

］

counts = vectorizer.fit_transform（corpus）.todense（）

for x，y in ［［0，1］，［0，2］，［1，2］］：

dist = euclidean_distances（counts［x］，counts［y］）

print（‘文檔{}與文檔{}的距離{}’.format（x，y，dist））

文檔0與文檔1的距離［［2.44948974］］

文檔0與文檔2的距離［［2.64575131］］

文檔1與文檔2的距離［［2.64575131］］

圖片特征的提取

數字圖像通常是一張光柵圖或像素圖，將顏色映射到網格坐標里。一張圖片可以看成是一個每個元素都是顏色值的矩陣。表示圖像基本特征就是將矩陣每行連起來變成一個行向量。光學文字識別（Optical character recognition，OCR）是機器學習的經典問題。

scikit-learn的digits數字集包括至少1700種0-9的手寫數字圖像。每個圖像都有8x8像像素構成。每個像素的值是0-16，白色是0，黑色是16。

# 通過像素提取特征值

from sklearn import datasets

import matplotlib.pyplot as plt

digits = datasets.load_digits（）

print（‘Digit：’，digits.target［0］）

print （digits.images［0］）

plt.figure（）

plt.axis（‘off’）

plt.imshow（digits.images［0］， cmap=plt.cm.gray_r， interpolation=‘nearest’）

plt.show（）