決策樹是聽上去比較厲害且又相對簡單的算法，但在實現它的過程中可能會對編程本身有更深的理解、尤其是對遞歸的利用

我個人的習慣是先說明最終能干什么、然后再來說怎么實現，這樣也能避免一些不必要的信息篩選。所以，這一部分主要用于讓已經知道一定的基礎知識的童鞋知道最后能走多遠，如果是想從頭開始學的話可以無視這一章直接看第一章

1. ID3 和 C4.5（可以控制最大深度），CART 可能會在假期實現

可視化；比如在比較著名的蘑菇數據集上的最終結果為（隨機 5000 個訓練）：正確率 100%（大概挺正常的……）。其中，每個 Node 最后那個括號里面，箭頭前面是特征取值，箭頭后面或者是類別、或者是下一個選取的特征的維度

運用 cv2 的話可以畫出比較傳統的決策樹的可視化圖，效果大致如下：

其中紅色數字標注了該 Node 選擇了數據的哪個維度，綠色字母表示該 Node 所屬的類別，白色字母代表著對應數據維度特征的取值

比如說如果樣本的第 4 維（從 0 開始計數）是 a、l 的話就判為類別 e，是 c、f、m、p、s、y 的話就判為類別 p，是 n 的話就再看樣本的第 7 維、以此類推

1. 雖說我這個決策樹暫時不支持連續型特征，但相對應的它有一個好處：你不用把離散型數據處理成數值形式、而可以直接把它輸入模型來訓練。據我所知，scikit-learn 的 DecisionTreeClassifier 還不支持這一點（自豪臉）（然而人家比你快 1~2 倍）。