訓練集用來訓練模型，驗證集用于模型的選擇，而測試集用于最終對學習方法的評估。

在學習到不同的復雜度的模型中，選擇對驗證集有最小預(yù)測誤差的模型，由于驗證集有足夠多的數(shù)據(jù)，用它對模型進行選擇也是有效的。

但是，在許多實際應(yīng)用中數(shù)據(jù)是不充足的，為了選擇好的模型，可以采用交叉驗證方法，交叉驗證的基本思想是重復地使用數(shù)據(jù)；把給定的數(shù)據(jù)進行切分，將切分的數(shù)據(jù)組合為訓練集和測試集，在此基礎(chǔ)上反復地進行訓練、測試以及模型選擇。

機器學習

1、簡單交叉驗證

簡單交叉驗證是：首先隨機地將已給數(shù)據(jù)分成兩部分，一部分作為訓練集，另一部分作為測試集（比如，70%的數(shù)據(jù)為訓練集，30%的數(shù)據(jù)為測試集）；然后用訓練集在各種情況下（例如，不同的參數(shù)個數(shù)）訓練模型，從而得到不同的模型；在測試集上評價各個模型的測試誤差，選出測試誤差最小的模型。

2、S折交叉驗證

應(yīng)用最多是S折交叉驗證，方法如下：首先隨機地將已給數(shù)據(jù)切分為S個互不相交的大小相同的子集；然后利用S-1個子集的數(shù)據(jù)訓練模型，利用余下的子集測試模型；將這一過程對可能的S種選擇重復進行；最后選出S次評測中平均測試誤差最小的模型。

3、留一交叉驗證

S折交叉驗證的特殊情形是S==N，稱為留一交叉驗證，往往在數(shù)據(jù)缺乏的情況下使用，這里，N是給定數(shù)據(jù)集的容量。