因需要拿出部分数据作为测试，故总有部分数据不能用于构建模型，一种更好选择是交叉验证(简称CV)。k折交叉验证是交叉验证方法中的一种(是进行模型比较的有效方法)，将整体数据集分为k份(每份近似相等)，其中k-1份作为训练数据，另外一份作为验证数据集，并计算预测误差平方和。用验证集来验证所得分类器或模型的错误率，循环以上实验k次，直到所有k份数据都被选择一遍为止。选择小一点的k容易高方差，大一点的k容易高偏差，通常k=10
计算这r个验证集预测误差平方和的平均值，平均值最小的模型是最优模型。待最优模型选定后，仍然需要基于全体训练样本集估计模型参数。交叉验证存在着划分方式的不同情况，因此可采用不同划分方式重复进行交叉验证。如利用不同划分方式划分数据5次，每次均划分10折，即称之为5次10折交叉验证
交叉验证还有一种特殊情况称为留一交叉验证(leave one Out)。令样本划分次数k等于数据集合D的样本数量n，即每份子集只包含一个样本。优点是每次训练集都与原始数据集接近，且也能做到训练集与测试集对立，可保证得到结果相对比较准确。相对而言采取这种方式意味着计算开销会大大增加
交叉验证同样需要先进行分层，再组合构造成k份近似相等的样本集，这样训练集和测试集的数据分布均与原数据大体相同
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！