1.3.2　拟合能力

拟合能力（Fitting Ability），指的是以训练出来的某模型对已知数据的预测能力。可以用拟合误差来度量，即已知数据的平均损失。如果拥有总体数据，根据总体或许就能揭晓上帝创造世界的秘密了。这时候构建模型，自然是拟合得越接近越好，越接近就越靠近真相。用以度量接近程度的，理论上用的是期望损失，实际操作则用的是经验风险。可以将经验风险理解为通过训练集中的样本对期望损失的估计。假设已经学习到的模型记为，称对所有已知数据的平均损失为拟合误差（Fitting Error），是度量拟合能力的理论值；称在训练集上的平均损失为训练误差（Training Error）。假如给定训练集T={（x₁，y₁），（x₂，y₂），···，（x_N，y_N）}，训练误差表示为

作为度量拟合能力的经验值。

经验风险越小越好。如果总体是已知的，也就无所谓过拟合了，因为不存在未知数据——已经知道所有的取值。但是，这毕竟是一种极端情况，如果获取到总体，也没有必要学习模型用以预测。因此，可以得到的一般是样本。假如此时将训练集作为已知数据看待，平均损失的经验值就是训练误差。