机器学习中的奥卡姆剃刀定律
奥卡姆剃刀定律是机器学习选择算法时可参照的标准之一。其
含义是：在其他条件一样的情况下，选择简单的那个。
该定律的意义在于数据的拟合和低复杂性之间实际上存在着
折衷。
理论上假设的解决方案越复杂，就越能拟合数据，训练数据误
差就会越低
图 1
但是在现实生活中，有关未知数据的泛化误差，往往如图 2 所
示。
图 2
泛化数据误差实际是训练数据误差与另一个名为过拟合误差
的函数之和。
图 3
在泛化误差最小得情况下，可获得最佳复杂性。用于计算过拟
合误差得方法统称为贝叶斯方差方法。在现实生活中，通常只会
获得训练数据误差。但实践表明，如果你不去选择能够使训练数
据误差最小化的模型，而是选择复杂性低一点的模型，算法的表
现往往会更好。过拟合是机器学习算法性能不佳得主要缘由。这
也是在机器学习中应用奥卡姆剃刀定律的原因。
