09 维数灾难
即使从数学的角度来看，增加任意数量的维度都是可以的，但是仍然存在一个问题。随着维度的增加，数据的密度呈指数下降。
例如，如果我们在训练数据中有1000个数据点，并且数据具有3个独有的特征。假设所有特征的值在1～10之间。所有这1000个数据点都位于一个大小为10×10×10的立方体中。因此，密度为1000/1000或每单位立方体1个样本。如果有5个独有的特征而不是3个，那么数据的密度很快就会下降到每单位5维立方体0.01个样本。
数据的密度很重要，因为数据的密度越高，找到一个好模型的可能性就越大，模型准确性的置信度就越高。如果密度很低，则使用该数据的训练模型的置信度就会很低。因此，尽管高维在数学上是可以接受的，但是人们需要注意维数，以便能够开发出具有高置信度的良好的机器学习模型。
10 奥卡姆剃刀原理
在开发和应用机器学习模型时，总是会遇到多种可能的解决方案和多种可能的方法来获得答案。很多时候，对于哪种解决方案或哪种方法比其他方法更好，没有任何理论指导。在这种情况下，奥卡姆剃刀原理的概念（有时也称为简约原则）可以有效地应用。该原理指出：
一个人不应该做出超过最低需求的假设，或者换句话说，当一个解决方案有多种选择时，最简单的方法就是最好的。
这个原理不完全是一个定理，不能作为一个定量规则或方程来应用。但是，在现实生活中做出这样的决定时，它是一个强有力的有效的概念指南。
还需要注意的是，这条规则创建了一种折中的形式，一方面，我们拥有更多复杂性形式的信息，另一方面，我们却拥有更少的简单性形式的信息。人们不应该过于简单化问题，以致丢失一些核心信息。奥卡姆剃刀原理的另一个衍生方面是更简单的解决方案往往具有更多的泛化能力。
我是一位爱学习的老人！本站主要是些学习体验与分享(其中会引用一些作品的原话并结合我的一生体会与经验加工整理而成！在此一并感谢！如有不妥之处敬请与我联系,我会妥善处理，谢谢！)我写的主要是中老年人各方面应注意的事儿！退休后我希望通过这个平台广交朋友，互助交流，共筑美好生活！
联系客服
