11 “没有免费的午餐”定理
在设计机器学习系统时，需要注意的另一个有趣的概念来自Wolpert和Macready的论文，其形式是“没有免费的午餐”定理或优化中的NFL定理。该定理实质上指出：
如果一个算法在某类问题上表现得更好，那么它会以在其他类别的问题上性能下降的形式付出代价。换句话说，对于所有类型的问题，你都无法拥有单一最佳的解决方案。
这个定理需要更多地作为指导原则而不是定律，因为在所有可能的问题类别中，一个设计良好的算法完全有可能胜过其他设计不太好的算法。但是，在实际情况下可以从这个定理推断出，我们不能对所有的问题都采用同一个解决方案，并期望它在所有的情况下都能很好地工作。
12 收益递减规律
收益递减规律通常出现在经济和商业场景中。它指出，随着现有员工人数的增加，增加更多的员工来完成一项工作开始产生越来越少的收益。
从机器学习的角度来看，这一规律可以应用于特征工程。从给定的数据集中，人们只能提取一定数量的特征，在此之后，性能上的收益开始减少，付出的努力是不值得的。在某些方面，它与奥卡姆剃刀原理一致，并增加了更多的细节。
我是一位爱学习的老人！本站主要是些学习体验与分享(其中会引用一些作品的原话并结合我的一生体会与经验加工整理而成！在此一并感谢！如有不妥之处敬请与我联系,我会妥善处理，谢谢！)我写的主要是中老年人各方面应注意的事儿！退休后我希望通过这个平台广交朋友，互助交流，共筑美好生活！！！！！！ 更多文章请参看http://www.zzz818.com赵站长的博客。期待大家的光临与指教哦^0^！欢迎大家转发！
联系客服
