本文分为三个部分:第一部分为原理及概念说明；第二部分为方法评价及应用；第三部分为R实现及参数说明。
一、原理及概念说明
支持向量机(SVM)是一种线性和非线性数据的分类方法，它使用非线性映射将原始数据映射到高维空间，在该空间内搜索最佳分离超平面。在线性可分的情况下，存在这样的超平面把空间中的类分开，并且该超平面与类的距离最大即最大边缘超平面，它等价于求解约束的凸二次最优化问题(在此不详述，请参考Reference)，此时是在原输入空间(n维)内寻找最大边缘超平面；在线性不可分的情况下，可以允许个别样本分类错误，但需要借助非线性映射把原输入数据变换到高维空间，在该空间搜索最大边缘超平面(此时是线性的，可用二次最优化求解)，将该超平面对应到原输入空间的非线性超平面。然而这个过程中的点积计算量极大，幸而二次最优化求解中含有训练元组的点积等价于核函数应用于原输入数据，这些核函数在原输入空间上产生非线性分类器，利用核函数不仅可以省略变换后数据元组上的点积计算，也避免了这种映射，此时仍在原输入空间计算，因此与非线性映射后的维度相比降低了不少。
软边缘（Soft Margin):即线性不可分情况下，允许个别样本跑到其它类别之中。但要使用参数来权衡两端，一个是要保持最大边缘的分离，另一个要使这种破例不能太离谱。这种参数就是对错误分类的惩罚程度C。
分离超平面(separating hyperplane):即将类进行分离的超平面，这样的超平面很多，而从超平面到其边缘的两侧距离最短且相等的超平面即为最大边缘超平面(Maximal Margin Hyperplane，MMH)，它具有更高的泛化准确率，此时MMH到类的最近的训练元组即为支持向量(support vector)。
支持向量是最难分类(临界)的训练元组，给出了最多的分类信息，它定义了边缘及最大边缘超平面。因此，学习后的分类器的复杂度由支持向量数而不是数据维度刻画，SVM也不太容易过分拟合。过拟合的原因与不稳定性密切相关，改动一个或两个训练元组会引起大范围的决策边界的变化，但决策最大边缘超平面则相对比较稳定，只有当被增加或去除的训练元组是支持向量时，边缘才会变动。过度拟合的起因是边缘过分拟合。而支持向量通常只是训练元组中的极小部分，几乎不会发生过分拟合。
即使数据维度很高，具有少量支持向量的SVM可以具有很好的泛化性能。利用支持向量数可计算SVM分类器的期望误差率的上界，同样独立于数据维度。
支持向量机回归(SVR):是由SVM发展出来的回归方法，同样也有线性可分与不可分情况。与SVM的区别在于，目标是使预测误差最小化同时函数平面度最大化。这种权衡是通过设置参数C来控制。参数ε是在回归函数周围定义的一个管道，管道内的误差将被忽略。如果所有的训练元组都在宽度为2ε的管道内，算法输出一个位于最平的管道中央的函数，这个管道包含所有训练元组，这种情况下总误差为0。因此，ε控制了函数与训练元组的拟合程度。支持向量即在管道外或管道边缘的训练元组。
二、方法评价及应用
SVM训练速度较慢；SVM能够对复杂的非线性边界建模，不容易过分拟合；SVM总能发现全局最优解。
在实践中，不可能事先判定一个数据集是否线性可分，因此可以先假设数据可分并验证，如果不成立再假设数据不可分。
如前所述，支持向量机可用于回归、分类和异常检验，前者即为支持向量机回归，后者为支持向量机分类。支持向量机应用在许多领域，包括手写数字识别、对象识别、演说人识别，以及基准时间序列预测检验。
SVM的研究目标主要是提高训练和检验速度，使得SVM可以成为超大型数据集更可行的选择。其他问题包括，为给定的数据集确定最佳核函数，为多类问题找出更有效的方法。
联系客服
