神经网络(NeuralNetwork)与支持向量机(Support Vector Machines,SVM)是统计学习的代表方法。
可以认为神经网络与支持向量机都源自于感知机(Perceptron)。感知机是由Rosenblatt发明的线性分类模型(1958年)。感知机对线性分类有效,但现实中的分类问题通常是非线性的。
神经网络与支持向量机(包含核方法)都是非线性分类模型。1986年,Rummelhart与McClelland发明了神经网络的学习算法BackPropagation。后来,Vapnik等人于1992年提出了支持向量机。神经网络是多层(通常是三层)的非线性模型,支持向量机利用核技巧把非线性问题转换成线性问题。
神经网络与支持向量机一直处于“竞争”关系。
Scholkopf是Vapnik的大弟子,支持向量机与核方法研究的领军人物。据Scholkopf说,Vapnik当初发明支持向量机就是想’干掉’神经网络(Hewanted to kill Neural Network)。支持向量机确实很有效,一段时间支持向量机一派占了上风。
近年来,神经网络一派的大师Hinton又提出了神经网络的DeepLearning算法(2006年),使神经网络的能力大大提高,可与支持向量机一比。DeepLearning假设神经网络是多层的,首先用Restricted BoltzmannMachine(非监督学习)学习网络的结构,然后再通过Back Propagation(监督学习)学习网络的权值。关于DeepLearning的命名,Hinton曾开玩笑地说: I want to call SVM shallow learning.(注:shallow 有肤浅的意思)。其实Deep Learning本身的意思是深层学习,因为它假设神经网络有多层。
DeepLearning是值得关注的统计学习新算法。
联系客服