机器学习领域的五大流派

机器之心编辑

编辑：赵云峰

@王威廉微博：华盛顿大学教授Pedro Domingos在本周结束的ACM Webminar上介绍了他认为的机器学习五大流派。他认为，机器学习中符号主义者的代表人物是Mitchell、 Muggleton、Quilan，联结主义者代表是LeCun、Hinton和Bengio，进化主义代表是Koda、Holland以及Lipson，贝叶斯派代表人物是Heckerman，Pearl和Jordan，Analogizer代表人物是Vapnik等。

机器之心对Pedro Domingos的演讲幻灯片进行了编译和总结：

1

知识从何而来

Pedro Domingos认为，知识来源于进化、经验、文化和计算机。对于知识和计算机的关系，他引用了Facebook人工智能实验室负责人Yann LeCun的一段话：将来，世界上的大部分知识将由机器提取出来，并且将长驻与机器中。

2

计算机如何发现新知识

Pedro Domingos帮助计算机获取新知识，可以通过以下五种方法来实现

• 填充现存知识的空白

• 对大脑进行仿真

• 对进化进行模拟

• 系统性的减少不确定性

• 注意新旧知识之间的相似点

3

机器学习的五大流派

派别	起源	擅长算法
符号主义 （Symbolists）	逻辑学、哲学	逆演绎算法 （Inverse deduction）
联结主义 （Connectionists）	神经科学	反向传播算法 （Backpropagation）
进化主义 （Evolutionaries）	进化生物学	基因编程 （Genetic programming）
贝叶斯派 （Bayesians）	统计学	概率推理 （Probabilistic inference）
Analogizer	心理学	核机器 （Kernel machines）

1）符号主义

符号主义代表人物

符号主义算法

2）联结主义

联结主义代表人物

神经元和人造神经元

反向传播算法图示

谷歌自主识别出猫的神经网络

3）进化主义

进化主义代表人物

遗传算法

遗传编程

进化机器人

Pedro Domingos在这里提到了基于生物进化理论的「海星机器人」，该机器人由佛蒙特大学的Josh Bongard研发，能够通过内部模拟来「感知」自己身体各部件的状况，并进行连续建模，从而在不需要外部编程的情况下自己学会走路，当机器人外部受到破坏，比如说失去了一条腿，它可以重新建模并学习到一种新的行走方式。Josh Bongard在论文《Evolved Machines Shed Light on Robustness and Resilience》中对此进行了详细介绍。

4）贝叶斯派

贝叶斯派代表人物

概率推理

基于概率统计的贝叶斯算法最常见的应用就是反垃圾邮件功能，贝叶斯分类的运作是借着使用标记与垃圾邮件、非垃圾邮件的关连，然后搭配贝叶斯推断来计算一封邮件为垃圾邮件的可能性。

5）Analogizer

Analogizer代表人物

近邻算法nearest neighbor

内核机

基于该理论的Netflix推荐系统

4

展望

Pedro Domingos总结了五大流派目前存在的问题和解决方案，但他也重点强调，我们真正需要的是可以一次性解决这些所有问题的统一算法。

5

各学派的综合

表示

• 概率逻辑（例如马尔可夫逻辑模型）

• 带权公式，状态分布

评估

• 后验概率

• 用户定义的目标函数

最优化

• 公式发现：基因编程

• 权值学习：反向传播

6

通用学习者

Pedro Domingos认为，要研究一个解决所有问题的通用算法，创造一个「通用学习者」，还需要很多工作去做。而通用学习者的出现将在以下四方面发挥巨大价值：

• 家用机器人

• 全球范围的智力互联网

• 癌症治疗解决方案

• 全方位的推荐系统