什么是机器学习做不到的呢？

大数据文摘作品，转载具体要求见文末

原作者 | Bharath Ramsundar

编译 | Molly 张礼俊

什么是机器学习做不到的呢？把这些失败的地方罗列出来，对指导算法的改进是很有帮助的。

1

当输入有小幅扰动时，深度学习方法会失效。例如当颜色改变之后，图像识别就可能会崩溃。

2

基于梯度优化的学习是非常慢的（除了慢，对于非凸的问题，梯度下降算法还可能陷入局部极值） 。需要许多许多步梯度下降才能捕获模式。高维预测十分困难。

3

深度学习方法难以处理约束条件。和线性规划不同，它不能找到满足约束条件的解。

4

复杂模型的训练是十分不稳定的。神经网络图灵机(Neural turing machines)和 生成式对抗网络常常训练失败，它们非常依赖初始的随机值。

5

和图模型不同，深度神经网络和现实世界难以对应。不能提取因果结构。

例如，对于影响因素检测问题。给出议员投票数据集，要检测关键影响因素。在深度神经网络中很难清晰表达。

6

强化学习方法很难伺候。模型表现十分依赖调参技巧。但是这个问题只在特定条件下出现。

7

深度学习进行未知实体的推理是十分困难的。比如有一段击球手的视频，投手在画面外。

8

在深度神经网络技术的世界里，我们尚不清楚怎样推断投手的存在。

9

在线训练深度神经网络是很难的（参阅上文训练很慢的部分）。所以很难动态响应。

10

一般情况下，智能行为都是离线训练的。

11

人们常常提到深度网络的可解释性。我不认为这个问题像人们说的那样严重。但是，人类难以察觉深度网络学到的内容。我们凭什么保证偏见和种族主义的东西没有被学习到呢？看看那些讲 word2vec模型中的种族主义的文章吧。

12

深度神经网络在解决逻辑问题上遇到困难。3SAT 求解器功能十分强大，但是很难嵌入到深度网络中。

13

在处理尺度范围较大的特征时，深度神经网络的表现很差。和稳定的随机森林不同， 深度神经网络需要进行大量的特征调整。

14

超参数搜索也很可怕。工程师不但要进行繁重的计算，还需要大量的手工调整结构。

这绝不是一份详尽的清单。所有这些都是值得思考(和进一步研究)的问题。

还有一个重要的问题：这些问题是深度网络固有的，还是工程上需要克服的挑战？

讲真，这很难说。有一些问题似乎可以解决。更多的硬件设备可以使自动超参数搜索变得可行。

一些前期结构可以进行自动归一化（auto-normalize），处理大尺度范围数据，所以特征处理也可以提升。

但是，逻辑、约束、隐含层和审查方面的问题可能更为严重。

不过，我很希望被打脸。深度学习工程师们都才华横溢，富有想象力。

此外，摩尔定律目前对GPU的表现依然有效。（但是能持续多久呢？TPUs 和定制硬件能拯救我们吗？）

所以，我对于这些挑战还是相对乐观的。尽管如此，我怀疑深度网络对广义的智能来说是不够的。

不过这可能是我个人的偏见。专业的工程师在预测方面往往很糟糕。埋头苦干太长时间了。

以至于只见树木，不见森林。

我并不想把这篇推文写进论文里。我还不知道是否会有潜在的主题。

最后，探索和分析就留给有眼光的读者们，当作一个练习吧！