论文速递：作为复杂网络的深度学习系统

文末附论文地址

导语

预印本论文网站Arxiv.org日前挂出一篇题为“Deep learning systems as complex networks”的论文，以深度信念网络为例，详叙了为什么网络科学是揭秘深度学习黑盒的重要一步。

摘要

凭借大型数据集和超强的计算能力，深度学习算法可以通过多层次的抽象来学习数据表征。

这些机器学习方法推进了许多颇具挑战性的认知任务，比如对象识别、语音处理、自然语言理解与机器翻译。尤其是深度信念网络（Deep Belief Networks），它可以通过使用类似神经可塑性原理（hebbian theory）的学习机制找出数据的生成模型，以无监督的方式发现大型数据集中复杂的统计结构。尽管这些自组织的神经网络系统可以在统计力学（statistical mechanisms）框架内很容易被形式化，但它们仍然是黑箱，因为其发生涌现的动力学无法分析。

在本文中，我们建议使用复杂网络（complex networks）来研究深度信念网络，以便对神经网络在学习过程中产生的计算图的结构和功能性质有所了解。

关键词：网络理论，人工神经网络，深度信念网络，多层生成模型，机器学习，图分析

附论文图表

图1：几种递归神经网络的图结构：A.Hopfield网络，一种全连接的图结构。B.玻尔兹曼机，具有两组独立的全连接图结构单元，可见层神经元v感知输入信息，隐藏层神经元h则捕捉从数据中观察到的结构。C.受限玻尔兹曼机，去除玻尔兹曼机的层内连接，形成二分图结构。

图2：一组受限玻尔兹曼机构成的深度信念网络结构

图3：隐藏层神经元中出现四个不同感受域（receptive fields）的例子。

图4：边权重的分布。A.初始化状态，学习之前的整个网络的连边权重分布。B.学习MNIST手写数据之后整个网络的边权重分布。C.学习自然图像数据之后的网络边权重分布。D、E、F分别是学习MNIST后可见层-隐藏层1（v-h1）、隐藏层1-隐藏层2（h1-h2）、隐藏层2-隐藏层3（h2-h3）的边权重分布。

图5：从MNIST手写数据集中出现第一个隐藏层的感受域分层聚类，树结构表示20个簇中每个簇之间的距离，较小的值表示更相似类型的感受域。

图6：从自然图像数据集中出现第一个隐藏层的感受域分层聚类，树结构表示20个簇中每个簇之间的距离，较小的值表示更相似类型的感受域。

图7：使用MINST手写数据集的深度学习系统的子图属性，每个数字表示相似性定义的“功能”节点组相应的感受域。第一列红色表示平均最近邻度与平均度之间的关系，第二列蓝色表示平均度强度与平均度之前的关系，第三列绿色表示平均正负度之间的关系。三行分别对应深度神经网络的不同的层。

图8：使用自然图像数据集的深度学习系统的子图属性，每个数字表示相似性定义的“功能”节点组相应的感受域。第一列红色表示平均最近邻度与平均度之间的关系，第二列蓝色表示平均度强度与平均度之前的关系，第三列绿色表示平均正负度之间的关系。

图9：第三个隐藏层的一些感受域，高亮了许多死亡单元。