神经元启发的智能学习方法

从1906年左右至今，科学家一直在追寻神经元的秘密。从最早期的银氨染色法，到最新的全脑显微光学切片断层成像技术，越来越清晰地展示神经元的形态与结构。神经元大致可以分为树突、胞体和轴突三个部分。不同的学科方向会有不同的建模方式。计算神经科学的建模多以多室模型为主，这种建模方式精细、准确，在非常复杂的计算保障下，能够非常细致的模拟神经元的各类活动。而人工智能中的建模则以M-P神经元（McCulloch-Pitts neuron）、泄露积分发放神经元（Leaky integrated-and-fire neuron, LIF neuron）等高效、简洁的神经元为主，能够方便计算机快速、准确地完成智能计算。但是人工智能模型由于太过简单，并不能够将神经元的功能与结构充分地表达，因此借鉴生物神经元的各种机制来提升人工神经元性能是当前类脑智能的主要研究方向之一。本文总结了受神经元三个层次所启发的类脑智能方法，在不同的神经元层面对人工神经网络模型的编码、计算和表征能力进行增强，以提高人工智能系统的学习、推理和决策能力。

首先，在树突层面，神经元的树突形态各异，特别是浦肯野细胞，其树突结构发达，承担着部分神经信息整合的作用。如图1所示，通过专业电镜观测可以发现，树突的每根分支上都有着许多的凸起，称为树突棘，是突触形成的主要部位，由丝状的伪足激活而来。

图1: 树突与树突棘[1]

树突棘的形成与消亡对神经元的信息处理具有重要影响。北大的陈彦骐博士通过模拟树突棘与伪足间的形态转换方法，设计了一种脉冲神经网络的稀疏学习方法[2]。该方法对神经元的权重进行重参数化，使用阈值来控制神经元发育的状态。随着阈值的增大，越来越多的树突棘逐渐转换为伪足，失去传递脉冲信号的功能，从而减少有效的突触连接，达到了稀疏化的目的。与同类非结构剪枝相比，这种稀疏化方法在高压缩率下能够保持最低的精度损失，实现了脉冲神经网络模型的高效压缩。

图2: 树突棘状态转换启发的权重重参数方法

另外，在电生理实验中，研究人员观测到了神经元胞体的膜电位活动与树突刺激的整合存在非线性关系[3]。通过对多组突出刺激的定量建模，发现这种非线性整合过程在模型中包含一个非线性项，用欧姆定律表示，其非线性稀疏由输入树突刺激的电导乘积得到，与树突的空间位置、刺激的时间延迟相关。在进一步地构建数字神经元模拟中，也证实了这个现象。通过多次的刺激后，研究人员总结了用于修正树突电流的公式。在此非线性树突整合机制的基础上，几种智能计算方法被提出。其中，多项式树突神经网络（Polynomial dendritic neural networks）[4]和二次神经网络（Quadratic neural networks）[5]是两类较为突出的工作。树突神经网络直接采用线性过程相乘，得到二次修正项，并以此计算取代激活过程。就从结果看来，树突神经网络拥有着比传统激活函数非线性程度更高的计算能力。二次神经网络网络在原有的线性项添加了二次项，保留了激活函数。在多个实验表示该方法提高了VGG-16、ResNet-32等网络的性能，但也引入了较大的计算量和参数量。因此，结合上述的非线性稀疏化学习方法和非线性整合方法，可能会得到一个高度稀疏的高效模型。

在神经元层面，已有许多计算神经科学的工作证明了单个神经元能够完成复杂的逻辑运算[6]，甚至神经元的活动状态能够与5到8层的深度神经网络等效[7]。复杂的计算能力不仅仅来源于上面所述的非线性树突，神经元的异质性、内源可塑性和特殊的时空结构也为其提供了丰富的动力学特性。在计算神经科学的建模仿真实验中，神经元的异质性能够提供给模型更好的拟合能力、更高维度的表征空间和更可靠的计算结果[8]。进一步，在人工神经网络的异质性实验中也表明，具有异质性的模型表现更加出色[9]。因此，在神经元中加入异质性也可以增强智能水平。很容易就能想到的是向LIF神经元的膜时间常数和阈值电位引入异质性，从而分别得到了北大方维博士和电子科技大学孙宏泽博士的工作。膜时间常数的异质性通过反向传播学习时间常数大小，调节了膜电位的累计速率和幅值，进而增强了模型的学习能力[10]；阈值电位异质性通过反向传播学习阈值电位大小，如图3所示[11]。参数化后的阈值能够改变不同神经元发放脉冲的条件，使网络具有了更好的分辨能力与鲁棒性。

图3: 阈值参数化的神经元学习策略

最后神经元间的相互作用也影响着神经元的计算能力。人工智能所最常模拟的生物神经系统是视觉系统，其中侧向抑制等神经元间的相互作用启发了许多的智能方法。针对不同视觉皮层会产生不同大小和分布感受野的模仿，构建了一种多尺度感受野块，极大地改善了目标识别中对不同尺度物体的识别能力[12]。另外，大脑的注意力机制也是非常经典的人工智能模拟对象。大脑的注意主要分为自下而上和自上而下两种，自下而上是视觉通路自然而然凸显出视觉兴趣区域的过程，自上而下则是由意识主导强制忽略部分画面的过程。人工智能中的注意力大多属于自下而上的注意力，如SE网络[13]、CBAM网络[14]、SimAM网络[15]等。通过大量的数据训练，自下而上的注意力确实能够捕捉到画面中的目标位置。我们所设计的空间-通道-时间融合注意力（Spatial-channel-temporal fused attention， SCTFA）的脉冲神经网络也属于自下而上的注意力[16]。

图4: SCTFA-SNN模型框架

该注意力是将空间和通道的三维注意力张量应用到时间过程中，代表了历史信息对注意力的影响过程，从而调节模型特征提取状态。在多个数据集的实验结果表明，SCTFA能够提高模型对动态数据集的表现，并且为脉冲神经网络提供优秀抗噪能力和稳定性能。近期，借鉴自上而下的注意力机制，有学者提出了一种自上而下的注意力框架，通过建立分类结果和目标向量损失函数，反馈输出给模型构建注意力，从而实现网络的有偏向性的增强[17]。实验中模型的目标向量不仅可以是选择图像，还可以是文字信息，多模态的数据极大地提升了该方法的实用性和泛化能力。

图5: 自上而下的注意力框架

综上所述，神经元不仅为智能方法提供了参考答案，而且还提供了更多的神经元机制需要开发与借鉴的可能性。通过深入研究神经元的功能和结构，我们可以设计出更加智能的模型，这些模型能够更准确地模拟人类的认知过程和行为。这将有助于人们更好地理解世界的复杂性，并为解决现实世界中的各种问题提供新的思路和方法。反过来，采用更加优质的模型可以帮助人们更深入地探索神经元的秘密，揭示大脑运作的奥秘。通过人工智能和神经科学的相互作用，我们可以不断推动这一领域的发展，取得更大的突破和进展，为人类的智能和认知能力带来全新的提升。

作者：蔡吴缺、郭大庆

排版：李岩

参考文献：

[1] Kwon H B, Kozorovitskiy Y, Oh W J, et al. Neuroligin-1–dependent competition regulates cortical synaptogenesis and synapse number[J]. Nature Neuroscience, 2012, 15(12): 1667-1674.

[2] Chen Y, Yu Z, Fang W, et al. State transition of dendritic spines improves learning of sparse spiking neural networks[C]. International Conference on Machine Learning (ICML). 2022: 3701-3715.

[3] Li S, Liu N, Zhang X, et al. Dendritic computations captured by an effective point neuron model[J]. Proceedings of the National Academy of Sciences, 2019, 116(30): 15244-15252.

[4] Chen Y, Liu J. Polynomial dendritic neural networks[J]. Neural Computing and Applications, 2022, 34(14): 11571-11588.

[5]Xu Z, Yu F, Xiong J, et al. QuadraLib: A performant quadratic neural network library for architecture optimization and design exploration[J]. Proceedings of Machine Learning and Systems, 2022, 4: 503-514.

[6] Gidon A, Zolnik T A, Fidzinski P, et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons[J]. Science, 2020, 367(6473): 83-87.

[7] Beniaguev D, Segev I, London M. Single cortical neurons as deep artificial neural networks[J]. Neuron, 2021, 109(17): 2727-2739. e3.

[8] Gast R, Solla S A, Kennedy A. Neural heterogeneity controls computations in spiking neural networks[J]. Proceedings of the National Academy of Sciences, 2024, 121(3): e2311885121.

[9] Perez-Nieves N, Leung V C H, Dragotti P L, et al. Neural heterogeneity promotes robust learning[J]. Nature Communications, 2021, 12(1): 5791.

[10] Fang W, Yu Z, Chen Y, et al. Incorporating learnable membrane time constant to enhance learning of spiking neural networks[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021: 2661-2671.

[11] Sun H, Cai W, Yang B, et al. A synapse-threshold synergistic learning approach for spiking neural networks[J]. IEEE Transactions on Cognitive and Developmental Systems, 2023.

[12] Liu S, Huang D. Receptive field block net for accurate and fast object detection[C]. Proceedings of the European Conference on Computer V ision (ECCV). 2018: 385-400.

[13] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018: 7132-7141.

[14] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]. Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

[15] Yang L, Zhang R Y, Li L, et al. SimAM: A simple, parameter-free attention module for convolutional neural networks[C]. International conference on machine learning (ICML). PMLR, 2021: 11863-11874.

[16] Cai W, Sun H, Liu R, et al. A spatial–channel–temporal-fused attention for spiking neural networks[J]. IEEE transactions on Neural Networks and Learning Systems, 2023.

[17] Shi B, Darrell T, Wang X. Top-down visual attention from analysis by synthesis[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2023: 2102-2112.

—— End ——

来源：Bacomics