四川大学：张蕾教授——回复神经网络学习

张蕾，四川大学计算机学院教授、博士生导师，国家自然科学基金“优青”获得者、教育部新世纪优秀人才、“霍英东”基金获得者。主要从事回复神经网络领域的研究，在IEEE TNNLS、IEEE TNN、IEEE TCyb、IEEE TAC、IEEE TSMC-B、CVPR等国际一流学术期刊和会议上发表论文50余篇。作为主要完成人，获得“教育部自然科学奖一等奖”1 项（排名4）和“四川省科技进步一等奖”1 项（排名5）。目前担任IEEE Transactions on Cognitive and Developmental Systems 副编辑（AE）和Frontiers of Computer Science 青年副编辑（Young AE）。同时还任CCF青工委委员、CCF人工智能与模式识别专委会委员及中国人工智能学会理事会会员。曾任CCF YOCSEF成都分论坛副主席。获得国家发明专利5 项。

导读：随着大数据时代的到来及深度神经网络的兴起，神经网络在图像理解、语音识别、自然语言处理等领域取得了令人瞩目的成功。回复神经网络作为神经网络的一种主要用于处理时序数据，广泛用于机器翻译、图像理解、情感分析、语音翻译等时序任务中。这一讲座将系统地对回复神经网络进行回顾，并针对其两个学习算法Back Propagation ThroughTime (BPTT) 和Real Time Recurrent Learning (RTRL) 进行介绍，并基于此对回复神经网络训练中存在的问题进行了“进一步的思考”。具体包括：（1）生物神经网络与人工神经网络；（2）回复神经网络的学习算法BPTT和RTRL；（3）回复神经网络训练过程中存在的“梯度消失”问题及相应的解决方法，基于此简要地介绍新的回复神经网络模型，如：Long Short-Term Memory(LSTM), Gated Recurrent Unit (GRU) 及 Recurrent Highway Network(RHN)等。