人工智能学家
生物神经网络这个概念的发展，和今天我们谈的神经网络有什么关系吗？我们今天谈到的神经网络，除了在部分名词上借鉴了生物学神经网络之外，跟生物学神经网络已经没有任何关系，它已经完全是数学和计算机领域的概念，这也是人工智能发展成熟的标志。这点大家要区分开，不要把生物神经网络跟我们今天谈到的人工智能有任何的混淆。
神经网络的发展并不是一帆风顺的，这中间大概经历了三起三折的过程。
大约在1904年，人类已经对人脑的神经元有了最初步的认识和了解。1943年的时候，心理学家麦卡洛克 (McCulloch) 和数学家 Pitts 参考了生物神经元的结构，发表了抽象的神经元模型M。这个概念的提出，激发了大家对人智力探索的热情。到了1949年，有一个心理学家赫布(Hebb)提出了著名的Hebb模型，认为人脑神经细胞的突触上的强度上是可以变化的。于是计算科学家们开始考虑用调整权值的方法来让机器学**，这就奠定了今天神经网络基础算法的理论依据。到了1958年，计算科学家罗森布拉特（Rosenblatt）提出了由两层神经元组成的神经网络，并给它起了一个很特别的名字—“感知器”（Perceptron）。人们认为这就是人类智能的奥秘，许多学者和科研机构纷纷投入到对神经网络的研究中。美国军方也大力资助了神经网络的研究，并认为神经网络是比“曼哈顿工程”更重要的项目。这段时间直到1969年才结束，这个时期可以看作神经网络的一次**。事实上感知器只能做简单的线性分类任务。但是当时的人们热情太过于高涨，并没有清醒的认识到这点不足。于是，当人工智能领域的巨擘明斯基(Minsky)指出个问题的时候，事态就发生了反转。明斯基指出，如果将计算层增加到两层，则计算量过大并且缺少有效的学**算法。所以，他认为研究更深层的网络是没有价值的。明斯基在1969年出版了一本叫《Perceptron》的书，里面通过数学证明了感知器的弱点，尤其是感知器对XOR（异或）这样的简单分类任务都无法解决。由于明斯基在人工智能领域的巨大影响力以及书中呈现的明显的悲观态度，这很大多数多学者纷纷放弃了对于神经网络的研究。于是神经网络的研究顿时陷入了冰河期。这个时期又被称为“AI Winter”。将近十年以后，神经网络才会迎来复苏。
时间到了1986年，Rumelhar和Hinton提出了划时代的反向传播算法（Backpropagation，BP）。这个算法有效的解决了两层神经网络所需要的复杂计算量问题，从而带动了使用两层神经网络研究的热潮。我们看到的大部分神经网络的教材，都是在着重介绍两层（带一个隐藏层）神经网络的内容。这时候的Hinton 刚刚初露峥嵘，30年以后正是他重新定义了神经网络，带来了神经网络复苏的又一个春天。尽管早期对于神经网络的研究受到了生物学的很大的启发，但从BP算法开始研究者们更多是从数学上寻求问题的最优解，不再盲目模拟人脑网络。这是神经网络研究走向成熟的里程碑的标志。
90年代中期，由Vapnik等人提出了支持向量机算法（Support Vector Machines，支持向量机）。很快这个算法就在很多方面体现出了对比神经网络的巨大优势，例如：无需调参、高效率、全局最优解等。基于这些理由，SVM算法迅速打败了神经网络算法成为那个时期的主流。而神经网络的研究则再次陷入了冰河期。
在被人摒弃的十个年头里面，有几个学者仍然在坚持研究。这其中的很重要的一个人就是加拿大多伦多大学的Geoffery Hinton教授。2006年，他的在著名的《Science》杂志上发表了论文，首次提出了“深度信念网络”的概念。与传统的训练方式不同，“深度信念网络”有一个“预训练”（pre-training）的过程，这可以方便的让神经网络中的权值找到一个接近最优解的值，之后再使用“微调”(fine-tuning)技术来对整个网络进行优化训练。这两个技术的运用大幅度减少了训练多层神经网络的时间。在他的论文里面，他给多层神经网络相关的学**方法赋予了一个新名词— “深度学习”。
很快，深度学**在语音识别领域崭露头角。接着在2012年，深度学**技术又在图像识别领域大展拳脚。Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络成功地对包含一千个类别的一百万张图片进行了训练，取得了分类错误率15%的好成绩，这个成绩比第二名高了将近11个百分点。这个结果充分证明了多层神经网络识别效果的优越性。从那时起，深度学**就开启了新的一段黄金时期。我们看到今天深度学**和神经网络的火热发展，就是从那个时候开始引爆的。
可以说在过去十几年时间里，图中这四位学者引领了深度学**发展最。第一位就是Yann LeCun，他曾在多伦多大学随 Hinton攻读博士后，现在是纽约大学的教授，同时还是Facebook人工智能最重要的推动者和科学家。第二位就是是之前我们多次提到的Geoffrey Hinton，现在是Google Brain。第三位是Bengio，他是蒙特利尔大学的教授，他仍然坚持在学术领域里面不断探索。Benjio主要贡献在于他对RNN（递归神经网络）的一系列推动。第四位是Andrew Ng（吴恩达），大家在很多媒体上见到过他。上个月他还来到北京参加过一次技术大会。因为他的华人身份更容易被大家接受。在纯理论研究上面Andrew Ng 的光芒不如上述三位大牛，甚至可以说有不小的差距，但是在工程方面的应用他仍然是人工智能领域的权威。
神经网络究竟可以用来干什么？神经网络如果放到简单概念上，可以理解成帮助我们实现一个分类器。对于绝大多数人工智能需求其实都可以简化成分类需求。更准确的描述就是绝大多数与智能有关的问题，都可以归结为一个在多维空间进行模式分类的问题
例如，识别一封邮件，可以告诉我们这是垃圾邮件或者是正常的邮件；或者进行疾病诊断，将检查和报告输入进去实现疾病的判断。所以说，分类器就是神经网络最重要的应用场景。
究竟什么是分类器，以及分类器能用什么方式实现这个功能？简单来说，将一个数据输入给分类器，分类器将结果输出。曾经有人问过这样一个问题，如果对一个非专业的人士，你如何用通俗表达方法向他介绍神经网络的分类器。有人就用了水果识别做为例子。例如，我非常喜欢吃苹果，当你看到一个新苹果，你想知道它是不是好吃是不是成熟，你鉴别的依据是很多年里你品尝过的许许多多的苹果。你会通过色泽、气味或其它的识别方法加以判断。这样判断过程在深度学**和神经网络里面，我们就称之为训练过的分类器。这个分类器建立完成之后，就可以帮助我们识别食入的每个苹果是不是成熟。对于传统的人工智能方法，例如逻辑回归来说，它的决策平面是线性的。所以，这一类的方法一般只能够解决样本是线性可分的情况。如果样本呈现非线性的时候，我们可以引入多项式回归。隐层的神经元对原始特征进行了组合，并提取出来了新的特征，而这个过程是模型在训练过程中自动“学**”出来的。
利用神经网络构建分类器，这个神经网络的结构是怎样的？
其实这个结构非常简单，我们看到这个图就是简单神经网络的示意图。神经网络本质上就是一种“有向图”。图上的每个节点借用了生物学的术语就有了一个新的名词 – “神经元”。连接神经元的具有指向性的连线（有向弧）则被看作是“神经”。这这个图上神经元并不是最重要的，最重要的是连接神经元的神经。每个神经部分有指向性，每一个神经元会指向下一层的节点。节点是分层的，每个节点指向上一层节点。同层节点没有连接，并且不能越过上一层节点。每个弧上有一个值，我们通常称之为”权重“。通过权重就可以有一个公式计算出它们所指的节点的值。这个权重值是多少？我们是通过训练得出结果。它们的初始赋值往往通过随机数开始，然后训练得到的最逼近真实值的结果作为模型，并可以被反复使用。这个结果就是我们说的训练过的分类器。
节点分成输入节点和输出节点，中间称为隐层。简单来说，我们有数据输入项，中间不同的多个层次的神经网络层次，就是我们说的隐层。之所以在这样称呼，因为对我们来讲这些层次是不可见的。输出结果也被称作输出节点，输出节点是有限的数量，输入节点也是有限数量，隐层是我们可以设计的模型部分，这就是最简单的神经网络概念。
如果简单做一个简单的类比，我想用四层神经网络做一个解释。左边是输入节点，我们看到有若干输入项，这可能代表不同苹果的RGB值、味道或者其它输入进来的数据项。中间隐层就是我们设计出来的神经网络，这个网络现在有不同的层次，层次之间权重是我们不断训练获得一个结果。最后输出的结果，保存在输出节点里面，每一次像一个流向一样，神经是有一个指向的，通过不同层进行不同的计算。在隐层当中，每一个节点输入的结果计算之后作为下一层的输入项，最终结果会保存在输出节点上，输出值最接近我们的分类，得到某一个值，就被分成某一类。这就是使用神经网络的简单概述。
除了从左到右的形式表达的结构图，还有一种常见的表达形式是从下到上来表示一个神经网络。这时候，输入层在图的最下方，输出层则在图的最上方。从左到右的表达形式以Andrew Ng和LeCun的文献使用较多。而在 Caffe框架里则使用的则是从下到上的表达。
简单来说，神经网络并不神秘，它就是有像图，利用图的处理能力帮助我们对特征的提取和学**的过程。2006年Hinton的那篇著名的论文中，将深度学**结成三个最重要的要素：计算、数据、模型。有了这三点，就可以实现一个深度学**的系统。
程序员需要的工具箱
对于程序员来说，掌握理论知识是为了更好的编程实践。那就让我们我们来看看，对于程序员来说，着手深度学**的实践需要准备什么样的工具。
硬件
从硬件来讲，我们可能需要的计算能力，首先想到的就是CPU。除了通常的CPU架构以外，还出现了附加有乘法器的CPU，用以提升计算能力。此外在不同领域会有DSP的应用场景，比如手写体识别、语音识别、等使用的专用的信号处理器。还有一类就是GPU，这是一个目前深度学**应用比较热门的领域。最后一类就是FPGA（可编程逻辑门阵列）。这四种方法各有其优缺点，每种产品会有很大的差异。相比较而言CPU虽然运算能力弱一些，但是擅长管理和调度，比如读取数据，管理文件，人机交互等，工具也丰富。DSP相比而言管理能力较弱，但是强化了特定的运算能力。这两者都是靠高主频来解决运算量的问题，适合有大量递归操作以及不便拆分的算法。GPU 的管理能力更弱一些，但是运算能力更强。但由于计算单元数量多，更适合整块数据进行流处理的算法。FPGA在管理与运算处理方面都很强，但是开发周期长，复杂算法开发难度较大。就实时性来说，FPGA是最高的。单从目前的发展来看，对于普通程序员来说，现实中普遍采用的计算资源就还是是CPU以及GPU的模式，其中GPU是最热门的领域。
为什么是GPU？简单来说就是性能的表现导致这样的结果。随着CPU的不断发展，工艺水平逐步提高，我们开始担心摩尔定律会不会失效。但是GPU的概念横空出世，NVIDIA 的CEO 黄仁勋得意的宣称摩尔定律没有失效。我们看到最近几年，GPU处理能力的提升是非常惊人的。今年发布的Nvidia P100的处理能力已经达到令人恐怖的效果。与CPU处理能力做一个对比，虽然CPU的主频要远远高过GPU的主频，例如目前GPU在主频在0.5GHz到1.4gHz，处理单元达到3584个；而且最常见的CPU，比如Intel的处理器，大约只有20几个处理单元。这种差别是仅仅在处理单元的数量上就已经存在了巨大的差别。所以深度学**具备大量处理能力计算要求的情况下，GPU无疑具有非常强大的优势。
GPU并不是完全完美的方案！对于程序员来讲，我们也应该了解到它天生的不足。相比CPU，它仍然存在许多的局限。首先，比如：这种技术需要绑定特定的硬件、对编程语言的有一定的限制。简单来说，开发的灵活性不如CPU。我们**惯的CPU已经帮助我们屏蔽掉处理了许多的硬件上细节问题，而GPU则需要我们直接面对这些底层的处理资源进行编程。第二，在GPU领域不同厂商提供了不兼容的框架。应用的算法需要针对特定的硬件进行开发、完善。这也意味着采用了不同框架的应用对于计算环境的依赖。第三，目前GPU是通过PCIe外部配件的方式和计算机集成在一起。众所周知，PCIe连接的频宽是很大的瓶颈，PCIe 3.0 频宽不过7.877 Gbit/s。考虑到计算需求较大的时，我们会使用显卡构成GPU的集群（SLI），这个频宽的瓶颈对于性能而言就是一个很大的制约。最后，就是有限的内存容量的限制。现在Intel新推出的E7处理器的内存可以达到2TB。但是对于GPU而言，即使是Nvidia 的 P100 提供有16GB的内存，将四块显卡构成SLI（Scalable Link Interface）也只有64GB的显存容量。如果你的模型需要较大的内存，恐怕就需要做更好的优化才可以满足处理的需要。这些都是GPU目前的缺陷和不足。我们在着手使用GPU这种技术和资源的时候一定要意识到这一点。
GPU除了硬件上具备了一定的优势以外，Nvidia还为程序员提供了一个非常好的开发框架-CUDA。利用这个编程框架，我们通过简单的程序语句就可以访问GPUs中的指令集和并行计算的内存。对于这个框架下的并行计算内存，CUDA提供了统一管理内存的能力。这让我们可以忽略GPU的差异性。目前的编成接口是C语言的扩展，绝大多数主流编程语言都可以使用这个框架，例如C/C 、Java、Python以及.NET 等等。
今年的中秋节假期，我为自己DIY了一台深度学**工作站。起因是我买了一块GeForce GTX 1070显卡，准备做一些深度学**领域的尝试。因为我的老的电脑上PCIe 2.0 的插槽无法为新的显卡供电。不得已之下，只好更新了全部设备，于是就组装了一台我自己的深度学**工作站。这个过程是充满挑战的，这并不仅仅是需要熟悉各个部件的装配。最重要的是要考虑很多细节的的搭配的问题。比如说供电的问题，要计算出每个单元的能耗功率。这里面又一个重要的指标就是TDP（ Thermal Design Power）。Intel 6850K的TDP值是140W，1070显卡的值是150W。于是，系统搭配的电源就选择了650W的主动电源。其次，如果我们用多块显卡（SLI），就必须考虑到系统频宽的问题。普通的CPU和主板在这方面有很大局限。就我的最基本的需求而言我需要的最大的PCI Expres 与Lanes 是 40。这样算下来，Intel i7-6850K就是我能找到最便宜而且可以达到要求的CPU了。
本文来自：人机与认知实验室
人工智能学家 Aitists
人工智能学家是权威的前沿科技媒体和研究机构，2016年2月成立未来科技学院，目标是研究前沿科技未来发展趋势；培养掌握未来科技动向的企业家和具有独立创新精神的未来科学家；孵化和服务前沿科技创新项目。
联系客服
