人工智能读书笔记一

我准备写一系列关于人工智能（AI，Artificial Intelligence）的读书笔记，源自各种资料的拼凑和少量脑补，不保证所有主张的正确性，请自行斟酌。第一篇是导读，从阿法狗到人工智能，AI的发展历史和基本三要素，深度学习的概念，最后是AI芯片的定义与分类。

阿法狗与人工智能

2016年3月9日至15日，AlphaGo在首尔进行的五番棋比赛中以总比分4比1战胜李世石，人工智能在星光熠耀的舞台上首次登场。至今还记得听闻李世石落败后，我作为一个围棋蕴含传统文化与哲学精神的爱好者与信众，世界观破碎的声音。当时的反应是绝望与恐慌，如同「终结者」的时代即将到来；直到独自在一片沉寂奥森奔跑了32公里，才慢慢找回真实的、自我的感觉。

那么，什么是人工智能呢？人类特有的形声闻味触五感，给予了人感受万物万事的能力，计算机能实现对人的视觉、听觉、嗅觉、味觉、触觉的模拟感知、思维决策和行为控制么？我认为，就算人工智能系统通过各种技术、模拟具备了五感，也很难具有真正意义上的意识，即灵魂，它们永远不会有私人的、像人类一样的内心思想。

AI机器人的外观可以充满智慧与流线感。

也可以更现实、更具有生活气息。

或者光怪陆离，尽显金属范。

抛开哲学，简单点，仅从科学和工程角度去理解，人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，它是计算机科学的一个分支。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

AlphaGo 由 Google DeepMind 团队开发，其程序综合了神经网络和蒙特卡罗树搜索，具有自我学习能力。初代AlphaGo是通过搜集大量围棋对弈数据和名人棋谱，学习并模仿人类下棋，在达到一定熟练程度后，通过自我对弈来提升棋力。它使用了巨大的计算资源，硬件在AlphaGo的性能表现上扮演了关键角色。

AlphaGo有多种配置，不同配置对它的性能有巨大影响，最低配置使用了48个CPU和1个GPU；最高配置是分布式版本的AlphaGo，根据DeepMind员工发表在2016年1月Nature期刊的论文，分布式版本（AlphaGo Distributed）使用了1202个CPU和176个GPU，同时可以有40个搜素线程。

击败李世石的AlphaGo Lee 版本，则是由上述分布式版本训练，4 个TPU v1推理的 。后来升级的 AlphaGo Master 版以及自我学习的 AlphaGo Zero 版 ，则是由 TPU v2  Pod 训练。

人工智能的三次浪潮

1956年夏季，以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会，共同研究和探讨用机器模拟智能的一系列有关问题，并首次提出了「人工智能」这一术语。因此1956年被称为AI元年，从那以后，人工智能研究几起几落，迄今已经是第三波浪潮了。

简要回顾人工智能的发展历史，我们会发现它主要由3个方面相互交织发展：符号主义、连接主义和行为主义。由这3个方面构成的人工智能设计模型如下图。

第一波浪潮是20世纪50年代到60年代，符号主义，其核心是用数学和物理学中的逻辑符号来表达思维的形成，通过大量的「if-then」规则定义，产生像人一样的智能，这是一个自上而下的过程，包括专家系统、知识工程等。

第二波浪潮是20世纪80年代到90年代，连接主义，其核心是神经元网络与深度学习，主张智能来自神经元之间的连接，它让计算机模拟人类大脑中的神经网络及其连接机制，把人的神经系统的模型用计算的方式呈现，用它来仿造智能。这是一个自下而上的过程，包括人工神经网络等。

第三波浪潮就是2006年至今，行为主义，指的是基于感知行为的控制系统，使每个基本单元实现自我优化和适应，这也是一个自下而上的过程，其核心是技术的融合，软硬件的融合。把一些技术、神经元网络和统计的方法结合在一起，深度学习+大规模计算+大数据=人工智能。

人工智能最初采用的方法是专家编制规则，教机器人认字、语音识别，但是人们没法总结提炼出人类视听功能中的规律，因此在机器学习的转化上效果并不好，结果事与愿违，人工智能也在残酷的现实中走向下坡。

由于人为指导这条路行不通，人们开始另辟蹊径，把目光投向了基于大量数据的统计学方法，于是人工智能在人脸识别等一些较简单的问题上取得了重大进展，在语音识别上也实现了基本可用，初见成效。然而基于大数据的统计学方法很快遇到了瓶颈，因为单纯依靠数据积累并不能无限地提高准确率，从「基本可用」到「实用」之间出现了一道难以逾越的鸿沟，十几年都没能跨过，人工智能再次没落。

直到2006年，多伦多大学 Geoffrey Hinton 教授在《科学》上发表一篇关于深度学习的文章，人们又重新看到了人工智能的希望。

随着GPU（图形处理器）的广泛使用，计算机的并行处理速度大幅加快、成本更低、功能更强大，实际存储容量无限拓展，可以生成大规模的数据，包括图片、文本和地图数据信息等，人工智能迎来了新的生机。

人工智能三要素

人工智能三要素：算法、算力和大数据，缺一不可，都是人工智能取得如此成就的必备条件。按重要程度来说：

第一是数据。人类要获取一定的技能都必须经过不断地训练，且有熟能生巧之说。AI也是如此，根基是训练，只有经过大量的训练，神经网络才能总结出规律，应用到新的样本上。只有大量的数据，而且能覆盖各种可能的场景，才可以得到一个表现良好的模型，看起来更智能。

第二是算力。有了数据之后，需要进行训练，不断地训练。深度学习中有三个概念叫Epoch, Batch, Iteration，只把训练集从头到尾训练一遍网络是学不好的，需要把训练集翻过来、调过去，训练很多轮。训练和推理需要强大算力的支撑。

第三是算法，神经网络算法和深度学习是目前最主流的人工智能算法。某种程度上来说算法是获取成本最低的，现在有很多paper，开源的网络代码，各种AutoML自动化手段，创业公司比较容易切入；算力需要芯片支撑，芯片行业是一个赢者通吃的市场，有资金、技术和人才三大壁垒，更需要一个行业的生态链来孕育成长。

深度学习

自2006年以来，机器学习领域，取得了突破性的进展。这个算法就是深度学习（Deep Learning）。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

深度学习算法分「训练」和「推理」两个过程。简单来讲，人工智能需要通过以大数据为基础，通过「训练」得到各种参数（也就是模型），然后把模型传递给「推理」部分，得到最终结果。

神经网络分为前向计算（包括矩阵相乘、卷积、循环层）和后向更新（主要是梯度运算）两类，「训练」是两者兼而有之，「推理」主要是「前向计算」，都包含大量并行运算。一般来说，「训练+推理」在云端进行，终端人工智能硬件只负责「推理」。

人工智能芯片

个人浅见，现阶段的人工智能行业与十年前盛极一时的游戏行业，本质是一样的，都是计算机基于数据，对图像与声音的计算与展示。

这其中，视觉信息的结构化是人工智能最重要的方面，而数字图像处理是视觉信息结构化的基本技术。子曰：「工欲善其事，必先利其器」，作为一个AI芯片行业的产品与方案人，还是先从人工智能芯片开始讲吧。有句话说得好：芯片承载算法，是竞争的制高点。

由于AI所需的深度学习需要很高的并行计算、浮点计算以及矩阵运算能力，基于CPU的传统计算架构无法充分满足人工智能高性能并行计算(HPC)的需求，因此需要发展适合AI架构的专属芯片。目前处理器芯片面向人工智能硬件优化升级有两种发展路径：

1）延续传统计算架构，加速硬件计算能力：以GPU、FPGA、ASIC等专属芯片为辅，配合CPU的控制，专门进行AI相关的各种运算。

通用芯片GPU：GPU由于更适合执行复杂的数学和几何计算(尤其是并行运算)，刚好与包含大量并行运算的 AI 深度学习算法相匹配，成为人工智能硬件首选，在云端和终端各种场景均率先落地。目前在云端作为AI 训练的主力芯片；在终端的安防、汽车等领域，GPU也率先落地，是目前应用范围最广、灵活度最高的AI硬件。

半定制化芯片FPGA：算法未定型前的最佳选择。FPGA（Field-Programmable Gate Array，现场可编程门阵列）是一种用户可根据自身需求进行重复编程的万能芯片。编程完毕后功能相当于ASIC(专用集成电路)，具备效率高、功耗低的特点，但同时由于要保证编程的灵活性，电路上会有大量冗余，因此成本上不能像ASIC做到最优，并且工作频率不能太高(一般主频低于500MHz)。FPGA相比GPU具有低功耗优势，同时相比ASIC具有开发周期快，更加灵活编程等特点，是效率和灵活性的较好折衷，在算法未定型之前具较大优势。在现阶段云端数据中心业务中，FPGA以其灵活性和可深度优化的特点，有望继GPU之后在该市场爆发；在目前的终端智能安防领域，目前也有厂商采用FPGA方案实现AI硬件加速。

全定制化芯片ASIC：Application Specific Integrated Circuit，专用集成电路，指专门为AI应用设计、专属架构的处理器芯片。近年来涌现的类似TPU、NPU、VPU、BPU等令人眼花缭乱的各种芯片，本质上都属于ASIC。无论是从性能、面积、功耗等各方面，AISC都优于GPU和FPGA，但在AI算法尚处于蓬勃发展、快速迭代的今天，ASIC存在开发周期较长、需要底层硬件编程、灵活性较低等劣势，因此发展速度不及GPU和FPGA。

2）彻底颠覆传统计算架构，采用模拟人脑神经元结构来提升计算能力，以IBM TrueNorth为代表的类脑芯片。类脑芯片研究是非常艰难的，IBM、高通、英特尔等公司的芯片策略都是用硬件来模仿人脑的神经突触。但由于技术和底层硬件的限制，这种方法尚处于前期研发阶段，目前不具备大规模商业应用的可能性。