时间: 训练一个像卷积神经网络(CNN)或循环神经网络(RNN)这样的深度网络所需要的时间可以达到数周。这还不包括定义问题,以及在深度网络达到所需性能阈值之前,对其进行编程的过程中不断的成功和失败所耗费的时间。
花费: 在上百台 GPU 上进行连续数周的计算是十分昂贵的。从亚马逊的云计算服务租赁 800 台 GPU 使用一周的时间,订价就要大概 12 万美金。这还没开始计算人力成本。启动一个 AI 项目可能意味着要聘用成本最高的人才几个月或一年或更多的时间。
数据: 在许多情况下,无法获得足够数量的有标记数据,会导致项目无法开始。有许多好点子都由于无法负担训练数据的价格,而失去了探索的机会。
所以,我们主要在涉及图像处理、文本和语音识别的商业领域取得了良好进展,然而这些初创公司往往利用了谷歌、IBM、微软和其他大公司的工作,这些大公司提供了许多训练好的图像和语音模型,可以通过 API 使用。
如果你一直在跟进该领域的进展,你会发现我们使用 CNN 和 RNN 已经向前冲出了一段,但是超越这些应用的进展现在才刚刚出现。下一波进步浪潮将来自于生成对抗网络(GAN)以及增强学习(Reinforcement Learning),以及一些像 IBM Waston 那样的认知计算系统的助力。我们最近的文章《人工智能的三个时代——我们现在在哪里》中对此进行了总结。
以下是关于我们该如何前进的最常见的愿景。用我们所知道的;从我们现在常用的 CNN 和 RNN 中将演化出越来越复杂的具有不同结构的深度神经网络。我们只需要让它们运行的更快。
事实上,尽管未来可能完全不同。我们看到的是在人工智能的未来,基于完全不同技术的三方竞赛正在逐渐成形。它们分别是:
高性能计算(HPC)
神经形态计算(NC)
量子计算(QC)
其中之一,高性能计算是我们今天所看到的主要焦点。芯片制造商之间正在激烈竞争,还有一些诸如谷歌这样的不太像芯片厂家的非硬件用户,也在为了加速深度学习而开发芯片。而另外两个,神经形态,也称作脉冲神经网络,以及量子计算,听起来似乎是很遥远的事情。然而事实是,如今已经有商用的神经形态芯片和量子计算机在可操作的机器学习中投入使用。
这可以是冰山一角,也可以是帐篷下的骆驼鼻子,取决于你喜欢哪个比喻了。无论是热的还是冷的说法,这两种新技术都会颠覆人工智能的一条看似笔直的道路,但是是以一种良性的方式颠覆了它。
大家一直最关注的方向是高性能计算。它专注于已知的深度神经网络架构,致力于让它们运行地更快并且更容易访问。
基本上这意味着两点:更好的通用环境,例如 TensorFlow,以及在越来越大的数据中心对 GPU 和 FPGA 更有效的利用,并且更专业的芯片有望出现在不远的将来。
人工智能领域中,新的商业模式是“开源”。在 2016 年头六个月,也就在 12 个月前,几乎人工智能领域的每一个主要参与者都开源了他们的人工智能平台。他们都是竞争对手,拥有在数据中心、云服务和智能 IP 的巨大投资。开源背后的策略很简单,拥有最多用户(平台采用人数)的平台获胜。
当英特尔、NVIDIA 等传统芯片厂商纷纷从 GPU 的新需求中盈利时,其他公司,例如谷歌和微软,正在探索全新的领域,他们自主开发专有芯片,使他们自己的深度学习平台更快或更受欢迎一些。
谷歌用 TensorFlow 作为其功能强大的、通用的解决方案,与最新公布的专用芯片 TPU(张量处理单元)相结合打出了漂亮的一拳。
微软一直在大力宣扬其使用的是非专有的 FPGA,并且他们刚刚发布微软认知工具包(CNTK)的专业 2.0 升级。CNTK 提供了一个 java API,可将 Spark 直接集成进来。它支持 Keras 框架下完成的代码,Keras 是 TensorFlow 的主要竞争对手,基本上是 TensorFlow 的一个前端,便于用户从谷歌迁移过来。据报道,CNTK 要比 TensorFlow 更快,并且更准确,而且也提供了 Python API。
Spark 集成将继续成为一个重要的驱动力。雅虎已经把 TensorFlow 集成到 Spark 平台。Spark 的主要商业服务提供商 Databricks 现在已经有自己的开源软件包,将深度学习和 Spark 集成起来。
问题在于,就像摩尔定律的限制,这些进步能将我们带去多远的未来。他们现如今已经十分普遍,但他们将继续前进。他们足以让我们进入 GAN 和强化学习的阶段吗?也许是的,至少我们现在知道如何使用这些深度学习架构。
模拟神经形态计算或神经脉冲网络正处在通往强人工智能的道路上,它们基于对大脑实际工作方式的一些观察来对网络进行设计。这种方式与我们目前所设计的深度神经网络工作的方式明显不同。
首先,研究人员观察到,大脑中并不是所有的神经元每一次都会响应。神经元发出选择性信号沿网路下传,数据实际上是在信号的电位峰值中以某种方式编码的。其实这些信号由一系列峰值组成,所以目前主要研究信息是否在振幅、频率编码,或峰值之间的延迟中编码,或者三者皆有。
在我们现有的深度神经网络中,所有神经元每次都按照相对简单的激活函数,Sigmoid 或者 ReLU 进行响应。
由于不是所有的“神经元”每次都要响应,一个简单的脉冲神经网络神经元可以取代传统的深度网络中上百个神经元,从而在网络的能力和大小上都得到更高的效率。
早期的例子表明,它们可以从环境中只使用无监督技术(没有标注样例)进行学习,样例越少,学的越快。
它们可以泛化它们的环境,从一个环境中学习并将其应用到另一个。它们能记忆并泛化,这是一个真正的能力突破。
它们的能量效率更高,为网络模型小型化开辟了一条道路。
因此,改变这种基本架构可以解决今天深度学习所面临的所有三个基本问题。
最重要的是,现在就已经可以购买并使用模拟神经形态的脉冲神经网络系统了,它不是一项未来的技术。
BrainChip 控股公司(加利福尼亚州,Aliso Viejo 区)已经在拉斯维加斯最大的赌场之一推出了商业安全监控系统,并且宣布了将要交付的其他应用程序。在拉斯维加斯,它的功能是通过监视标准监控摄像机的视频流来直观地、自动地检测发牌员的错误。它完全通过观察来学习游戏规则。
BrainChip 是一个在澳大利亚证券交易所(ASX:BRN)上市的公司,为他们所研发的脉冲网络技术申请了知识产权专利保护。它正在推出一系列自己的赌博监控产品,同时在为其知识产权寻求许可协议。
是的,这项技术还需要许多改进,但对于目前的人工智能开发来说,脉冲神经网络已经成为一个商业现实和选择。
关于量子计算的一些你可能没有意识到的事:
如今,量子计算已经可供人们使用,并且自从 2010 年起,Lockheed Martin 一直将其投入商业使用。其他几家公司正在推出的商业应用都是基于 D-Wave 量子计算机的,这是第一个商业市场。D-Wave 近期每年都将它的量子计算机的规模扩大一倍,并且有望继续这样做。
五月份,IBM 宣布其量子计算机 IBM Q 的商业可用性。这是一个基于云的订阅服务,这无疑在引导着行业向简化访问其他昂贵或复杂机器的方向发展。IBM 表示,到目前为止,用户已经在他们的机器上运行了 300000 个实验。
在接下来的两到三年里,谷歌和微软将在市面上发行他们自己的量子计算机,作为个人或学术机构的一套完整的服务器。
由 D-Wave 和一些独立的研究人员引入的开源编程语言可以使这些设备的编程更容易。
量子计算机擅长各类优化问题,包括基于随机梯度下降方法的所有算法。他们可以轻易模仿受限玻尔兹曼机,你可以将其视为深度神经网络结构之一,并且它们目前正在深度学习配置中使用,像卷积神经网络(CNN)一样进行图像分类的任务。由于一些结构差异,我们需要区分这类网络为量子神经网络(QNN)。
据 2015 年由谷歌对 D-Wave 的量子计算机与传统计算机的基准实验研究报告表明,量子计算机的性能优于传统的台式计算机 108 倍,速度上快了一亿倍。Hartmut Nevan 是谷歌的工程总监,在一个新闻发布会上宣布了基准实验结果。他介绍说,“D-Wave 一秒钟完成的工作需要花费传统的计算机一万年的时间。”
因此,量子仍然代表了第三条通往强人工智能的道路,并且克服了速度和成本问题。
事实上,神经形态计算和量子计算正在铺设通往深度学习,甚至是更快或者更简单的新版本人工智能的竞争路线。
首先,时间线。高性能计算今天已经成为现实,并且基于新研发的芯片,在接下来的几年可能会继续提高其性能。然而,对其新工厂和数据中心的巨额投资可能会由于量子计算和神经形态计算的飞速进展而很快中断。
深度学习平台。以谷歌的 TensorFlow 和微软的 Cognitive Toolkit(CNTK)为例,如今它们已经被广泛使用,但毫无疑问,其他竞争对手也将努力争取最多的用户。随着量子计算和神经形态计算功能的普及,这一点也将适用于他们。
模拟神经形态的脉冲神经网络(SNN)和量子计算才刚刚用于商业。每一个都将为人工智能提供非凡的新能力。
脉冲神经网络有望成为强大的自学习者,通过较小的未标注的训练集和从一个域到另一个的知识转移能力,开启了超高效学习的大门。
量子计算机将完全消除时间障碍,并且最终成本壁垒也会将得到解决方案的时间从几个月降低到几分钟。重要的是,目前正在使用的学习风格被称为增强量子计算,因为它是基于我们目前的深度学习算法,并且提高它们的性能。然而基于这些机器完全不同能力的全新的机器学习类型尚未到来。
我个人感觉,对于量子计算和神经形态计算,我们目前所在的时间点就像 2007 年,那年谷歌的大计划是开源的 Hadoop。起初我们并不知道该怎么用它,但三年后,Hadoop 在很大程度上接管了数据科学的进步。我想从现在开始,未来三年也将会有令人吃惊的发展。
查看英文原文:
https://www.datasciencecentral.com/profiles/blogs/the-three-way-race-to-the-future-of-ai-quantum-vs-neuromorphic-vs
Bill Vorhies 是数据科学中心的编辑部主任,自 2001 起成为数据科学家和商业预测建模师。
联系作者:Bill@DataScienceCentral.com
联系客服