大咖访谈：浅聊深度学习的意义

谢诺夫斯基是20世纪80年代挑战构建人工智能主流方法的研究人员之一。他们认为，受大脑生物学启发的、那些被称为“神经网络”“连接主义”和“并行分布处理”的AI实现方法，会最终解决困扰基于逻辑的AI研究的难题，从而提出了使用可以从数据中学习技能的数学模型。

正是这一小群研究人员，证明了基于大脑式的计算的全新方法是可行的，从而为“深度学习”的发展奠定了基础。

借由《深度学习：智能时代的核心驱动力量》一书出版机会，美国科技媒体《The Verge》采访了特伦斯·谢诺夫斯基，与他讨论了“人工智能”“神经网络”“深度学习”“机器学习”究竟有何区别？为何“深度学习”突然变得无处不在，它能做什么？不能做什么？以下是采访全文：

Q1：首先，我想问一下定义。人们几乎可以互换地使用“人工智能”，“神经网络”，“深度学习”和“机器学习”等词语。但这些是不同的东西。你能解释一下吗？

人工智能可以追溯到1956年的美国，那时工程师们决定编写一个试图仿效智能的计算机程序。

在人工智能中，一个新领域成长起来，称为机器学习。不是编写一个按部就班的程序来做某事——这是人工智能中的传统方法——而是你收集了大量关于你试图理解的事物的数据。例如，设想您正在尝试识别对象，因此您可以收集大量它们的图像。然后，通过机器学习，这是一个可以剖析各种特征的自动化过程，就可以确定一个物体是汽车，而另一个是订书机。

机器学习是一个非常大的领域，其历史可以追溯到更久远的时期。最初，人们称之为“模式识别”。后来算法在数学上变得更加广泛和复杂。

在机器学习中有受大脑启发的神经网络，然后是深度学习。深度学习算法具有特定的体系结构，其中有许多层数据流经的网络。

基本上，深度学习是机器学习的一部分，机器学习是人工智能的一部分。

Q2: 有什么“深度学习”能做而其他程序不能做的吗？

编写程序非常耗费人力。在过去，计算机是如此之慢，内存非常昂贵，以至于人们采用逻辑，也就是计算机的工作原理，来编写程序。他们通过基础机器语言来操纵信息。计算机太慢了，计算太贵了。

但现在，计算力越来越便宜，劳动力也越来越昂贵。而且计算力变得如此便宜，以至于慢慢地，让计算机学习会比让人类编写程序更有效。在那时，深度学习会开始解决以前没有人编写过程序的问题，比如在计算机视觉和翻译等领域。

机器学习是计算密集型的，但你只需编写一个程序，通过给它不同的数据集，你可以解决不同的问题。并且你不需要是领域专家。因此，对于存在大量数据的任何事物，都有对应的大量应用程序。

Q3：“深度学习”现在似乎无处不在。它是如何变得如此主导潮流？

我可以在历史上精确地找到这一特定时刻：2012年12月在NIPS会议（这是最大的AI会议）上。在那里，计算机科学家Geoff Hinton和他的两个研究生表明你可以使用一个名为ImageNet的非常大的数据集，包含10,000个类别和1000万个图像，并使用深度学习将分类错误减少20％。

通常，在该数据集上，错误在一年内减少不到1％。在一年内，20年的研究被跨越了。

这真的打开了潮水的闸门。

Q4：深度学习的灵感来自大脑。那么计算机科学和神经科学这些领域如何协同工作呢？

深度学习的灵感来自神经科学。最成功的深度学习网络是由Yann LeCun开发的卷积神经网络（CNN）。

如果你看一下CNN的架构，它不仅仅是很多单元，它们以一种基本上镜像大脑的方式连接起来。大脑中被研究的最好的一部分在视觉系统，在对视觉皮层的基础研究工作中，表明那里存在简单和复杂细胞。如果你看一下CNN架构，会发现有简单细胞和复杂细胞的等价物，这直接来自我们对视觉系统的理解。

Yann没有盲目地试图复制皮质。他尝试了许多不同的变种，但他最终收敛到的方式和那些自然收敛到的方式相同。这是一个重要的观察。自然与人工智能的趋同可以教给我们很多东西，而且还有更多的东西要去探索。

Q5：我们对计算机科学的理解有多少取决于我们对大脑的理解程度？

我们现在的大部分AI都是基于我们对大脑在60年代的了解。我们现在知道的更多，并且更多的知识被融入到架构中。

AlphaGo，这个击败围棋冠军的程序不仅包括皮质模型，还包括大脑的一部分被称为“基底神经节”的模型，这对于制定一系列决策来实现目标非常重要。有一种称为时间差分的算法，由Richard Sutton在80年代开发，当与深度学习相结合时，能够进行人类以前从未见过的非常复杂的玩法。

当我们了解大脑的结构，并且当我们开始了解如何将它们集成到人工系统中时，它将提供越来越多的功能，超越我们现在所拥有的。

Q6：人工智能也会影响神经科学吗？

它们是并行的工作。创新神经技术已经取得了巨大的进步，从一次记录一个神经元到同时记录数千个神经元，并且同时涉及大脑的许多部分，这完全开辟了一个全新的世界。

我说人工智能与人类智能之间存在着一种趋同。随着我们越来越多地了解大脑如何工作，这些认识将反映到AI中。 但与此同时，他们实际上创造了一整套学习理论，可用于理解大脑，让我们分析成千上万的神经元以及他们的活动是如何产生的。所以神经科学和人工智能之间存在这种反馈循环，我认为这更令人兴奋和重要。