深度学习时代始于 2006 年，当时多伦多大学教授杰弗里·辛顿（Geoffrey Hinton）是该人工智能特定方法的创始人之一，他从理论上认为，通过将更多的人工神经元添加到 机器学习程序。 深度学习中的“深”是指一个神经网络的深度，数据经过了多少层人工神经元。
Hinton 的洞察力导致 AI 程序在 ImageNet 图像识别任务等测试中的实际性能取得突破。 随后的十五年被称为深度学习革命。
上周斯坦福大学与多家机构联合发布的一份报告认为，深度学习方法的主导地位可能会在未来几年逐渐消退，因为它无法解决构建人工智能的棘手问题。
“最近深度学习的主导地位可能即将结束，”该报告的作者写道。 “为了继续取得进展，人工智能研究人员可能需要采用通用和专用手动编码方法，以及更快的处理器和更大的数据。” AI100 报告说。
这份正式名称为“人工智能百年研究”的报告是计划每五年发布一次关于该学科状况的系列报告的第二部分。 该报告由组成常设委员会并组织研讨会的一批学者汇总，其研究结果在研究中得到总结。
该报告对深度学习的预测可能为时过早，原因很简单，与过去时代不同，当人工智能处于计算机科学的边缘时，为深度学习提供动力的数学现在已经牢牢嵌入商业计算领域。
数千亿美元的市场价值现在归功于深度学习基础。 与之前的任何 AI 方法不同，深度学习现在已经确立。
几十年前，雄心勃勃的计算任务的公司因缺钱而倒闭。 Thinking Machines 是 1980 年代至 90 年代人工智能探索的瑰宝。 在烧掉 1.25 亿美元的风险投资后，它于 1994 年破产。
今天的初创公司破产的想法似乎不太可能，因为它们拥有前所未有的大量现金。 Cerebras Systems、Graphcore、SambaNova Systems 总共获得了数十亿美元，并且可以在债务和股票市场上获得更多资金。
更重要的是，AI 芯片的领导者 Nvidia 是一家市值 5390 亿美元的巨头，每年通过销售用于深度学习训练和推理的芯片赚取 100 亿美元。 这是一家拥有大量跑道的公司，可以建造更多、销售更多，并从深度学习革命中变得更加富有。
为什么深度学习业务如此成功？ 这是因为深度学习，不管它是否真的会导致任何类似智能的东西，已经创造了一种范式，可以使用越来越快的计算来自动化大量的计算机编程。 无论 AI 学者如何看待他们对 AI 的贡献，Hinton 和他的同谋都因推动计算科学向前发展而受到表彰。
AI100 报告的作者指出，深度学习在其对数据和计算能力的永无止境的需求中正面临实际限制。 作者写道，
但是现在，在 2020 年代，这些通用方法遇到了限制——可用计算、模型大小、可持续性、数据可用性、脆弱性和缺乏语义——这开始促使研究人员重新设计他们系统的专用组件以 尝试解决它们。
这一切可能都是真的，但是，这又是一次战斗的召唤，计算机行业乐于花费数十亿美元来回应。 深度学习的任务已经成为最强计算机的目标。 人工智能不再是一门特殊的学科，它是计算机工程的心脏。
根据今年早些时候 MLPerf 测试套件的基准测试结果，谷歌制造的地球上最快的计算机之一只需 14 秒即可自动“训练”以解决 ImageNet 问题。 这本身并不是思维的衡量标准，而是衡量计算机将输入转换为输出的速度有多快——输入图片，输出线性回归答案。
所有的计算机，自从 Alan Turing 构思出它们以来，就只做一件事，并且只做一件事，它们将一系列的 1 和 0 转换为不同的 1 和 0 系列。 深度学习就是让计算机自动提出转换规则而不是让人指定规则的一种方式。
谷歌和 Nvidia 正在帮助构建的只是所有计算机的未来。 每个计算机程序都可以从其某些转换的自动化中获益，而不是由人费力地编码。
作为自动化基础的极其简单的方法，矩阵乘法，是崇高的，因为它是一个如此基本的数学运算。 对于计算机制造商来说，这很容易成为目标。
这意味着每个芯片都在成为深度学习芯片，从某种意义上说，每个芯片现在都是矩阵乘法芯片。
“神经网络是新的应用程序，”英特尔加速计算系统和图形事业部高级副总裁兼总经理 Raja M. Koduri 最近告诉 ZDNet。 “我们看到的是每个插槽，不是 CPU、GPU、IPU，所有东西都会有矩阵加速，”Koduri 说。
当你有锤子时，一切都是钉子。 计算机行业有一个非常大的锤子。
Cerebras 的 WSE 芯片是世界上最大的半导体，它是一台巨大的机器，可以一遍又一遍地做一件事，即驱动深度学习的矩阵乘法。
基准测试 MLPerf 已成为公司根据深度学习计算速度购买计算机的标准。 深度学习革命已经成为深度学习行业，因为它将矩阵数学确立为计算的新衡量标准。
汇集AI100报告的学者们正在就研究方向发表意见。 许多学者担心，深度学习并没有更接近理解或实现类人智能的目标，而且似乎不会很快实现。
纽约大学心理学家 Gary Marcus 等深度学习评论家组织了整个研讨会，探索将深度学习与其他方法（例如符号推理）相结合的方法，以找到突破深度学习单调方法的局限性的方法。
该报告的研究小组成员之一、圣达菲研究所和波特兰州立大学的梅兰妮·米切尔 (Melanie Mitchell) 对批评进行了优雅的概括。 米切尔今年在一篇题为“为什么人工智能比我们想象的更难”的论文中写道，尽管人们对这种方法持乐观态度，但深度学习正面临着严重的局限性。 米切尔引用了一个事实作为证据，即长期宣扬的自动驾驶汽车时代等大肆宣传的目标未能实现。
正如 Mitchell 相当敏锐地指出的那样，深度学习几乎不知道如何谈论智能，更不用说复制它了：
很明显，为了更有效地取得和评估人工智能的进展，我们需要开发一个更好的词汇表来谈论机器可以做什么。 更一般地说，我们需要对智能在自然界不同系统中的表现有更好的科学理解。 这将要求 AI 研究人员更深入地参与研究智能的其他科学学科。
毫无疑问，这一切都是正确的，然而，计算机行业喜欢渐进主义。 六十年来使集成电路的速度和速度翻倍，已经让计算机世界迷上了可以轻松复制的东西。 基于大量矩阵乘法的深度学习再次成为一个崇高的目标，一个非常简单的任务，可以运行得越来越快。
只要计算机公司能够在矩阵加速方面不断推陈出新，作为计算主流的深度学习行业的后劲就不可小觑。
