AI 先驱杰弗里·辛顿 (Geoffrey Hinton) 表示,人工智能的机器学习形式将在计算机系统中引发一场革命,这是一种可以将 AI 放入烤面包机的新型硬件-软件结合体。
Hinton 于周四在新奥尔良举行的今年神经信息处理系统会议 NeurIPS 上发表了闭幕主题演讲,他说机器学习研究社区“在意识到深度学习对计算机构建方式的影响方面进展缓慢。”
他继续说道,“我认为我们将看到一种完全不同类型的计算机,虽然不会持续几年,但我们有充分的理由研究这种完全不同类型的计算机。”
迄今为止,所有数字计算机都被构建为“不朽”,其中硬件被设计为可靠的,以便相同的软件可以在任何地方运行。 “我们可以在不同的物理硬件上运行相同的程序……知识是不朽的。”
Hinton 说,这一要求意味着数字计算机错过了“硬件的各种可变、随机、不稳定、模拟、不可靠的特性,这些特性可能对我们非常有用。” 这些东西太不可靠了,不能让“两个不同的硬件位在指令级别上以完全相同的方式运行”。
Hinton 说,未来的计算机系统将采用不同的方法:它们将是“神经形态的”,并且它们将是“凡人的”,这意味着每台计算机都将是代表神经网络的软件与杂乱无章的硬件的紧密结合 ,在具有模拟而不是数字元素的意义上,它可以包含不确定性元素并且可以随着时间的推移而发展。
Hinton 解释说:“现在,替代方案是说我们将放弃硬件和软件的分离,因为它正在攻击他们的基本原则之一,所以计算机科学家真的不喜欢它。”
“我们将做我称之为凡人计算的事情,系统所学的知识和硬件是密不可分的。”
他说,这些凡人计算机可以“成长”,摆脱昂贵的芯片制造厂。
“如果我们这样做,我们就可以使用非常低功耗的模拟计算,你可以使用忆阻器之类的东西来进行万亿次并行处理,”他说,指的是一种已有数十年历史的基于非线性的实验芯片。 电路元件。
“而且你也可以在不知道硬件不同位的确切行为的精确质量的情况下开发硬件。”
另外:深度学习教父 Bengio、Hinton 和 LeCun 表示该领域可以修复其缺陷
希尔顿告诉 NeurIPS 人群,新的普通计算机不会取代传统的数字计算机。 “它不会是掌管你银行账户的计算机,也不会确切知道你有多少钱,”欣顿说。
“它将用于放置其他东西:它将用于以一美元的价格将 GPT-3 之类的东西放入你的烤面包机中,因此只需几瓦,你就可以与你的烤面包机进行对话。”
Hinton 被邀请在会议上发表演讲,以表彰他十年前与他的研究生 Alex Krizhevsky 和 Ilya Sutskever 撰写的论文“ImageNet Classification with Deep Convolutional Neural Networks”。 该论文因其对该领域的“巨大影响”而获得了会议的“时间考验”奖。 这项工作发表于 2012 年,是卷积神经网络首次在 ImageNet 图像识别竞赛中以人类水平参赛,它是开启当前人工智能时代的事件。
Hinton 因其在计算机科学领域的成就而获得了 ACM 图灵奖,该领域相当于诺贝尔奖,他组成了深度学习阴谋组织,该组织与他的图灵获奖者 Meta’s 一起复苏了垂死的机器学习领域 蒙特利尔 MILA 人工智能研究所的 Yann LeCun 和 Yoshua Bengio。
从这个意义上说,Hinton 在该领域的地位堪称 AI 皇室成员。
在他的受邀演讲中,Hinton 大部分时间都在谈论神经网络的一种新方法,称为前向网络,它取消了几乎所有神经网络中使用的反向传播技术。 他提出,通过移除反向传播,前向-前向网络可能更接近于现实生活中大脑中发生的事情。
前瞻性工作的论文草稿发布在欣顿在多伦多大学的主页 (PDF) 上,他是多伦多大学的名誉教授。
Hinton 说,前向-前向方法可能非常适合普通计算硬件。
“现在,如果要发生类似的事情,我们必须有一个将在特定硬件上运行的学习程序,我们学会利用该特定硬件的特定属性,而无需知道什么 所有这些属性都是,”Hinton 解释道。 “但我认为前向算法是那个小程序的有前途的候选者。”
他说,构建新的模拟凡人计算机的一个障碍是人们依赖于在数百万台设备上运行软件的可靠性。
“你要用这些手机取代它,每部手机都必须从婴儿手机开始,而且它必须学习如何成为一部手机,”他建议道。 “那非常痛苦。”
由于担心不确定性,即使是最精通相关技术的工程师也不会慢慢放弃完美、相同的不朽计算机的范例。
“在对模拟计算感兴趣的人中,仍然很少有人愿意放弃永生,”他说。 他说,这是因为对一致性、可预测性的执着。 “如果你想让你的模拟硬件每次都做同样的事情……你就会遇到所有这些杂散电子的问题。”