一些狂热者会争辩说,人工智能 (AI) 即将变得有感知能力。但 Yann LeCun 却不是,他因对深度学习的贡献而获得 2018 年图灵奖。
事实上,LeCun 认为 AI 并没有走上像人类一样思考和学习的正确道路。他指出,虽然一个青少年可以在大约 20 小时内学会驾驶,但如今一辆像样的自动驾驶汽车需要数百万或数十亿个标记的训练数据样本或在模拟环境中进行强化学习试验——而且仍然达不到人类的水平可靠驾驶的能力。
基于这种认识,LeCun 勾勒出了创建“自主人工智能”的路线图。 LeCun 的路线图从深度学习、机器人学、认知科学和神经科学等不同学科中汲取灵感,描绘出一个模块化的可配置结构。虽然实际实施该路线图需要进一步探索,但考虑复制动物和人类智能所需的不同组件是很有用的。
本文深入探讨了 LeCun 自主人工智能路线图背后的方法论。
这个怎么运作
世界模型
LeCun 框架的核心是一个预测世界条件或状态的“世界模型”。 LeCun 认为,动物和人在前额叶皮层的某处都有自己的“世界模型”。
虽然已经尝试开发基于 AI 的世界模型,但这些模型依赖于任务,不能适应不同的任务。然而,LeCun 不同意多个任务相关世界模型的概念,并相信一个单一的、动态可配置的世界模型。根据 LeCun 的说法,每个人的单一世界模型能够在多个任务之间实现知识共享,从而引导人类通过类比进行推理。
在 LeCun 的自主 AI 路线图的背景下,世界模型的想法伴随着其他模型,帮助 AI 系统理解世界并在其中执行动作。
感知模型
“感知”模型收集和处理来自传感器的信号,并估计世界的状态。因此,它模仿了人的五种感官。世界模型帮助感知模型执行两个基本任务:
填补感官数据中缺失的信息(例如,被遮挡的物体)。
预测世界最有可能的未来状态(例如,一辆行驶中的汽车从现在开始五秒后的位置)。
LeCun 的自主 AI 架构还包含与世界模型一起工作的其他模型,以促进 AI 的学习能力。这些包括:
成本模型
成本模型促使 AI 系统实现预期目标。它测量系统的不适程度,由两个子模型组成:
内在成本:一个内置的、不可训练的模型,可以计算即时不适(例如,对系统的损坏)。
评论家:预测内在成本未来状态的可学习模型。
人工智能系统旨在在一段时间内降低内在成本。根据 LeCun 的说法,这是存在基本行为冲动和内在动机的成本模型。区分此模型很重要,因为它可以使成本梯度通过其他模型反向传播——训练它们协同工作以降低内在成本。
演员模型
“演员”模型采取行动以尽量减少不适程度(即内在成本)。
短期记忆模型
“短期记忆”模型记住有关世界状况的重要信息和相应的内在成本。它在帮助世界模型做出准确预测方面发挥着重要作用。
配置器模型
最后,LeCun 的自主人工智能架构包括一个“配置器”模型,为系统提供执行控制。
配置器的主要目标是使 AI 能够处理各种不同的任务。它通过调节架构中的其他模型来做到这一点——例如,通过调整它们的参数。
回到前面的“自动驾驶汽车”示例,如果你想开车,你的“感知模型”(你的五种感官)应该从汽车与驾驶相关的部分吸收信息——你应该透过挡风玻璃向外看,触摸方向盘,聆听引擎的声音。同时,您的“参与者模型”必须相应地计划行动——您启动引擎并换档——并且您的“成本模型”将交通规则考虑在内。
有趣的是,LeCun 的路线图灵感来自 Daniel Kahneman 在《Thinking Fast and Slow》中提出的双过程理论。 Kahneman 的模型使 AI 系统能够表现出两种类型的行为:
模式 1. 模式 1 是一种快速的反身行为,是直接感知到行动映射的结果。
模式2。模式2是一种缓慢而深思熟虑的行为,它使用世界模型、感知模型、成本模型、参与者模型、短期记忆模型和配置器模型进行推理和规划。
如何实现 Yann LeCun 的自主 AI 框架
根据 LeCun 的说法,实现他的概念框架的一个关键挑战是实施。
LeCun 相信使用可通过基于梯度的优化算法训练的深度学习模型来实现他的模型。他不相信使用符号系统,这需要人类手工编码的知识。
实施该框架的两种有前途的方法是:
1. 自我监督学习
由于深度学习模型需要大量人工标注的数据集才能使用监督学习进行学习,LeCun 提倡使用自监督学习 (SSL):一种使用数据集中自然可用的监督的无监督学习方法(即,没有人工注释)。 LeCun 认为,人类儿童也使用自我监督学习来获得关于世界的常识性知识——例如引力、维度、深度和社会关系。
除了理论动机之外,SSL 在使用基于转换器的深度学习架构学习基础语言模型方面也显示出令人难以置信的实用性。
2. 基于能量的模型
虽然存在各种 SSL 方法,例如自动编码和对比学习,但 LeCun 强调使用基于能量的模型 (EBM)。
EBM 通过仅保留相关信息将高维数据(例如图像)编码到低维嵌入空间中。请记住:AI 模型是通过测量两个观察结果是否相似来训练的。为此,LeCun 提出了一种基于 EBM 的学习架构,称为“Joint Embedding Predictive Architecture (JEPA)”来学习世界模型。
据 LeCun 介绍,JEPA 的一个关键特性是它可以选择忽略那些不容易预测的无关细节。例如,在图像处理中,JEPA 不是在像素级别预测世界状态,而是倾向于学习对给定任务至关重要的低维特征。 LeCun 还解释了 JEPA 架构如何相互堆叠以形成“分层 JEPA”(H-JEPA),这对于处理复杂任务(例如在多个时间尺度上进行推理和规划)可能至关重要。
结论:向上攀登自主人工智能
虽然一些研究人员认为通用人工智能 (AGI) 可以通过大规模扩展深度学习架构来实现,但 LeCun 表示扩展不足以实现自主 AI。虽然缩放在涉及离散数据的语言模型中取得了令人难以置信的进步,但它未能对视频等高维连续数据产生类似的影响。
LeCun 也不相信奖励函数和强化算法足以实现 AGI。他认为强化学习需要与环境持续互动——不像人类和动物,它们主要使用感知来学习。
显然,LeCun 的框架需要进一步探索以应对其实施挑战。