纽约大学名誉教授加里·马库斯经常批评围绕人工智能的炒作,最近与 ZDNET 坐下来反驳 Meta 首席人工智能科学家 Yann LeCun 在 9 月接受 ZDNET 采访时的言论。
LeCun 对 Marcus 支持将符号操作作为通向更复杂 AI 的途径的论点表示怀疑。 LeCun 还表示,Marcus 在 AI 期刊上没有经过同行评审的论文。
事实上,Marcus 已经发表了同行评议的论文,其列表出现在下面的采访中。 但马库斯的反驳更实质性地处理了两人之间的裂痕,他们多年来一直在社交媒体上争吵不休。
Marcus 声称 LeCun 并没有真正参与 Marcus 的想法,只是简单地驳斥了他们。 他还争辩说,LeCun 没有公平地听取其他学者的意见,例如 Judea Pearl,她关于 AI 和因果关系的观点构成了一项值得注意的工作。
Marcus 认为,LeCun 的行为是深度学习研究人员的一种模式,这种模式的一部分是深度学习研究人员对来自深度学习之外的提出批评或要求其他调查途径的同行不屑一顾。
“有些人有很多钱,有很多知名度,他们试图排挤其他人,”马库斯谈到 LeCun 和其他深度学习学者时说。 他说,他们借用了计算语言学家艾米丽·班德 (Emily Bender) 的一个术语,即通过不参与相互竞争的想法来“吸走房间里的氧气”。
在 Marcus 看来,Marcus 和 LeCun 之间的裂痕很奇怪,因为 Marcus 认为 LeCun 最终同意了 Marcus 多年来提出的许多批评。
马库斯说:“基本上,他似乎是在说,我说过的所有他说错的话都是事实。” Marcus 在两本书中都表达了他对深度学习的强烈看法,最近的一本是 2019 年与 Ernie Davis 合着的 Rebooting AI,尽管在更早的作品 The Algebraic Mind 中也有一些元素; 在许多论文中,包括他在 2018 年发表的最广泛的批评,“深度学习:批判性评估”。
事实上,两位学者的共同点是,“在不同的世界,LeCun 和我会是盟友,”马库斯说。
另外:Meta 的 AI 大师 LeCun:当今大多数 AI 方法永远不会产生真正的智能
“LeCun 和我一致的第一点是,仅靠缩放是不够的,”马库斯说,他的意思是制造更大版本的神经网络,例如 GPT-3 本身,导致那种重要的情报。
两位学者之间也存在根本分歧。 早在《代数心智》一书中,马库斯就热情地争论他所谓的“先天性”,这是一种与头脑相连的东西,可以为智力提供结构。
“我的观点是,如果你看看生物学,我们只是先天结构的巨大组合,”马库斯说。 他说,LeCun 愿意学习一切。
“我认为具有讽刺意味的是,LeCun 自己对人工智能的最大贡献是卷积的先天先验,有些人称之为平移不变性,”马库斯说,暗指卷积神经网络。
比这两位研究人员和他们之间的争论更重要的一件事是,人工智能正处于僵局,没有明确的方向来实现该领域一直梦想的那种智能。
“人工智能的可能架构空间很大,”马库斯说。 “我们研究的大部分内容都在那个空间的一个小角落里;空间的那个角落不太管用。问题是,我们如何走出那个角落,开始关注其他地方?”
以下是为长度而编辑的采访记录。
如果您想深入了解 Marcus 目前关于 AI 的著作,请查看他的 Substack。
ZDNET:此对话是对 ZDNET 最近对 Meta Properties 的 Yann LeCun 的采访的回应,其中提到了您。 那么,首先,关于对 LeCun 的采访,有什么值得一提的?
加里马库斯:LeCun 最近一直在批评我,在 ZDNET 采访中,在 Noema 的一篇文章中,以及在 Twitter 和 Facebook 上,但我仍然不知道 LeCun 实际上读了多少我所说的。 而且我认为这里的部分紧张是因为他有时会在没有阅读的情况下批评我的作品,只是根据标题之类的东西。 我写了这篇 2018 年的文章,“深度学习:批判性评估”,他公开地抨击了它,这是他在 Twitter 上获得的第一次机会。 他说这“基本上是错误的”。 我试着让他知道这是错的。 他从不说。
我相信他认为那篇文章说我们应该抛弃深度学习。 我已经多次纠正他。 [在 ZDNET 采访中],他又犯了那个错误。 如果你真的读过这篇论文,它说的是我认为深度学习只是众多工具中的一种,我们还需要其他东西。
所以不管怎么说,他之前攻击过这篇论文,而且是个大前辈。 当时 [2018],他正在运行 Facebook AI。 现在他是 Facebook 的首席人工智能科学家和副总裁。 他是图灵奖得主。 所以,他的话很有分量。 当他攻击某人时,人们也会效仿。
当然,我们不必都阅读彼此的文章,但我们不应该说他们大多是错误的,除非我们已经阅读过它们。 这真的不公平。 对我来说,这有点像滥用权力。 然后我对你对他的采访感到非常震惊,因为听起来他在为我在那篇被他嘲笑的论文中提出的所有事情争论不休:我们不会一路走到那里,在 至少使用当前的深度学习技术。 还有很多其他的,有点,重叠的点,以至于他基本上好像在说我说的所有事情,他说的都是错的,都是事实。
这对我来说有点恼火——没有学者喜欢不被引用——但后来他对我开了一枪,说我从来没有在同行评审的 AI 期刊上发表过任何东西。 这不是真的。 他一定没有对这一点进行事实核查。 恐怕你也没有。 你好心纠正了它。
ZDNET:我很抱歉没有对它进行事实核查。
[Marcus 指出了 AI 期刊中的几篇同行评议文章:Commonsense Reasoning about Containers using Radically Incomplete Information in Artificial Intelligence; 从根本不完整的信息中推理:Cog Sys 中的容器案例; 人工智能自动推理中模拟的范围和局限性; ACM 通信中的常识推理和常识知识; 重新思考取消连接主义,Cog Psy)]
GM:这种事情发生了。 我的意思是,其中的一部分,就像权威人士说了些什么,你就相信了。 正确的。 我的意思是,他是 Yann LeCun。
ZDNET:应该进行事实核查。 我同意你的看法。
GM:无论如何。 他说了。 我纠正了他。 他从未公开道歉。 所以,无论如何,我在那里看到的,基本上说了我一段时间以来一直在说的同样的话,并攻击我,是重新定位努力的一部分。 我真的在这篇 Substack 文章中阐述了这一点:“Yann LeCun 的‘新’想法有多新?”
我在那里提出的情况是,他实际上是在试图改写历史。 我举了很多例子; 正如他们现在所说,我带来了收据。 有好奇心的人可以去看看。 我不想在这里重复所有的论点,但我从多个方面看到了这一点。 现在,有些人看到了,“LeCun 会因此受到惩罚吗?” 当然,答案是,不,他不会。 他很强大。 有权势的人永远不会因为事情而受到惩罚,或者很少受到惩罚。
但是还有更深层次的要点。 你知道,除了我个人感到生气和吃惊之外,我并不孤单。 我举了一个例子 [在 Substack 文章中] [Jürgen] Schmidhuber [IDSIA Dalle Molle 人工智能研究所的兼职教授] 也有同样的感觉。 在中间的一周里,与 Yann 一样也是图灵奖获得者的 Judea Pearl 也觉得他的工作也没有被主流机器学习社区提及。 珀尔用一种非常尖刻的方式说道,“LeCun 一直对马库斯下流,但他甚至懒得提起我,”珀尔或多或少是这么说的。 一位图灵奖获得者甚至没有引用另一位,这真是该死
LeCun在思考因果关系,我们都知道因果关系的领头羊是Pearl。 这并不意味着 Pearl 解决了所有问题,但他比其他任何人都更能引起人们对机器学习为何如此重要的关注。 他为它贡献了更多,某种形式的机制。 我不认为他解决了那个问题,但他已经打开了那个问题。 [对于 LeCun] 来说,我要建立世界模型,嗯,世界模型是关于理解因果关系的,而忽视 Pearl 是令人震惊的。
而且它是“不是这里发明的”风格的一部分。 现在,具有讽刺意味的是,我认为 LeCun 在你的采访中所说的一切——不是关于我的,而是关于这种领域的状态——他可能是自己想出来的。 我不认为他抄袭了我的作品。 我在 [Substack] 文章中说过。 但是,当你的纽约大学邻居有话要说时,为什么要等四年才能找到这些东西。
几年前,他还在 Twitter 上与 Timnit Gebru [前谷歌研究员,现任分布式人工智能研究所 DAIR 创始人兼执行董事] 发生了激烈的争执——如果你愿意,你可以查一下——这样 他 [LeCun] 实际上离开了 Twitter。 他欺负提姆尼特。 我认为,他淡化了 Schmidhuber 的贡献。 他淡化了珀尔的。 所以,就像许多想要捍卫机器学习现在完成方式的荣誉的人一样,他有点妖魔化了我。 你在 [ZDNET 采访] 中看到他非常直接地攻击了我。
在我看来,这都是更大的事情的一部分,也就是有些人有很多钱,有很多知名度,他们正试图排挤其他人。 他们并没有真正意识到这具有讽刺意味,因为直到 2012 年左右,他们自己才被排挤在外。所以他们有非常好的想法,但他们真正的好想法在 2010 年看起来并不那么好。我最喜欢的关于这句话的名言仍然属于 给艾米丽·班德。 她说,这样做的问题是他们正在从房间里吸取氧气,他们让其他人很难采用其他方法,而他们也没有采用这些方法。
LeCun 没有涉足整个神经符号 AI 领域,有时会抨击其语无伦次; 当我在 2018 年提倡它时,他说它“大部分是错误的”。 但他从未真正参与这项工作。 对于像他这样有地位的人来说,这样做并不合适。 你知道,他可以不同意并说,“我会用其他更好的方式来做,否则这些前提是错误的。” 但他没有参与其中。
机器人专家米克尔·泰勒 (Mikell Taylor) 就另一个话题发了一条很棒的推文,她说,这些特斯拉粉丝中的很多人基本上都在说,好吧,你为什么不处理它呢? 她的观点是,好吧,没有人能做特斯拉现在承诺的事情。 没有人能做深度学习现在要做的事情。 事实是,这些东西已经超卖了。
到 2022 年,我们还没有技术准备好让家用机器人能够理解世界。 我们在无人驾驶汽车方面仍然失败。 我们有这些聊天机器人,它们有时很棒,有时绝对愚蠢。 我的看法是,就像我们在 K2 上一样,我们已经攀登了这座令人难以置信的山峰,但事实证明这是错误的山峰。 一段时间以来,我们中的一些人一直在指出这一点,LeCun 现在意识到这不是正确的山峰。
另外:OpenAI 有一个无聊的文本机器人,我还有一份写作工作
Taylor 的观点是,即使您没有更好的解决方案,批评某件事也是合理的。 有时,更好的解决方案实际上并不在手边。 但是您仍然需要了解现在出了什么问题。 LeCun 想要两种方式,因为他实际上也没有解决这些问题的方法。 他现在四处演讲,说,我看到现场很乱。 大约在采访发布的同一天,他发表了一次演讲,他说,ML 很烂。 当然,如果我说人们会喜欢划破我的轮胎,但他可以这么说,因为他是 LeCun。