大多数时候，人工智能似乎生活在两个相互排斥的领域，要么是在发生惊人的智力突破的学术界，要么是在工业界，重点只是让一切按时运行。
然而，有迹象表明，当机器学习的工业环境中的问题可能引发有趣的理论问题时，这两个世界之间可能会发生某种异花授粉。
Stefano Soatto 说：“这是我们偶然发现的一个问题，我们在我们的学术办公室里从来没有想过这个问题。” 他是亚马逊 AWS 云计算服务的人工智能应用科学副总裁。
另请参阅：AI 伦理：人工智能的好处和风险。
Soatto 跨越了 AI 的两种环境。 在亚马逊 AWS 负责应用人工智能的同时，他还是加州大学洛杉矶分校的计算机科学教授，这让他在参与人工智能基础学术研究方面享有特权。 Soatto 的办公室就在他获得博士学位的加州理工学院校园内。
Soatto 在通过 Amazon Chime 接受采访时为 ZDNet 描述的问题对于任何非 AI 专家且必须处理生产问题的 CIO 或开发人员来说听起来都很熟悉。
Soatto 回忆说：“这实际上是由于与客户的升级引起的。”当人工智能程序投入生产时，它是整个计算机流程链中的一个部分。 通过人工智能的深度学习形式，软件的价值可以随着新版本和改进版本的产生而改变。 这可能会破坏流程链中的事情，给客户带来麻烦。
“实际上，这只是生产系统的一小部分，”Soatto 解释说，他指的是图像分类器等 AI 程序。 在客户投诉中，他说，新技术正在破坏客户使用的旧东西。 “客户回来说，‘我们的模型有问题’，我们意识到他们使用的是四年前的模型！”
因此，Soatto 及其同事开始探索新的探索领域，即如何使更新的 AI 程序与其前身兼容。
该客户投诉导致了去年 6 月在 CVPR 会议上发表的一篇论文，该会议是一个研究计算机视觉的学术聚会。 Soatto 和他的团队将兼容性问题作为一个约束满足问题来处理，采用神经网络并要求它提供保证，而不仅仅是做出准确的预测。
具体来说，他们询问神经网络版本是否可以在不引入新错误的情况下变得更加准确。 想一想猫和狗的分类器：如果新的神经网络总体上变得更好，但突然错误地分类了旧神经网络正确分类的猫或狗的一些图片，这不是一个好的权衡。 在以前的程序没问题的地方犯错误称为“负翻转”。
在论文“Positive-Congruent Training: Towards Regression-Free Model Updates”中，Soatto 及其同事通过以一种新颖的方式设定目标，解决了减少此类负翻转的约束满足问题。 他们采用了传统的目标函数，即所谓的交叉熵损失，它控制着神经网络预测猫或狗的好坏程度，并向其添加了第二个目标函数，要求神经网络确保在 与旧神经网络相同的预测是正确的。
Soatto 和他的团队超越了单一目标函数，而不是将问题视为解决约束满足问题，而是发明了一个应用深度学习的新领域，他们将其命名为“优美的 AI”。
该名称是一个概括性术语，概括了一个问题中存在多个目标的原则。
Soatto 说：“我们开发的模型必须能够很好地适应周围的一切，而不仅仅是尽可能训练出最好的模型。” 另一种看待它的方式是“尊重不仅仅是优化性能的标准”。
Soatto 告诉 ZDNet，这篇论文表明，学术界专注于生产最高性能的 AI 程序并不是解决真正有趣问题的唯一途径。
“作为一名学者，你大部分时间都在试图发明不存在的问题，”Soatto 说。 “很少有人走运，最终得到对世界有用的东西。”
相比之下，在 AWS，“你会不断地暴露在真实问题的轰炸之下，这些问题令人着迷，却没有解决方案。”
2018 年开始正向匹配工作，2020 年第一个方案在 AWS 上线，目前运行在 AWS 云中。 Soatto 说，这项研究的各个方面都应用于 AWS 产品，例如 Amazon Comprehend、Amazon Lex、Amazon Rekognition 和 Amazon Textract。
实际结果是“任何使用其中一种模型的 [AWS] 客户都知道，从那时起，他们将能够吸收任何后续改进，而无需更改任何后处理。”
他说，在 Soatto 看来，每一次客户投诉都是了解有趣问题的机会。 当客户投诉出现时，“有一些事情需要理解，有些事情并没有像我们想象的那样运作。”
在正一致性的情况下，他说，“我们停下来问，为什么我们不训练与周围环境兼容的模型？”
纯粹的研究在这里是有回报的。 实际问题为涉及理论问题的更深层次问题打开了大门，例如为什么机器学习能够或不能泛化到训练数据之外。
“机器学习房间里的大象是你真的不关心你在训练集中的表现，因为你永远不会再看到它，”Soatto 说。 “你关心的是测试集中的少量错误，这些错误被隔离了，你看不到。”
两者之间的“分裂”完全是关于所谓的归纳偏差，即“将您无法访问的测试数据与训练数据联系起来”的东西。
Soatto 说，这反过来又导致了人工智能领域的整个研究领域，即所谓的表征学习，这是亚马逊多年来一直在做的事情。
“这是一个几十年来一直困扰着我们的问题，”他说。 它可以追溯到人工智能的祖父艾伦图灵和诺伯特维纳。 人工智能程序的奥秘是一个难题：“你不能通过折磨数据来创造信息，但我们对数据所做的一切都是在折磨数据——我们对它做了一些事情。”
Soatto 说，学习表示的理论问题成为科学家克劳德香农理论化为信息本质的核心，也就是说，就最大信息量而言，什么表示对于任务是最佳的？
在这一点上，“有一些非常奇怪和迷人的现象，”Soatto 说。
Soatto 和他的团队所做的积极一致的工作和其他研究共享某些主题。 特别是，当前正在研究等效性，即对于给定任务，是什么使两个神经网络相同或不同的问题。
AI 团队的项目有时归结为寻找具有重叠但存在差异的神经网络。 重叠的确切性质可能并不总是很清楚，但仍然很诱人。
例如，在正向一致性论文中，Soatto 和团队测试了当新旧网络作为整体开发时会发生什么，即具有不同超参数的相似神经网络组。 他们发现他们可以在某种程度上“面向未来”旧神经网络，因为旧神经网络的整体在出错的例子方面与新神经网络的差异较小。
“合奏非常有趣，”Soatto 说。 “我们还没有完全解决它。”
在另一篇文章“Compatibility-Aware Heterogeneous Visual Search”中，Soatto 和他的同事询问是否有可能开发出在计算要求方面更高效同时放弃最少准确性的神经网络。 他们使用一种流行的方法来自动设计神经网络，称为“神经架构搜索”，并且他们设置了另一个约束满足问题：新网络必须与现有神经网络“兼容”。 较小的神经网络可以节省处理，只要它产生与较大的神经网络兼容的表示——在参数数量方面更大。
Soatto 和他的同事还反推了神经网络之间的相似性问题，例如，询问如果给定的数据样本被遗漏，神经网络会发生什么。 在“使用平滑的唯一信息估计样本的信息量”一文中，他们通过询问神经网络的权重值在有和没有单个数据点的情况下有何不同来定义数据集中单个样本的信息值。
同样，这项工作具有多重理论意义。 它为神经网络泛化能力的可能界限指明了方向，这意味着在现实世界中进行预测时，它可以多好地应用于训练数据之外的新示例。 这项工作可以让人们深入了解有多少信息可能会从神经网络“泄漏”出去，或者有多少关于给定示例的信息被披露。 这个理论问题在隐私方面也是一个至关重要的实际问题，因为泄露的信息可能会使数据集中的实体去匿名化。
Graceful AI 的大部分工作都是针对计算机视觉类型的问题完成的，尽管 Soatto 指出“该框架是通用的，因此这些考虑适用于其他形式的架构。”
所有这些对向后兼容性等事物的探索都涉及到一个广泛的持续探索领域，称为“持续学习”。 Soatto 说，这一挑战“仍然是一个悬而未决的问题”。
Soatto 及其同事稳定的出版步伐对亚马逊来说是一个变化，亚马逊并不总是从事出版科学。 “当我加入时，亚马逊作为开放科学社区的贡献者并不引人注目，”他说。 “那变了。”
如今，在亚马逊工作的每一位科学家都必须发表和展示、接受审查并做出贡献。
“我们希望有机会解决具有影响力和意义的新问题，并最终交到成千上万的开发人员手中，”他说。 “我们雇人是为了让他们接触到没有解决方案的实际问题，”他说。 “这里有加入我们团队的人，在六个月内，他们的工作掌握在数万人手中，”这对大多数科学家来说是闻所未闻的。
这种异花授粉对亚马逊来说很有意义，亚马逊资助加州理工学院和其他众多学术机构的项目，作为培养人工智能人才的一部分。
“亚马逊意识到培养下一代人才的重要性，”他说。 “如果科技聘请了所有教授，谁来培养下一批学生？” 他反问。
尽管在 AWS 中实施了积极一致的培训，但 Soatto 和他的团队承认有一些有趣的问题没有得到完全回答。
在论文的最后，Soatto 和他的同事写道，新的训练方案仍然涉及棘手的权衡。 最好的解决方案，即集成，在进行实时预测时是不切实际的。 但是更简单的方法，称为焦点蒸馏，会带来一些错误率的增加，这是不受欢迎的。
该论文以作者对 PC 培训“只触及皮毛”的告诫结尾。 还有更多的工作要做。
尽管理论上的含义可能很有趣，但 Soatto 很快就强调了实践。 他说，目标是亚马逊所说的“以客户为中心的研究”。
“这些不是假设的学术问题，”Soatto 说，“如果我们能够成功解决这些问题，它们将真正简化需要将这些模型插入其管道的客户和开发人员的生活。”
