人工智能和算法决策的普及帮助塑造了我们社会的方方面面：从面部识别到深度造假技术，再到刑事司法和医疗保健，它们的应用似乎无穷无尽。 在这些背景下，应用算法决策的故事既有希望也有风险。 鉴于这些技术的许多应用所涉及的新颖性、规模和不透明性，风险往往高得令人难以置信。
这是 FTC 专员 Rebecca Kelly Slaughter 的白皮书简介：算法和经济正义：危害分类法和联邦贸易委员会的前进道路。 如果您一直在关注数据驱动和算法决策、分析、机器学习、人工智能及其应用，那么您可以说它是正确的。 63 页的白皮书并不令人失望。
Slaughter 与她的 FTC 同事 Janice Kopec 和 Mohamad Batal 一起编写了白皮书。 他们的工作得到了 Immuta 的支持，并且刚刚作为耶鲁大学法学院信息社会项目数字未来白皮书系列的一部分出版。 2020 年推出的数字未来白皮书系列是全球领先思想家质疑数字技术对法律和社会影响的场所。
该系列旨在为学者、研究人员和从业者提供一个论坛来描述数据和监管的新挑战，直面法律和技术的核心假设，并提出使法律和道德框架与数字世界问题保持一致的新方法。
Slaughter 指出，近年来，算法决策在美国经济的一些最重要领域产生了偏见、歧视和其他问题的结果。 她的工作提供了预示不公正的算法危害的基线分类，描述了危害本身和驱动这些危害的技术机制。
此外，它还描述了 Slaughter 对 FTC 现有工具如何能够并且应该积极应用于阻止不公正现象的看法，并探讨了新立法或 FTC 规则制定如何帮助从结构上解决算法决策产生的危害。
错误的输入、错误的结论、未能充分测试
Slaughter 确定了算法设计中的缺陷会产生有害结果的三种方式：错误输入、错误结论和未能充分测试。
机器学习算法的价值本质上与用于开发它的数据质量相关，错误的输入可能会产生完全有问题的结果。 这个广泛的概念体现在熟悉的短语中：“垃圾输入，垃圾输出”。
用于开发机器学习算法的数据可能存在偏差，因为个别数据点反映了有问题的人类偏见，或者因为整个数据集没有足够的代表性。 Slaughter 指出，经常有偏差的训练数据反映了偏见或不平等的历史和持久模式，当它们出现时，这些错误的输入会产生有偏见的算法，加剧不公正。
她列举了一些引人注目的错误输入示例，例如亚马逊未能成功开发由机器学习驱动的招聘算法，以及国际文凭和英国的 A-Level 考试。 在所有这些情况下，引入自动化决策的算法不断识别用于训练它们的数据中的偏差模式，并试图重现它们。
另一种类型的问题涉及将数据输入算法，这些算法会生成不准确或误导性的结论——或许更恰当地表述为“数据输入，垃圾输出”。 这种类型的缺陷、错误的结论加深了人们对人工智能驱动的“情感识别”技术迅速扩散领域的恐惧，并且常常因实验设计的失败而火上浇油。
Slaughter 描述了算法试图在某些类型的身体表现和举止中寻找模式并得出结论的情况。 但是，她指出，正如人们所预料的那样，人的性格不能被简化为一组客观的、可观察到的因素。 Slaughter 强调在招聘中使用情感识别技术特别有问题。
有些比其他的更重要，例如一家公司声称描述了 60 多种与工作绩效相关的人格特征——从“足智多谋”到“冒险”再到“有教养”——所有这些都是基于算法对求职者 30- 第二个录制的视频求职信。
尽管抛出诸如“AI”和“机器学习”等术语的客观性表象，但在许多情况下，该技术仍然非常不完善，许多人认为它的使用无异于伪科学。
但斯劳特指出，即使是精心设计并出于善意设计的算法，也可能会产生意想不到的有偏见或有害的结果。 很多时候，算法的部署没有进行充分的测试，这些测试可能会在这些不受欢迎的结果对现实世界中的人们造成伤害之前发现它们。
Slaughter 提到了在使用 Google 和 LinkedIn 的搜索进行测试时发现的搜索结果中的偏见，但重点是医疗保健领域。 最近的一项研究发现，一种广泛使用的机器学习算法存在种族偏见，该算法旨在改善患有慢性健康问题的高危患者获得护理的机会。
该算法使用医疗保健成本作为健康需求的替代指标，但由于与健康需求无关的各种原因，白人患者在医疗保健上的花费比同样患病的黑人患者多。 因此，使用医疗保健成本来预测健康需求会导致算法不成比例地标记白人患者需要额外护理。
研究人员估计，由于这种内在偏见，被确定需要额外护理的黑人患者数量减少了一半以上。 发现算法缺陷的研究人员之所以能够做到这一点，是因为他们超越了算法本身，看到了它产生的结果，并且因为他们可以获得足够的数据来进行有意义的调查。
Slaughter 指出，当研究人员发现该缺陷时，该算法的制造商与他们合作以减轻其影响，最终将偏差减少了 84%——这正是测试和修改力图实现的减少偏差和减轻危害的类型。
促进代理歧视，支持监督资本主义，抑制市场竞争
并非算法的所有有害后果都源于设计缺陷。 Slaughter 还指出了复杂算法可以产生系统性危害的三种方式：通过促进代理歧视、通过启用监视资本主义以及通过抑制市场竞争。
代理歧视是使用一个或多个面部中性变量来代表受法律保护的特征，通常会导致对某些经济、社会和公民机会的受保护阶层的不同对待或不同影响。 换句话说，这些算法识别看似中立的特征以创建与受保护类别密切相关的组，并且这些“代理”用于包含或排除。
Slaughter 提到了一些备受瞩目的代理人歧视案例：住房和城市发展部指控 Facebook 名为“Lookalike Audiences”的工具，向不同受众展示职位空缺，以及金融科技创新可能会延续历史偏见以拒绝访问 到信贷系统或有效地将高利率产品定位到那些最负担不起的人。
算法决策可以引发更广泛的社会挑战的另一种方式是它在监视资本主义系统中扮演的角色，Slaughter 将其定义为一种商业模式，它系统地侵蚀隐私、促进错误信息和虚假信息、推动激进化、破坏消费者的心理健康，以及 减少或消除消费者的选择。
Slaughter 指出，通过持续的、数据驱动的调整，处理消费者数据的算法（通常是实时的）不断发展和“改进”，以不懈地努力吸引尽可能多的人的注意力并从中获利。 许多监控资本主义企业在使用算法“优化”消费者注意力方面非常成功，而很少考虑下游后果。
Slaughter 审视了针对儿童的 YouTube 内容案例以及这些内容是如何被武器化的。 FTC 已经处理了这个问题，Slaughter 指出 YouTube 宣布他们将使用机器学习来主动搜索错误指定的内容并自动应用年龄限制。
虽然这听起来像是 Slaughter 在那种情况下要求的技术支持，但她指出了两个主要区别：首先，它完全是自愿的，其次，它的应用和有效性都是不透明的。 她认为，这引发了对监视资本主义的一系列更广泛的担忧——一种超越任何单一平台的担忧。
Slaughter 指出，与算法决策相关的陷阱在联邦贸易委员会通过其消费者保护使命执行的法律中最为明显。 但 FTC 还负责促进竞争，算法带来的威胁也深刻影响了这一使命。
此外，她继续补充说，这两个任务实际上并不明显，需要从竞争和消费者保护的角度来考虑问题——包括与算法和经济正义相关的问题。
Slaughter 研究的主题包括定价和共谋等传统反垄断问题，以及更新颖的问题，例如占主导地位的数字公司使用算法来巩固市场力量和从事排他性做法的影响。
迈向人工智能伦理的理性辩论
总的来说，白皮书似乎经过了充分的研究，并对主题进行了很好的概述。 虽然本文关于利用联邦贸易委员会的现行权力更好地保护消费者和提出新的立法和监管解决方案的部分提到了我们认为没有资格报告的法律工具，但我们鼓励感兴趣的读者阅读它们。
然而，我们还想指出，虽然了解人工智能伦理以及数据和算法的深远影响很重要，但在涉及通常主观和不公平的问题时，保持建设性和公正的态度也同样重要。 开放解释。
社交媒体上经常发生的辩论中过分热心的态度，背景和意图很容易被误解和歪曲，可能不是取得进展的最具建设性的方式。 一个典型的例子是 AI 傀儡 Yann LeCun 和 Pedro Domingo 的不幸遭遇。
当谈到人工智能伦理时，我们需要超越耸人听闻的观点，转向一种消息灵通、数据驱动的方法。 Slaughter 的工作似乎是朝这个方向迈出的一步。
