Salesforce 去年在其 Customer 360 平台背后推出了 Einstein AI 框架，并发布了据称是业界首个可信生成 AI 指南。 该指南由首席道德和人道使用官 Paula Goldman 和公司道德人工智能首席架构师 Kathy Baxter 撰写，旨在帮助组织围绕道德和准确性优先考虑人工智能驱动的创新，包括可能出现偏见泄漏和错误的地方。 如何找到并烧灼它们。
巴克斯特也是美国国家标准与技术研究所的人工智能客座研究员，他表示，用于职位筛选、市场研究、医疗保健决策、刑事司法应用等的机器学习模型存在多个偏见切入点。 然而，她指出，没有简单的方法来衡量什么构成了“安全”或超过一定程度的偏见或毒性的模型。
NIST 一月份发布了人工智能风险管理框架，作为组织“设计、开发、部署或使用人工智能系统的资源，以帮助管理人工智能的诸多风险，并促进人工智能系统的可信和负责任的开发和使用”。
巴克斯特说，她对该框架提供了反馈，并参加了 NIST 举办的三个研讨会中的两个，以获取公众的反馈并提高认识。
“该框架讨论了可信人工智能的要求，建议与我们的可信人工智能原则和指南类似：有效可靠、安全、负责和透明、可解释、增强隐私和公平。 Salesforce 的分解方式略有不同，但所有相同的概念都存在，”她说。
对数据进行切片和切块如何创建有偏差的模型
Baxter 引用了麻省理工学院研究人员 Harini Suresh 和 2021 年发表的一篇论文，表示：“我们谈论人工智能时，就好像它是同质的，就像食品添加剂一样，FDA 可以断言在一定浓度下是安全的，但事实并非如此，它的差异很大。” John Guttag 描述了数据在机器学习模型开发中的多种使用方式，这些方式可能过于狭隘。
巴克斯特说，这些可能会导致现实世界的五种危害。
历史偏见
麻省理工学院的论文指出，历史数据，即使“完美测量和采样”，也可能导致有害结果。 巴克斯特说，准确的历史数据可以说明这一点，这些数据显示美国黑人面临着红线和不同的贷款标准。
“如果你使用历史数据来预测未来，人工智能将‘学会’不向黑人申请人提供贷款，因为它只会复制过去，”她说。
代表性偏差
由于数据样本不足以代表总体的某些部分，因此它无法很好地概括该子集。
巴克斯特指出，一些主要根据从美国或西方国家收集的数据进行训练的视觉模型效果不佳，因为它们忽略了其他国家的文化表征。 这样的模型可能会生成或找到基于西方审美理想的白色“婚纱”，而不是韩国或尼日利亚的审美理想。
“收集数据时，必须考虑异常值、人口多样性和异常情况，”她说。
测量偏差
麻省理工学院的论文指出，这种偏差是由于使用具体测量结果而导致的，这些测量结果是不易观察到的想法或概念的近似值。 Baxter 指出，COMPAS 累犯算法就是一个典型的例子：它旨在帮助执法部门根据再次逮捕的可能性选择假释犯。
她说：“如果你与受影响的社区交谈，你会发现对于谁被标记为高风险以及谁被给予无罪推论存在不成比例的偏见。” “COMPAS 并不是预测谁会再次犯罪，而是预测谁更有可能再次被捕。”
聚合偏差
这是一种泛化错误，其中“一刀切”模型用于具有应以不同方式考虑的基础组或示例类型的数据，从而导致模型对于任何组或一个都不是最佳的 仅对优势人群有效。
巴克斯特指出，虽然麻省理工学院论文中的例子侧重于社交媒体分析：“我们看到它出现在其他在工作环境中使用表情符号和俚语的场所。”
她指出，年龄、种族或亲和力群体往往会形成自己的表情符号词语和含义：在 TikTok 上，椅子和骷髅表情符号开始表示一个人快要笑死了，“yas”和“slay”等词语也出现了。 在某些群体中具有特定的含义。
她说：“如果你试图使用大多数人使用的表情符号或词语的定义含义来分析或总结工作中社交媒体或 Slack 频道上的情绪，那么对于使用它们的不同子群体来说，你会得到错误的结果。”
评价偏差
对于当用于特定任务的基准数据不代表总体时产生的偏差，麻省理工学院的论文以面部识别为例，引用了 Gebru 和 Joy Buolamwini 的早期工作。 这项工作表明，商业面部分析算法在处理深色皮肤女性图像时的性能要差得多。 该研究指出，深色皮肤女性的图像仅占常见基准数据集的 7.4% 和 4.4%。
关于防止人工智能模型出现偏见的建议
在 Salesforce 指南中，作者列举了企业防范偏见、避免数据集和机器学习开发过程中潜伏陷阱的几项建议。
1. 可验证的数据
使用人工智能模型作为服务的客户应该能够根据自己的数据训练模型，运行人工智能的组织应该在人工智能响应的准确性存在不确定性时进行沟通，并使用户能够验证这些响应。
指南建议，这可以通过引用消息来源、清晰地解释人工智能为何做出这样的反应——或者提供需要仔细检查的区域——以及创建防止某些任务完全自动化的护栏来实现。
2. 安全
报告称，使用人工智能的公司应通过进行偏见、可解释性和稳健性评估以及红队来减少有害输出。 他们应该保护培训数据中任何个人识别信息的安全，并创建护栏以防止额外的伤害。
3. 诚实
在收集数据来训练和评估模型时，组织需要尊重数据来源并确保他们同意使用数据。
报告称：“我们还必须透明地表明，人工智能在自主交付内容时已经创建了内容。”
4. 赋权
人工智能开发人员应该认识到适合自动化的人工智能项目与人工智能应成为人类代理的附属项目之间的区别。
作者写道：“我们需要找到适当的平衡点来‘增强’人类的能力，并使所有人都能获得这些解决方案。”
5. 可持续性
该指南建议人工智能用户应考虑人工智能模型的大小和消耗，作为其准确减少这些框架的碳足迹的工作的一部分。
麻省理工学院的作者表示：“就人工智能模型而言，越大并不总是意味着越好：在某些情况下，较小、训练得更好的模型胜过较大、训练更稀疏的模型。”
巴克斯特同意这一评估。
Baxter 表示：“从创建人工智能之初就负责任地考虑创建人工智能，就必须全面审视。” “你的想法、你所做的假设、整个培训、开发评估、微调以及你的实施对象有哪些偏见？ 当你犯错时，你会给出正确的补救措施吗？”
