Lemonade Insurance 本周在 Twitter 上吹嘘其人工智能系统如何根据分析客户提交的视频自动拒绝理赔来提高利润，这引发了众怒。
周一下午，该公司在 Twitter 上发表了一篇冗长的帖子，称赞自己的 AI 能够检测欺诈。
“当用户提出索赔时，他们会在手机上录制一段视频并解释发生的事情。我们的 AI 会仔细分析这些视频以寻找欺诈迹象。它可以捕捉到传统保险公司无法捕捉到的非语言线索，因为它们不会” 不要使用数字索赔流程，”该公司写道。
“这最终帮助我们降低了我们的损失率（也就是我们在索赔中支付了多少与我们接受了多少）和我们的整体运营成本。在 2017 年第一季度，我们的损失率为 368％（该死的可怕），并且在 2021 年第一季度为 71%，”该公司在现已删除的帖子中补充道。
这些推文立即引起了残疾人社区成员的强烈反对，他们质疑人工智能系统如何能够根据视频确定欺诈行为，而其他人则质疑吹捧一个通过直接拒绝更多索赔来帮助公司节省资金的系统的合法性。
Lemonade 意识到他们的错误，删除了帖子并道歉，声称这造成了“混乱”。
尽管他们最初写了什么，但该公司表示它“不使用，也不会尝试构建使用身体或个人特征来否认索赔（颅相学/面相学）的人工智能。”
“我们从不让 AI 自动拒绝索赔。我们的系统不会根据背景、性别、外貌、肤色、残疾或任何身体特征评估索赔（我们也不会通过代理评估任何这些）。”
然而，在一篇博客文章中，该公司证实它确实使用有争议的面部识别技术来标记一些声明，并表示它“可能会减少欺诈”，因为人们在审视自己时“不太容易说谎”。
该博客并没有平息专家们对 Lemonade 商业策略的批评，这些专家一再抨击公司推广任何旨在理解人们“真实”情绪状态的人工智能的使用。
电子前沿基金会技术项目主管乔恩·卡拉斯 (Jon Callas) 称 Lemonade 关于其人工智能的说法是“彻头彻尾的伪科学”和“本质上是颅相学”。
“他们最好使用神奇的 8 号球，因为至少 8 号球不会歧视，”卡拉斯说。
Callas 补充说，许多公司现在从投资者那里筹集了数百万美元的资金，这些公司是基于对 AI 能够读取人脸的能力的错误声明，他还提到了最近围绕考试监考软件的争议，该软件被证明歧视有色人种学生。
美国证券交易委员会的文件显示，Lemonade 长期以来一直通过营销他们如何在保险理赔流程中使用人工智能来吹捧自己。 在提交给美国证券交易委员会的文件中，该公司表示，“机器人平台旨在理解并立即解决客户的请求，无需人工干预。” 它补充说，“大约三分之一的客户咨询都是这样处理的。”
还有人担心其他保险公司正在采用 Lemonade 曾被批评的一些策略，Callas 希望监管机构调查 Lemonade 的索赔，因为围绕它们存在争议。
“有些事情人工智能可以做得很好，但它在 Lemonade 声称可以做的事情上毫无价值，”卡拉斯说，并补充说，像这样的系统通常带有其创造者的偏见，并且通常会因为缺乏测试池而失败 在女性和有色人种中。
许多专家表示，期望人工智能系统能够检测经历过车祸或入室盗窃等创伤经历的人的情绪或精神状态是荒谬的。
数字可访问性公司 Evinced 的首席执行官 Navin Thadani 表示，人工智能已融入当今几乎所有数字服务中，但在几乎没有独立监督的情况下，公司使用人工智能软件做出决策，而不必回答他们如何确保程序“ 有意无意地用结构性偏见进行编码。
“人工智能旨在比人类交互更好、更快、更有效地做事，错误更少，但它缺乏人类的判断、理解和对超出其程序评估范围的因素的考虑，”他说。
“这个问题需要直接解决，正如我们所见，那些不合规的人将面临审查和潜在的诉讼。每个人，包括能力不同的人，都应该能够对他们的提供者有信心。”
律师和 Aleada 合伙人 Elena Elkina 等其他专家表示，保险公司现在普遍使用人工智能通过聊天机器人等方式自动执行手动任务，以处理从文档处理到欺诈检测等一切事情，所有这些都是“改善客户 经验”并消除错误。
Elkina 说，索赔处理涉及人工智能可以帮助处理的许多手动任务，但她指出，任何潜在的保险索赔拒绝都应该需要人工审查。
“也就是说，我可以看到未来人工智能将如何通过创建类似人工智能的推理过程来改变这一过程。人工智能算法可能存在偏见和歧视——我们过去在实践中已经看到了这一点，”Elkina 告诉 ZDNet .
“我们制造人工智能机器，而我们人类有偏见——有意识或无意识。令人恐惧的是，我们认为人工智能算法是安全的，并相信它们可以帮助我们解决偏见或不道德的问题。”
活动家长期以来一直反对在某些行业和流程中使用人工智能，认为人工智能的隐性偏见使其不适合许多任务，尤其是那些涉及人类情感的任务。
为未来而战的竞选总监凯特琳·西利·乔治 (Caitlin Seeley George) 表示，导致 Lemonade 删除帖子的自动反弹清楚地表明，人们不喜欢人工智能评估他们的保险索赔的想法。
George 继续称 Lemonade 的 Twitter 帖子“极其冷酷”，并指出保险公司通过表明它没有向人们支付理赔来吹捧其财务成功是多么奇怪，其中一些人可能正处于困境之中。 他们生命中最糟糕的日子
“Lemonade 的原始主题是一个超级令人毛骨悚然的洞察力，即公司如何使用人工智能来增加利润，而不考虑人们的隐私或这些算法固有的偏见。分析“非语言线索”的人工智能以种族主义和能力主义者而闻名， 因为它会根据一些‘正常’或‘适当’的‘基线’来判断人们的面部、眼睛和身体运动以及背景，”她说。
“我们已经看到类似的人工智能，比如电子监考应用程序中使用的人工智能，如何歧视黑人和棕色人种以及能力不同的人。大多数这些算法都存在于黑匣子中，并且是由白人创造的，所以我质疑 如果 Lemonade 真的可以自信地说，他们的算法不会做出受人们肤色、能力或其他身体特征影响的决定。”
