上周，我们刊登了一篇题为“亚马逊的 Alexa 以孩子已故祖母的声音朗读故事”的新闻文章。 在其中，ZDNet 的斯蒂芬妮·康登 (Stephanie Condon) 讨论了亚马逊在其 re:MARS 会议（亚马逊关于机器学习、自动化、机器人技术和空间等主题的年度会议）上的演示。
在演示中，亚马逊的 Alexa AI 高级副总裁 Rohit Prasad 展示了一个小男孩询问 Echo 设备的片段，“Alexa，奶奶能读完我的《绿野仙踪》吗？” 然后视频显示 Echo 使用普拉萨德所说的孩子已故祖母的声音阅读这本书。
硬停。 你脖子后面的汗毛是不是刚刚竖起来了？ 因为那根本不令人毛骨悚然。 一点也不。
不过，普拉萨德将其描述为有益的，他说：“同理心和情感的人类属性是建立信任的关键。在当前大流行期间，当我们中的许多人失去了我们所爱的人时，它们变得更加重要。虽然人工智能 无法消除那种失去的痛苦，却绝对能让他们的记忆长久。”
唔。 好的。 那么让我们解构它，好吗？
我听到死人
有一种心理感官体验在临床上被描述为 SED，用于“死者的感官和准感官体验”。 这是一个更现代的临床术语，用于描述幻觉。
根据 2020 年 11 月的一项临床研究“丧亲之痛的感官和准感官体验：跨学科和综合审查”，SED 体验不一定是一种心理障碍。 相反，在经历过亲人去世等生活事件的人中，大约有 47% 到 82% 经历过某种 SED。
我引用的这项研究特别有趣，因为它既是综合性的又是跨学科的，这意味着它汇总了多个研究领域的其他研究结果。 因此，这是对 SED 的一般临床认识的一个很好的总结。
根据这项研究，SED 会跨越界限，所有年龄段的人、许多宗教的成员都会经历，跨越所有类型的关系丧失，甚至死亡情况。
但是，SED 经历是令人欣慰的还是令人不安的，取决于个人和个人的信仰体系。 SED 还以各种方式表现出来，从听到脚步声到存在感，再到目击。 它并不总是必须是语音再现。
总的来说，该报告没有对 SED 经历对心理有益还是有害做出临床价值判断，并指出需要进一步研究。
但是——让我们回到亚马逊试图将死去祖母的声音装进罐头的尝试——目前还不清楚为孩子提供失去亲人的声音是否会让人感到安慰，或者在发展过程中会出现这样的问题，以至于它会为治疗师提供多年的持续就业机会 来。
奇怪的是，亚马逊选择展示已故亲属的语音复制，而不是可以为她珍爱的孙子录下她的声音的健康的祖母。 但是，嘿，如果亚马逊的研究人员想要追求令人毛骨悚然的效果，我们该评判谁呢？
这将我们带到了对语音复制的整体讨论。 对于一些有限的建设性应用程序，我不确定将语音复制 AI 技术投入使用是个好主意。 亚马逊表示他们可以获取一个简短的样本并从该简短样本构建一个完整的对话。 这件事似乎非常非常错误。
可能会出什么问题？
这听起来几乎就像你在像 The Umbrella Academy 这样的节目中描述超级大国的方式：听到一个人的声音不到一分钟，某人就能说出任何话，并且听起来就像那个人说的一样 它。
这怎么可能不是一种好的力量呢？ 好家伙。 系好安全带。
另外：Alexa 是否崩溃了？ 为什么您的 Echo 有时会做出令人毛骨悚然的事情
我们在这里谈论的并不是偶然的令人毛骨悚然的事情，比如当 Alexa 突然开始尖叫或发出听起来很邪恶的笑声时。 当你在一个新领域进行创新时，奇怪的事情会偶然发生。 这些行为一旦被发现，就会被修复。
不，我们正在谈论的是如果坏人掌握了这项技术并决定将其用于营利……或者更糟，可能会发生什么。
美国心理学会心理学词典将“gaslighting”定义为：
操纵他人怀疑他或她对事件的看法、经历或理解。 这个词曾经指的是极端的操纵，以致诱发精神疾病或证明被煤气灯照亮的人被送进精神病院是合理的，但现在被更广泛地使用。 它通常被认为是口语化的，尽管偶尔会在临床文献中看到。
这个词起源于 1920 年代的一部舞台剧，后来被制作成 1944 年的电影《煤气灯》。
不幸的是，煤气灯已经进入了数字领域。 2018 年，《纽约时报》发表了一篇文章，描述了数字恒温器、锁和电灯如何成为家庭暴力的工具。
《纽约时报》描述了这些设备如何“被用作骚扰、监视、报复和控制的手段”。 示例包括将恒温器调至 100 度或突然播放音乐。
美国公立大学边缘也谈论数字煤气灯。 文章解释说，“这种类型的活动让施虐者可以轻松地展示对受害者的控制，无论施虐者身在何处。这是施虐者用来慢慢削弱受害者自尊并进一步加剧受害者自尊的另一种方法。 受害者的压力。”
现在，让我们更进一步。 如果某人一直听到他们已故父亲或母亲的声音，那么将他们送出边缘有多容易？ 如果施虐者可以说服某人他们被闹鬼或正在失去对辨别现实能力的控制，那么施虐者就可以用恶意的主观现实来代替。
整个想法听起来像是糟糕的小说，但煤气灯在家庭暴力中非常普遍，以至于全国家庭暴力热线有一整页专门介绍施虐者可能使用的煤气灯技术。 如果您遇到这种情况，可以拨打热线 1-800-799-7233。
让我们更上一层楼：加入潜行者。 假设您在家，接到妈妈打来的电话。 来电显示上是你妈妈的号码。 你回答，听起来像你妈妈。 她出了车祸，或者遇到了某种麻烦。 她求你出来接她。 你也是。 因为你妈妈打来电话，你当然知道她听起来像什么。
但这不是你妈妈。 有很多方法可以欺骗来电显示，并且通过 AI 语音复制，引诱受害者的可能性会大大增加。 再加上从许多阴暗的在线供应商那里购买个人身份信息 (PII) 的能力和令人震惊的详细程度，你会遇到一个可怕的场景。
不要将这些情况视为低概率而忽略。 疾病预防控制中心报告称，每 6 名女性中就有 1 人，每 19 名男性中就有 1 人在其一生中被跟踪过。 美国司法部报告称，“81% 的被现任或前任丈夫或同居伴侣跟踪的女性也遭到该伴侣的身体攻击，31% 的女性还遭到该伴侣的性侵犯。” 每年有超过 100 万女性和大约 370,000 男性被跟踪。
那么，我们真的要把完美模拟声音的能力交给跟踪狂和施虐者吗？
即使不是为了跟踪或虐待，这样的工具也可以帮助诈骗者。 就像前面的例子，妈妈打电话让你去接她（当然，不是妈妈），想象一下这样一个场景，爸爸在工作时接到他上大学的女儿打来的电话。 她有急事。 他能不能寄给她几千块钱？
显然，诈骗的质量将在一定程度上决定电话的可信度，但如果有足够的可用 PII 和一个好的脚本，有人就会上当受骗并提供信用卡号码或电汇——尤其是因为语音是 女儿的声音。
结合 deepfake 视频技术，制作个人虚假视频的可能性大大增加。 无论该视频是被青少年用来欺负同学，还是被用于虚假宣传以说服民众领导者不怀好意，具有准确语音表示的深度造假的想法都非常令人不安。
建设性应用
在一些娱乐行业应用中，语音复制可以增加价值。 公平地说，这种技术也有一些积极的潜力。
例如，我们最近在 2021 年 Disney+ 系列电影《曼达洛人》和《波巴·费特之书》中看到了年轻的卢克·天行者。
卢克的形象是由演员格雷厄姆汉密尔顿以数字方式创作的，但马克哈米尔在第 6 集：来自沙漠的陌生人中得到了认可，尽管他没有提供卢克的声音。 取而代之的是，制作人使用了一种名为 Respeecher 的工具，该工具使用了马克·哈米尔 (Mark Hamill) 旧录音的音库，这些录音是为这一集拼凑在一起的。
另一个可能的应用可能是痴呆症患者的智能助手（和智能辅助）。 虽然对心智能力下降的人进行煤气灯和帮助他们应对之间可能只有一线之隔，但在适当的精神病治疗下，语音娱乐可能会有积极的应用。
在 Yoda 的明智指导下，我和我的妻子在全国旅行时玩得很开心。 我们已经将他的声音添加到我们的旧 GPS 中。 在我们的旅行中，我们有尤达的声音指导我们，一个接一个。 听到 Yoda 平静的声音和“向左，你必须转弯”之类的陈述让我们走上正轨，这让人感到欣慰，尤其是在那些漫长而空旷的地方。
遗憾的是，尤达定位系统不再可用，这可能（也可能不会）说明个人电子产品中名人角色声音的市场可行性。
停下来思考
侏罗纪公园里有一句台词有时会浮现在脑海中：“你的科学家们非常专注于他们是否可以，他们没有停下来思考他们是否应该这样做。” 就电影而言，它是关于从恐龙 DNA 中重建恐龙。 但它同样适用于使用 AI 重现人们的声音。
娱乐 AI 软件 Respeecher 需要一到两个小时的语音样本来重现语音。 亚马逊的新技术需要不到一分钟的录音。 这为更多录音打开了大门，包括从语音邮件中捕获的消息，甚至是给 Alexa 和 Siri 的命令。
鉴于在所谓的暗网上销售 PII 信息甚至医疗信息的普遍性，可以合理地预期黑客也会传播潜在受害者的简短录音，尤其是当这些录音只需一分钟或 所以。
这意味着，如果亚马逊真的将其死去的祖母技能发布到 Alexa 平台上，它将为广大受众所用。 甚至可以在自产的非 Alexa 设备上使用 Alexa 和 Alexa 技能，如本文所示。 这意味着即使这项技术仅限于 Alexa，它也有可能出现很大问题。
不禁要问：亚马逊真的需要把这项技术作为一项技能放出野外吗？
公平地说，亚马逊不会是唯一一家探索语音复制的公司。 Fortune Business Insights 预测，到 2026 年，全球语音和语音识别市场将以近 20% 的年增长率达到 283 亿美元。 有了这些数字，您可以确定这个领域还会有其他参与者。
保护用户免受数字煤气灯、跟踪和诈骗将变得越来越困难，而语音复制只会让情况变得更糟。
MITRE Corporation 网络战略和执行副主任兼胡佛研究所访问学者 Irving Lachow 博士在 Lawfare 博客中将这种情况描述为“家中的 PsyOps”。
他表示，虽然书上有反跟踪法，但“其中许多措施不能直接应用于网络 gaslighting，因为与跟踪软件情况不同，滥用者不会将软件添加到基于家庭的智能设备以骚扰他们的受害者 . 相反，他们正在按预期使用这些设备。”
他还表示，如果生产这些技术的公司的高管有些不可触及，那么法律挑战就更加困难。 他说：“所讨论的技术具有合法和积极的用途，现实中不能仅仅因为智能设备公司的设备已被用来对某人造成伤害就将其作为目标。”
显然，这是一个需要更多考虑的问题。 像亚马逊这样的公司需要仔细评估他们添加的功能是否弊大于利。 网络安全专家需要继续强化物联网设备以抵御外部黑客攻击。 治疗师和心理学家需要提高对数字煤气灯和其他 21 世纪威胁的认识。
但个人也可以保护自己。 代表 Malwarebytes 博客撰写的恶意软件情报分析师克里斯托弗博伊德建议保留事件的详细记录并记录设备产生的任何数据。 我们补充说，管理您自己的密码很重要，使用强密码，如果您预计会遇到麻烦，请务必了解如何锁定您的设备。
Lachow 报告说，“智能设备在家庭暴力场景中的利用时机已经成熟，因为通常是一个人，通常是男性，控制着房子的信息技术 (IT)。如果 IT 经理搬出去但保留通过 移动应用程序或在线界面，他或她可以控制家庭环境。”
记住这一点，尽你所能去学习。 至于基于人工智能的系统学习复制已故亲人的声音，我不得不说“只说不”。 不，不，不，不，不。 Baaaad 事情可能会发生。
我相信你能想到很多可怕的场景。 在下面的评论中与我们分享。 我们对此思考得越多，对它的了解越多，我们就能更好地做好准备。
