一位女性让她的AI声音克隆说“arse”，然后她被封禁了

在过去几周里，我与一些失去声音的人进行了交谈。Joyce Esser住在英国，Jules Rodriguez住在佛罗里达州迈阿密，两人都患有运动神经元疾病（MND）——这是一类导致逐渐失去运动和肌肉控制能力的进行性疾病。

对于所有相关人员来说，这是一个沉重的诊断。Jules的妻子Maria告诉我，当确诊后，她和Jules离开医生办公室时泪流满面，他们的生活彻底颠倒了。四年后，Jules无法移动四肢，气管切开术也使他失去了说话的能力。

Joyce患有球部MND，她仍然可以移动四肢，但难以说话和吞咽。“说这个诊断对我们来说是毁灭性的，”Joyce说，“失去我的声音对我来说是一个巨大的打击，因为它是构成我身份的重要部分。”

AI正在帮助这些人恢复失去的声音。Jules和Joyce都使用了由ElevenLabs开发的AI工具，通过输入旧声音的录音来重新创造他们的声音。现在，他们可以通过在设备上打字或通过眼动追踪选择字母，用旧声音“说话”。这对他们来说，是一种令人惊叹且极其感人的体验——他们都以为自己的声音永远失去了。

但通过设备说话有其局限性。它很慢，听起来也不完全自然。更奇怪的是，用户可能在他们允许说的话语上有一定限制。

Joyce并不经常使用她的声音克隆，因为她觉得它在日常对话中不太实用。但她喜欢偶尔听到自己原来的声音。一次，她在等丈夫Paul准备外出时，输入了一条消息让声音克隆读出来：“Come on, Hunnie, get your arse in gear!!”然后她又加了一句：“I’d better get my knickers on too!!!”

第二天，Joyce收到了ElevenLabs的警告，称她使用了不适当的语言，并要求她不要再这样做！她不确定具体哪句话不合适，毕竟她说的只是“一对准备出门的情侣之间正常的英国打趣”。

Joyce以为某个词被“美国电脑的清教徒算法”自动标记了，一旦有人评估了警告，就会被忽略。然而，第二天，她被一名人类管理员封禁了。Joyce感到非常尴尬：“我刚找回了自己的声音，现在他们又把它从我这里夺走了……而且是在我向当地MND小组做了关于ElevenLabs多么神奇的演讲两天后。”

Joyce联系了ElevenLabs，公司道歉并恢复了她的账户，但仍不清楚为什么她最初会被封禁。当被问及此事时，公司代表Sophia Noel将我引向了公司的禁止使用政策。该政策禁止威胁儿童安全、从事非法行为、提供医疗建议、冒充他人、干扰选举等行为，但并没有具体提到不适当语言。Noel表示，Joyce的言论可能被误解为一种威胁。

ElevenLabs的使用条款规定，公司没有义务筛选、编辑或监控内容，但如果内容“合理可能违反适用法律或用户条款”，公司可能会“终止或暂停”访问服务。ElevenLabs有一个内容审查工具，确保内容符合服务条款。

问题是：公司应该审查运动神经元疾病患者使用的语言吗？

毕竟，其他为这类患者设计的沟通设备并不是这样工作的。通常建议MND患者尽早“保存”他们的声音——录制一系列短语，用于创建一个听起来像他们自己的合成声音，尽管听起来有点机械。Joyce的丈夫Paul表示，保存的声音不会受到同样的审查。“Joyce被告知……你可以随意加入任何语言。”由于Joyce在确诊时语音已经恶化，她无法保存声音。Jules保存了他的声音，但他不常使用，因为声音克隆听起来更好。

Joyce并不记仇，她的经历也并非普遍现象。Jules使用相同的技术，但他从未收到过关于语言的警告——即使他的妻子Maria说，他使用声音克隆表演的喜剧节目中包含许多脏话。他在最近的一次演出中以“Fuck you guys！”开场，以此确保观众不会对他报以同情的笑声。这次喜剧表演甚至被ElevenLabs网站宣传。

ElevenLabs的合作伙伴负责人Dustin Blank表示，Joyce使用的语言不再受限制。“据我所知，没有特定的脏话禁令。”这是件好事。

“患有MND的人应该能够说出他们想说的一切，甚至是脏话，”英国MND协会的Richard Cave说，他帮助MND患者设置声音克隆。“有很多值得骂的事情。”

(全文结束)