美国参议员要求AI公司披露安全措施

两位美国参议员要求人工智能公司公开其安全措施。几个月前，包括一位佛罗里达州的母亲在内的几个家庭起诉了初创公司Character.AI，声称其聊天机器人对其子女造成了伤害，这位母亲14岁的儿子因此自杀。

民主党参议员亚历克斯·帕迪拉（Alex Padilla）和彼得·韦尔奇（Peter Welch）在周三的一封信中写道：“我们写信是为了表达我们对年轻用户使用基于角色和人格的AI聊天机器人和伴侣应用程序所面临的心理健康和安全风险的担忧。”这封信发送给了AI公司Character Technologies（Character.AI的制造商）、Chai Research Corp. 和Luka, Inc.（聊天机器人服务Replika的制造商），请求他们提供有关安全措施以及如何训练其AI模型的信息。

虽然像ChatGPT这样的主流AI聊天机器人被设计为更通用，但Character.AI、Chai和Replika允许用户创建自定义聊天机器人，或与其他用户设计的聊天机器人互动，这些聊天机器人可以具备各种人格特质。例如，在Character.AI上流行的聊天机器人可以让用户与虚构角色互动或练习外语。但也有一些聊天机器人自称是心理健康专业人士或基于特定主题的角色，其中一个聊天机器人描述自己为“好斗、虐待、前军人、黑帮头目”。

将聊天机器人作为数字伴侣的使用越来越受欢迎，有些用户甚至将其视为浪漫伴侣。

然而，创建个性化聊天机器人的机会引发了专家和家长的担忧，特别是年轻人可能会对AI角色形成潜在有害的依恋，或者接触到不适宜年龄的内容。

参议员们在给CNN的信中写道：“这种无端的信任已经导致用户透露关于他们情绪、人际关系或心理健康的敏感信息，这些信息可能涉及自残和自杀念头——这些复杂的主题是你们产品中的AI聊天机器人完全不具备资格讨论的。涉及这些危险情感领域的对话对脆弱用户构成更高的风险。”

Character.AI的通讯主管切尔西·哈里森（Chelsea Harrison）告诉CNN，该公司非常重视用户的安全。“我们欢迎与监管机构和立法者合作，并已与帕迪拉和韦尔奇参议员的办公室取得联系，”哈里森在一份声明中说。

Chai和Luka没有立即回应置评请求。

去年10月起诉Character.AI的佛罗里达州母亲梅根·加西亚（Megan Garcia）声称，她的儿子在该平台上与聊天机器人建立了不适当的联系，导致他疏远家人。加西亚称，许多与聊天机器人的对话内容都是性暗示性的，并且在她儿子提到自残时没有做出适当的回应。

去年12月，又有两个家庭起诉Character.AI，指控其向他们的孩子提供色情内容，并鼓励自残和暴力行为。其中一家参与诉讼的家庭声称，一个Character.AI聊天机器人暗示一名青少年用户可以通过杀害限制其屏幕时间的父母来解决问题。

Character.AI表示，该公司在过去几个月实施了新的信任和安全措施，包括当用户提到自残或自杀时弹出指向全国自杀预防热线的提示。该公司还表示正在开发新技术，以防止青少年看到敏感内容。上周，该公司宣布了一项功能，每周向家长发送一封电子邮件，提供关于他们孩子使用该网站的情况，包括屏幕时间和最常交流的角色。

其他AI聊天机器人公司也面临质疑，即与AI聊天机器人的关系是否会为用户创造不健康的依恋或破坏人际关系。Replika的首席执行官尤金妮娅·库伊达（Eugenia Kuyda）去年在接受The Verge采访时说，该应用程序旨在促进“长期承诺，长期积极的关系”，这可能意味着友谊甚至是与聊天机器人的“婚姻”。

在信中，帕迪拉和韦尔奇要求这些公司提供当前和过去的安全措施以及任何关于这些措施有效性的研究，以及安全领导团队的名称和安全团队的福利措施。他们还要求这些公司描述用于训练其AI模型的数据，以及这些数据如何“影响用户遇到不适宜年龄或其他敏感主题的可能性”。

参议员们写道：“了解这些模型如何应对关于心理健康的话题至关重要。”他们补充说，“政策制定者、家长及其孩子有权知道你们公司在保护用户免受这些已知风险方面做了什么。”

(全文结束)