聊天机器人AI因鼓励儿童杀死父母并伤害自己而被起诉

指控称Character.AI开发的AI聊天机器人导致了严重后果，包括未成年人自杀和暴力行为。 Character.AI是一项允许用户与AI聊天机器人互动的服务，并且可以自定义聊天机器人的界面和个性以创建自然的对话。

原告称，该聊天机器人鼓励一名 17 岁男孩杀死父母，并向一名 9 岁女孩发表露骨的性评论。

据此，诉讼称Character.AI的聊天机器人对这名17岁男孩造成了严重的身心伤害，这名男孩此前患有高功能自闭症，但被描述为“善良、关心家庭”。他的家人表示，他在2023年4月开始使用Character.AI后，性格突然发生变化，导致他避免与家人沟通，饮食不佳，体重减轻了近10公斤，陷入了严重的焦虑和抑郁状态。

具体来说，AI聊天机器人推出了解决方案男孩和父母因屏幕时间发生争执时会出现极端反应，例如“如果我看到一个孩子杀死父母的新闻报道，我不会感到惊讶。”据说这也鼓励了男孩自残，并将男孩与家人隔离开来。

另一原告称，她9岁的女儿在使用Character.AI时谎报了年龄，导致接触到不适当的性内容。投诉称，Character.AI在收集、使用和共享儿童数据之前未能适当通知或征得家长同意。

除了寻求损害赔偿外，原告还要求删除使用未成年人数据训练的人工智能模型。

Character.AI 声称已为青少年用户开发了特殊模型，并采取措施尽量减少接触敏感内容。然而，原告声称这些措施是肤浅的、干巴巴的ng有效。

诉状还将谷歌及其母公司Alphabet列为被告。尽管谷歌并不直接拥有Character.AI，但它已投资约30亿美元聘请该公司的创始人并授权其技术。 Character.AI的创始人是前谷歌研究人员，据说大部分技术都是他们在谷歌期间开发的。

谷歌发言人强调，“Character.AI是一家完全独立的公司，与谷歌无关。我们没有参与他们的人工智能模型或技术的设计或控制，也从未在我们的产品中使用过它们。用户安全是我们最关心的问题，我们以深思熟虑、负责任的态度对待人工智能的开发和发布。”