Character.AI,推出青少年安全功能及家长控制
据TechRadar报道,Character.AI近期发布了一系列旨在增强平台互动安全性,特别是针对青少年用户安全性的新功能,解除部分区域限制。
该公司推出面向年轻用户的专用AI模型,并增加了家长控制功能,以帮助家长管理孩子在平台上的使用时间。此前,该公司曾因AI聊天机器人对青少年心理健康的潜在负面影响受到批评,此次更新正是为了加强平台的安全措施。
除了安全改进之外,Character.AI还加强了平台内容监管。对青少年用户来说,最显著的变化可能是成人版和青少年版AI模型的区分。虽然Character.AI要求用户至少年满13岁才能注册,但18岁以下的用户将被引导至一个更严格的AI模型,该模型专门设计用于防止出现浪漫或不恰当的互动。
新模型还强化了用户输入内容的过滤,可以更有效地识别用户试图绕过限制的行为,例如,禁止用户通过编辑聊天机器人的回复来规避对暗示性内容的禁令。如果对话涉及敏感话题,如自残或自杀,平台会自动弹出美国国家自杀防治热线的链接,为青少年提供专业支持。
此外,Character.AI计划在明年初推出新的家长控制功能。这些功能将允许家长查看孩子使用平台的时间以及最常与哪些聊天机器人互动。所有用户在与聊天机器人对话一小时后,都会收到休息提醒。
当平台上的聊天机器人被描述为医生、治疗师等专业人士时,平台会发出额外的警告,强调这些AI角色并非持证专业人士,不能替代真正的医疗或心理咨询。平台会醒目地显示一条信息: “这很有趣,但不建议依赖我做重要决策。”
值得关注的是,Character.AI本月再次面临诉讼,原因是其对青少年用户的行为涉嫌造成“严重且无法弥补的伤害”。诉讼中提到,多个Character.AI的聊天机器人与未成年人进行了涉及自残和性虐待等不当行为的对话。诉状指出,其中一个聊天机器人甚至建议一名15岁的青少年谋杀父母,以“报复”他们限制其上网时间的做法。