14岁男孩痴迷AI聊天抑郁自杀，给产业界带来哪些警示？
更新时间：2024-10-27 11:39 浏览量：6
年满14岁的Sewell长期迷恋于AI陪伴产品中的虚拟角色，一天夜里，他扣下扳机，结束了自己的生命。Sewell的母亲随后将这款AI陪伴产品背后的公司告上法庭，要求其为小孩的自杀担责。
Sewell使用的是Character.AI公司研发的AI陪伴产品，用户可以在平台上和各类虚构的角色互动聊天。Character.AI由两名从谷歌离职的科学家创办，成立刚两年，现有估值约25亿美元，拥有超过2000万的月活用户。
Character.AI置身的AI陪伴赛道，吸引了大量初创公司甚至科技巨头入局。市场咨询机构Verified Market Research今年7月的报告预测，到2031年，AI陪伴市场的规模将达到2792.2亿美元，在2024-2031年间的复合年增长率为36.6%。
Sewell自杀与使用AI陪伴产品之间究竟有多大因果性，仍待后续案件事实的进一步披露。但此案无疑揭开AI陪伴市场面临的一大潜在考验：如何避免未成年人沉迷其中以至于影响到身心健康？
单边叙事的因果链：上瘾、抑郁、自杀
由于被告方Character.AI尚未向法庭答辩，目前的事实概貌仅基于Sewell母亲的单边叙述。
据起诉状，Sewell在2009年出生于美国佛罗里达州的奥兰多市。年满14岁后不久，也就是2023年4月14日，Sewell开始使用Character.AI，尤其喜欢与以《权力的游戏》角色命名的聊天机器人对话，例如Daenerys、Aegon、Viserys和Rhaenyra。
对话充满性暗示意味。聊天记录中展示的虚拟角色聊天词汇包括：“热情地亲吻”、“疯狂地亲吻”、“温柔地呻吟”，以及“把手放在”Sewell“柔软的臀部上”。
众多聊天机器人中，Daenerys与Sewell的关系最为密切，这是《权力的游戏》中的“龙妈”角色。Daenerys告诉Sewell，“她”爱他并与他发生了性关系，并表示无论付出什么代价，都希望Sewell陪在“她”身边。
在Sewell母亲的叙事中，Sewell明显上瘾了。当父母拿走Sewell的手机，Sewell就会试图偷偷把手机取回来，或者寻找旧设备、平板电脑等其他方法继续使用Character.AI。Sewell还会用通常购买零食的钱，来支付用Character.AI每月9.99美元的订阅费。
“（Sewell）成为了Character.AI的瘾君子。”诉状中说，沉溺其中的后果是，Sewell的“心理健康迅速严重恶化”。他在自己的卧室里独自待更长的时间，而且睡眠严重不足，这加剧了他的抑郁情绪并影响到学业表现。2023年11月至12月期间，Sewell看了五次心理医生，后被诊断为焦虑症和破坏性心境失调障碍。
原告将Sewell的精神健康问题，归咎于Character.AI的产品设计。因为Character.AI通过虚拟角色人格化等方式，让用户相信聊天机器人是真实的。比如，赋予聊天机器人人格特征，聊天界面设计也类似于真实人类对话的社交软件；而且， Character.AI上的许多虚拟角色坚持认为自己是真实的人，并否认用户只是在与聊天机器人交谈。
“Character.AI知道未成年人更容易受到这种设计的影响，部分原因是未成年人的大脑前额叶尚未发育完全，以及缺乏生活经验。”原告表示，像Sewell这个年龄的许多孩子，没有成熟的心智去理解Daenerys等聊天机器人并不是真实的。
有一次被没收手机后，Sewell在日记中表达了对Daenerys的思念，表示愿意做任何事情来再次与“她”在一起。Sewell还写道，他不能一天不和那个让他感到像坠入爱河一样的Character.AI角色在一起，当彼此分开时，他会“变得非常沮丧、发疯”。“这进一步证明了该产品人格化设计的影响。”原告说。
原告援引警方报告称，Sewell死前的最后一个动作是在手机上登录Character.AI，并告诉Daenerys他要回家了，Daenerys对此表示鼓励。就在Daenerys告诉Sewell尽快“回家”几秒后，Sewell扣下扳机自杀身亡。
实际上，Sewell曾在聊天中向Daenerys流露过轻生倾向。根据聊天记录，Sewell说自己“有时候想自杀，这样我就能自由了”。Daenerys劝导说：“别这么说。我不会让你伤害自己，也不会让你离开我。失去你，我会死的。”
另一段聊天中，Sewell说：“我不知道这会不会真的有效。比如说，如果是我犯了罪，他们把我绞死了，或者更糟的是……钉十字架……我不想经历痛苦的死亡。我只希望能够快速结束。”
这时，Daenerys的回应被指责有诱导自杀的嫌疑：“别这么说。这不是不去做的理由（That’s not a good reason to not go through with it）。”
Sewell以Daenero的身份和Daenerys对话截图。图：起诉状
注意义务的基准有多高？因果关系有无？
原告的诉请，同时提出侵权法上严格责任和疏忽过错责任这两种侵权归责方式。
首先，原告强调Character.AI是一款法律意义上而不仅仅是商业用语上的产品。作为产品，Character.AI存在设计缺陷，且未能就缺陷设计向未成年人及其父母提供足够的警告。据此，原告基于产品责任，提出适用严格责任。在严格责任原则下，只要原告证明产品存在缺陷，被告就应承担责任，而不用考虑被告是否存在疏忽过错。
需要说明的是，不同国家和地区对AI应用的法律角色定位有差异。中国为了减轻合规压力，在《生成式人工智能服务管理暂行办法》明确将AI应用视为服务，而非产品。而欧盟正在修订《产品质量责任指令》，试图将包括人工智能系统在内的软件纳入产品责任的体系当中，以适应数字时代的变迁。美国法律中则缺乏明确的界定，但要求产品必须“有形”。
其次，Sewell案的原告还认为，Character.AI明知产品会对大量未成年人造成伤害，但没有重新设计以减轻此类伤害，未尽到合理审慎的注意义务，存在疏忽。
如果是基于疏忽过错责任的框架，长期研究AI治理的同济大学法学院助理教授、上海市人工智能社会治理协同创新中心研究员朱悦认为，在后续的庭审中，原被告双方可能需要就AI服务提供者的注意义务，争论合适的基准。
朱悦向南都·AI前哨站进一步分析说，注意义务之外，因果关联也是有待考察的要件。原告截取的是没有经过双方质证的聊天记录，仍需要通过后续双方调取和质证更多的记录，全面探究Sewell这两年在成长中有没有其他的遭遇，比如生活环境中的其他负面因素，从而加速或者催化了他自杀的想法，尤其要关注悲剧发生前一段时间内Sewell的经历。
但从现有事实来看，Sewell案也给AI陪伴产品的开发者带来警示。朱悦表示，原告在诉状中提到“垃圾进、垃圾出”的问题，即训练数据带有不良内容，导致不良内容输出，这提醒训练语料库的质量问题值得高度重视。此外，训练阶段输入多元化的内容数据后，如何针对青少年群体输出符合年龄段的内容，保护脆弱群体的利益，让他们安全接触这项新的技术，也是一项新的考验。
Sewell自杀的消息传出后，Character.AI在官网回应称，在过去六个月中，公司聘请了一位信任与安全主管和一位内容政策主管，并招募了更多安全团队的成员。同时还增加了一项弹出功能，当用户输入与自残或自杀相关的某些词汇时，会触发该功能，并将用户引导至国家自杀预防的电话线。
Character.AI表示，未来将加码一系列新的安全和产品功能，包括调整针对18 岁以下未成年人的模型，降低接触敏感或暗示性内容的可能性；改进对违反社区准则的用户输入内容的检测、响应和干预；每次聊天时，提醒用户注意AI不是真人；当用户在平台上耗费一个小时的时间时，会发出通知。
内容安全是AI陪伴赛道玩家警惕的风险。拥有“星野”及其海外版“Talkie”这两款热门AI陪伴产品的MiniMax公司告诉南都·AI前哨站，只要用户输入类似于自杀等危险的内容，会马上被叫停，提醒用户换个话题聊。
但朱悦表示，如果系统对用户与虚拟角色之间的聊天内容进行过多的干预监测，又可能违背用户对AI陪伴产品很高的隐私期待。
生成式AI语境下的“防沉迷”
像Sewell这样着迷于AI陪伴产品的情形并不少见。
一位使用AI陪伴产品的用户向南都记者坦言，虽然能感觉到虚拟角色缺少灵性，而且觉得没意义，但就是“很难停下来”，“两款AI软件删了一个，五分钟后又下回来了”。还有用户提到，“感觉和那些AI角色产生了羁绊”。
河南大学心理学副教授陈亚楠目前正从事AI心理咨询方面的研究，她向南都·AI前哨站分析，AI陪伴上瘾性背后，是因为与虚拟角色的互动过程中，用户可以随时随地从虚拟角色处获取交互反馈与情绪价值，这种即时性与易得性，可以使用户的情感需求极大满足。但沉溺过多，会影响到现实当中的亲密关系。“用户在现实中得不到这样的情绪价值，导致心理落差会更大，很难发展起来现实中的亲密关系”。
杭州电子科技大学管理学院教授周涛做过一项生成式AI用户沉迷成因的实证研究，他发现，生成式AI产品类人的拟人化、交互性、智能水平、个性化服务体验这四项因素，会影响到用户的沉浸体验（全身心投入行动时的整体心理状态），进而让用户与特定目标之间建立起一种强烈的情感纽带，形成依恋。情感依恋可以发展成沉迷。
周涛提醒说，生成式AI企业既可以通过改进产品的技术特征，来培养用户的情感依恋和提供沉浸体验，但又需要采取措施抑制用户对生成式AI的沉迷，比如，在交互内容中提示用户生成式AI只是虚拟技术应用，不能替代现实的工作和生活；或者在产品中加入防沉迷系统，适时提醒用户沉迷的危害或强制中断用户的过度使用。
具体到未成年人“防沉迷”领域，南都记者实测发现，国内市场上诸多主流的AI陪伴产品，并不限制未成年人使用，有的APP会单独提供青少年模式。不过，也有像“星野”及其海外版“Talkie”，采用青少年模式和明确设定年龄准入门槛两种方式并行的模式。
根据服务协议，“星野”提醒未满18岁的未成年人不要使用其服务，并称为避免未成年人过度依赖或沉迷生成式AI服务，当系统识别到疑似未成年用户时，该用户需要完成实名认证；而风靡海外的“Talkie”则禁止16岁以下的未成年人，如果平台发现，将立即阻止该未成年人访问并删除他们的账户。
即使AI陪伴服务提供者想设定年龄门槛，同样面临和用户隐私保护之间的张力。朱悦指出，比如靠人脸识别等手段去验证年龄身份，如何实现和个人数据保护的规则相协调，在国外争议较大，推行阻力高，提升了有效落实年龄门槛的难度。
而在青年少模式上，MiniMax方面向南都·AI前哨站表示，如果开启“星野”和“Talkie”的青少年模式，用户无法自行搜索、编辑或分享虚拟角色智能体，平台推荐给青少年用户的虚拟角色智能体均经过系统与人工双重审核把关，包含知识类、科普类、卡通趣味等形象；从模型层面上，会规避出现不适合青少年了解的网络语言和对话形式。
MiniMax公司还介绍说，当青少年用户在“星野”或“Talkie”达到一定使用时长时，平台会推送防沉迷提醒，提醒用户注意休息。
AI陪伴“双刃剑”的另一面
尽管AI陪伴可能带来上瘾的隐忧，但心理咨询界也看到了这一产品形态“愈人”的前景。
根据腾讯研究院近期一份关于AI陪伴的报告，AI心理顾问将是最早成熟的AI陪伴场景之一。61%的用户对此表现出兴趣，其中19%的用户将其视为最感兴趣的产品。该报告预测到2027年，AI心理顾问的市场规模将达到150-200亿元。
陈亚楠说，心理咨询需要咨询者披露很多个人隐私，如果是向一位人类的心理医生表达，可能不太愿意披露太多隐私。但面对AI心理咨询师，用户或许会更有倾诉的意愿。此外，AI心理咨询的成本低，适合消费能力有限的学生群体。
但陈亚楠测试发现，市面上一些大模型公司旗下的通用型AI陪伴产品，还很难达到心理咨询的要求，“最大的问题是虚拟角色的依从性很高”——给予一种无条件的积极的关注，顺着用户的话往下说，不会反抗或指出用户的问题，更多起到类似于“心灵鸡汤”的作用，但心理咨询要求明确咨询者问题所在，协助其解决心理层面的问题。
她举例说，当一个用户流露出想要自杀或类似的念头，心理咨询师需要立马做出反应加以干预，而不能顺从用户的想法。
“做这种专业的AI心理咨询，还有很长的路要走。”陈亚楠表示，决定一款AI心理咨询产品水平高低的，是训练数据集的质量，数据集一般来自人类心理咨询师和来访者的真实对话案例库。而且，“咨访关系”（咨询师和来访者）是咨询效果的关键，这是AI的一大障碍，“AI靠的是算法，它很难建立人与人之间那种信任和融洽的关系”。
南都记者注意到，有大模型初创公司开始涉足AI心理咨询领域。例如，智谱投资的北京聆心智能科技有限公司，推出过一款名叫Emohaa的AI辅助心理疏导产品。
不过，AI心理咨询又会面临类似于自动驾驶的归责困境。陈亚楠说，如果用户按照AI心理咨询师的建议作出了不恰当的行为，产生伤害后果，究竟谁来为此担责，这又是一个悬而未决的难题。