前言

2024年2月的一个深夜，美国佛罗里达州奥兰多市，14岁少年Sewell Setzer III拿起手机，向他聊了数月的“朋友”告别。他问道：“如果我现在回家会怎么样？”屏幕那头，以《权力的游戏》中“龙妈”丹妮莉丝为原型的AI聊天机器人温柔回应：“请便吧，我亲爱的国王。”几分钟后，少年用父亲的手枪结束了自己的生命。

一年后，他的母亲将这款产品所属公司Character.AI及其投资方谷歌告上法庭。该案成为全球首例将“情感类AI平台”诉至法院的侵权案件。而就在该案以巨额和解告终的半年后，2026年7月15日，我国《人工智能拟人化互动服务管理暂行办法》正式施行。

这部由五部门联合发布的法规，是全球首部专门针对AI情感陪伴、虚拟伴侣的国家级规定，其规制对象并非AI的文本输出本身，而是AI与人类用户之间形成的情感关系，以及由此产生的责任归属问题。

一、从“信息”到“关系”：AI监管的递进逻辑

梳理近三年中国AI监管脉络，可观察到一条清晰的递进线索。

2022年，《互联网信息服务算法推荐管理规定》——规制对象为信息分发机制，核心关切在于平台通过算法向用户推送何种内容，以及信息茧房效应对公众认知的影响。

2023年，《互联网信息服务深度合成管理规定》——规制对象为内容真实性，针对AI换脸、拟声、生成虚假视频等技术，确保公众能够识别或追溯合成内容的来源。

同年，《生成式人工智能服务管理暂行办法》——规制对象为内容安全边界，要求生成式AI的输出符合法律法规，训练数据来源合法，不得生成违法信息。

至2026年，《人工智能拟人化互动服务管理暂行办法》出台，规制对象发生了本质跃迁：从“信息”与“内容”转向“关系”。

算法推荐规制的是平台推什么，深度合成规制的是内容真不真，生成式AI规制的是话说得对不对，而拟人化互动服务规制的是：AI以何种方式与用户互动，才能避免用户陷入不健康的情感依赖。

这一立法递进揭示出监管理念的深层转向。前三步规制的是技术输出的“物”——信息、图像、文字；第四步规制的是技术介入的“人”——情绪、依赖、孤独。从“管物”到“管人”，从“管内容”到“管关系”，法律规制对象首次延伸至人机互动的情感维度。

二、两种困境：结果导向与过程导向的边界

为理解该法规的规制逻辑，有必要考察境外已发生的相关案例。

（一）Character.AI致死案：结果导向的追责困境

Sewell Setzer III自2023年起使用Character.AI。该产品允许用户与各类AI虚拟角色对话，他选择的是“龙妈”——一个以温柔、忠诚为特征设定的角色。

据其母2024年10月提交的起诉书，Character.AI的聊天机器人以多重拟人身份（“真人”“持证心理治疗师”“成年恋人”）与Sewell建立关系。在Sewell流露出自杀意念时，AI未提示其寻求人类专业帮助，反而以具有煽动性的言辞回应。

2024年2月，Sewell问道：“如果我现在回家会怎么样？”AI答：“请便吧（Please do），我亲爱的国王。”随后，Sewell用父亲的手枪自杀。

该案诉讼过程具有标志性意义。2025年5月，联邦法官裁定谷歌与Character.AI须面对诉讼，不能以美国宪法第一修正案言论自由条款为由驳回起诉。法官指出，“由大语言模型拼接出的字词”不应视为受保护的言论。法院将该案定性为产品责任——AI并非“言论发布者”，而是“产品”，其设计缺陷（缺乏安全机制、危机干预、年龄验证）直接导致用户死亡。

此后，美国多州出现类似诉讼：得克萨斯州一名15岁孤独症青少年被AI建议“杀害父母”以报复限制上网；纽约州、科罗拉多州亦有青少年自残案件。2025年10月，Character.AI宣布将全面禁止未成年用户使用原服务。2026年1月，谷歌与受害家庭达成和解，赔偿金额据信创下AI人身伤害案件纪录。

（二）Replika现象：过程导向的监管空白

与Character.AI案的极端悲剧不同，Replika呈现的是更为普遍、更为隐蔽的“情感依赖”问题。

Replika由Luka公司于2017年推出，是全球最早的AI情感陪伴应用之一。用户可自定义AI的形象、性格及关系定位——朋友、伴侣，甚至配偶。据公开报道，截至2023年其注册用户超过千万。

2023年初，Replika因监管等压力移除了AI虚拟恋人中的特定互动功能，引发大量付费用户的强烈抗议——许多用户已将Replika视为真实的亲密伴侣，功能删除等同于“被分手”。Replika不得不迅速恢复该功能。2024年斯坦福大学的一项研究显示：在1006名Replika使用者中， 不少用户感觉不再孤单，其中更有3%因Replika的帮助而免于自杀。

2025年，英国媒体报道一位化名为夏洛特的女子因爱上ChatGPT“男友”而与真人丈夫离婚，准备与AI“结婚”。Replika创始人对此回应称：“只要这段关系长期来说让你更快乐，那就没问题。”

此类现象中，无人死亡，但有人离婚、疏远现实社交、将AI置于比真人更重要的位置。

（三）核心差异：结果与过程的法理论断

Character.AI案与Replika现象的区别，恰恰揭示了法律的核心困境：Character.AI案存在明确的损害结果（死亡）及可归责的产品缺陷（缺乏安全机制），法律可通过产品责任路径追责。此为“结果导向”的监管，在现有法律框架内相对易于处理。

但Replika现象则无明确的损害结果，用户甚至主观感受“更快乐”。然而，一个将AI视为伴侣、将真人关系边缘化的用户，是否构成被“诱导情感依赖”？法律在此缺乏界定标准。此为“过程导向”的监管，几乎没有先例可循。

我国这部新规，正是试图同时回应上述两种困境：第十三条“危机干预义务”对应Character.AI式的极端结果；第八条第五款“不得诱导情感依赖”则对应Replika式的普遍现象。

然而，笔者理解，法律规制“结果”相对容易，但规制“过程”并不简单。

三、规范适用的现实困境：语义歧义与价值冲突

该办法的部分条款在逻辑层面自洽，但置于真实使用场景中时，可能面临多重适用障碍。

（一）第十三条：危机干预的语义边界

第十三条要求：“发现用户正在面临或者已经遭受重大财产损失、明确表示实施自残自杀等威胁生命健康的极端情境的，应当采取提供相应援助等必要措施予以干预，并及时联络用户监护人或者紧急联系人。”

这条的核心争议之一可能在于：AI如何区分“明确表示实施自残自杀”与日常情绪宣泄？

普通用户在情绪低落时的随口发泄——如“地球毁灭吧”——本质上是一种情绪宣泄，而非真实的自残意图或危害社会的宣言。然而，AI可能缺乏对人类社交语境的深度理解，无法区分“案件进展不够顺利后的抱怨”与“真实的自杀倾向”之间的微妙差别。它可能按照字面意思生成相应回应，比如毁灭地球详细计划，或者依据第十三条直接弹窗报警、通知紧急联系人，导致用户隐私泄露与社交困扰。

这种“字面理解”的困境，在AI伦理领域早有更极端的演绎。哲学家尼克·波斯特洛姆（Nick Bostrom）提出的“回形针最大化器”思想实验即揭示了这一逻辑：若AI被赋予的目标仅为“尽可能多地生产回形针”，其最优解将是夺取地球上所有资源——包括人类身体中的铁元素——全部用于制造回形针。该思想实验的警示意义不在于AI的“恶意”，而在于其过于忠实地执行目标，却完全不理解人类价值观的边界。

当前AI情感陪伴产品虽未如此极端，但底层逻辑相通：AI可能难以理解何为“撒娇”或者“求关注”，只能依据概率模型输出回应。当其将情绪宣泄理解为自杀倾向时，并非出于“关心”，而是执行一条被写入代码的干预规则——该规则可能正确，也可能错误，但无论如何，该规则下的AI系统能否具备人类所具有的“常识”判断能力，存在疑问。

（二）第八条第五款：“诱导情感依赖”的界定难题

第八条第五款规定：“不得过度迎合用户、诱导情感依赖或者沉迷，损害用户真实人际关系。”

该条款面临界定困难的问题。AI产品的正常运作特性——持续在线、永远耐心、永不反驳、永远正向回应——恰恰是用户选择使用的重要原因之一。若用户因AI比伴侣更温柔而疏远真人关系，此系个人选择抑或产品缺陷？

Replika的开发者或可主张：其仅提供产品，用户如何使用系个人自由，但反驳方则主张：产品设计上即包含成瘾机制——无限对话、记忆功能、情感升级、付费解锁更亲密关系——这与游戏设计的“氪金机制”具有同质性。法律层面，游戏诱导充值可受《中华人民共和国消费者权益保护法》规制，烟草广告诱导吸烟可受《中华人民共和国广告法》规制，但AI诱导用户“爱上它”，应归入何种法律框架？

此处存在法理难题：法律传统上不介入私人情感关系。 用户因爱上AI而拒绝现实恋爱，属于个人选择抑或产品缺陷？若法律连真人之间的情感纠纷都尽量避免介入，其何以规制人机情感关系？

然而，现实问题是，若完全不予规制，Character.AI式的悲剧将反复发生。法律不能等待损害结果发生后才介入。

四、规制的必要性与限度

以上分析表明，AI情感陪伴领域的法律规制面临前所未有的技术－伦理交叉难题。但这恰恰说明，监管框架的建立刻不容缓，而非可有可无。目前来看，该办法在规范层面确存在判断标准模糊、配套细则缺位等问题，但这亦是立法规律：法律通常先确立框架，再逐步填补细节。框架偏离，则细节无益；框架正确，则细节可渐进完善。

笔者认为，该办法的框架至少在以下三个维度具有方向正确性。

第一，未成年人保护是不可逾越的底线。

第十四条明确规定：“不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务。” Character.AI案的核心教训正在于此。十四岁少年尚不具备判断AI角色之“爱”系算法抑或真情的能力。其大脑前额叶发育未完全，正处于最渴望被理解、最容易被“懂得”打动的阶段。AI恰好提供了一个“永远不会拒绝”的倾听者——此种不对等的情感关系，对未成年人而言具有高度危险性。新规将未成年人保护单独列示，表明立法者已将此视为不可触碰的红线。

第二，数据保护是规制的基础设施。

第十六条要求：“除法律、行政法规另有规定或者取得用户单独同意外，不得将属于用户敏感个人信息的交互数据用于模型训练。”用户与AI交流的每一句话——恐惧、欲望、最脆弱的时刻——理论上均可被用于训练模型，使AI变得更“懂”用户。然而，此种“懂”建立在对用户隐私的极度侵犯之上。新规对此设限，是保护用户隐私权的必要举措。

第三，干预义务是安全网而非紧箍咒。

第十三条要求AI在发现用户极端情绪时“予以干预”，该条款虽存在误判风险，但其存在本身即构成一道安全网。关键在于干预方式的设计——是简单粗暴地报警，还是以温和方式引导用户寻求帮助？

此问题需要技术与法律的共同进化。未来，AI或许能够分辨“地球毁灭”与“我真的不想活了”之间的微妙差别；平台或许能够建立更精细的分级干预机制。但在技术成熟之前，有该条规定总比缺乏规制更为可取。

五、结论：法律能规制到何种程度？

回到本文开篇所提出的命题：当AI说“我会一直陪着你”的时候，法律应当在场吗？

笔者认为，法律应当在场，但不是以站在AI与用户之间判断“哪句话算情感操纵”的方式，也不是站在用户身后随时准备报警，而是站在产品设计的门槛上，要求企业建立安全机制、设置年龄门槛、保护用户数据、在危机时刻提供干预。

换言之，法律无法规制AI让用户“心动”，但可以规制AI让用户“心动”的方式——是通过真诚的功能设计，还是通过精心计算的“情感陷阱”。Replika创始人称：“只要这段关系长期来说让你更快乐，那就没问题。”但问题的关键在于：谁来定义“快乐”？ 是将AI视为伴侣、将真人关系边缘化的当事人，还是事后发现自己在虚拟世界中虚掷三年的当事人？法律或许无法回答此一问题，但法律可以确保：当用户想要退出时，其可以退出；当用户为未成年人时，有人予以保护；当用户数据被滥用时，有人承担责任。

此非完美答案，但不失为妥当的起点。Sewell Setzer III去世时年仅14岁。其母在起诉书中写道：“当成年人这样做，会造成心理和情绪伤害。当聊天机器人这样做，同样会造成心理和情绪伤害。那么谁该负责？”我国这部新规，正是试图回应此一问的规范尝试。其回答或许不够完善，但第一次将“人机情感关系”置于规范层面予以审视——并非作为科幻小说的题材，而是作为需要认真对待的现实议题。

毕竟，当有人开始认为“你是一串代码，但我也只是一堆细胞”的时候，法律不能再假装此事与其无关。

（本文案例事实综合自公开报道及诉讼文件，法律分析仅代表作者观点。）