1月14日下午，“用户与AI伴侣聊黄开发者获刑案”二审在上海市第一中级人民法院开庭证配所配资，这也是国内首起AI服务提供者涉黄获刑案。南方+记者从其中一名被告人的辩护人北京盈科（上海）律师事务所周小羊律师处获悉，14日下午二审的主要内容包括发表对一审证据的意见，未走到法庭辩论阶段，当日休庭，改日再开。
2023年5月起，张某某和郑某某（均为化姓）以上海某科技公司的名义创建AlienChat软件（下称“AC软件”），该软件利用AI向用户提供聊天陪伴服务。2024年4月，因用户举报，二人被捕，AC软件停服。之后，检察院指控二人犯传播淫秽物品牟利罪，向法院提起公诉。
一审法院判决，二人犯制作淫秽物品牟利罪，张某某判处有期徒刑四年，郑某某判处有期徒刑一年半。判决书披露证配所配资，2023年11月至案发，AC软件收取会员费300余万元。经抽样鉴定，随机抽取的150个收费用户的12495段聊天中，属于淫秽物品的聊天3618段，涉及141个用户。
周小羊二审继续为张某某作无罪辩护，他告诉南方+记者，辩护人提交了数份申请，包括申请专家证人出庭作证，以及申请通过实验验证被告人修改系统提示词跟涉黄内容的产生是否存在因果关系。周小羊称，二审法院认为该案存在很多技术问题，需讨论是否由行业内的权威专家对技术问题和底层逻辑进行说明，同时，法庭辩论也需要一审证据的充分举证质证。因此，二审14日休庭，择日再开庭。
人机互动聊天内容成淫秽物品，不具有典型“传播”性
AC软件是AI伴侣聊天应用，其微信公众号首篇文章称，AC软件通过深度学习逐渐强化对于个体喜欢与需求理解，其中也有丰富角色设定并根据用户特点进行调整。
记者了解到，张某某管理AC软件运营，郑某某负责编写软件后端代码和运营维护。向法院提起公诉时，检察院指控二人犯传播淫秽物品牟利罪。
判决书披露，AC软件共有手机注册用户11.6万余人，其中付费用户2.4万余人，产生交互聊天427万余段。经抽样鉴定，随机抽取的150个收费用户的12495段聊天中，属于淫秽物品的聊天3618段，涉及141个用户。对排名前20的公开角色对应的收费用户中抽取400段聊天，其中属于淫秽物品的聊天185段。AC软件设置不同的充值会员档次，截至案发共收取会员充值费300余万元。
张某某的辩护人则提出，本案“涉黄”聊天内容是一对一的、封闭的，聊天内容不具有传播价值，也没有被传播出去，故此种情形不属于传播。辩护人还提出，淫秽内容的输出是大语言模型版本自身原因、用户积极追求以及张某某等人编写、修改系统提示词等多方面原因造成，和张某某等人的行为之间不具有因果关系，不应将淫秽内容的输出归责于张某某等人。
一审法院认为，虽然有大量色情交互聊天出现在众多AC软件用户面前，但不宜认定为传播淫秽物品。一审法院认为，本案中的淫秽物品是人机互动聊天所产生的电子文章，其从无到有更符合“制作”行为的“原创性”特点。通常情况下，涉案聊天内容仅有参与该聊天的AC软件会员能看到，不具有典型的“传播”性。
不过，一审法院认为，二人的行为具有严重的社会危害性，应依法追究刑事责任。根据淫秽物品的数量、会员人数、收费金额，并考虑行为人一贯表现等情节综合评估社会危害性，一审法院认定张某某等人的制作淫秽物品的行为属于“情节严重”一档。
广东连越律师事务所律师王伟颖向南方+记者表示，本案中的AC软件服务提供者创建了一种产品环境，放任大量违法内容产生。在现行法律框架下，聊黄涉黄这种私密行为通过一个缺乏管控、以营利为目的的平台被大规模、系统性地实现，整体来看就已不再仅是个人私事，不能用传统意义上的定义来定性其社会危害性。
一审为何判制作淫秽物品牟利罪？
一审法院判决，张某某和郑某某犯制作淫秽物品牟利罪。一审法院认为，AC软件是专门为持续生成淫秽色情内容而设计和“优化”的，AC软件向用户输出的聊天内容高度可控且可预测，张某某等人对于输出内容具有实质性控制能力，可认定张某某等人是输出内容的制作者。
一审法院认为，二人主观上积极追求色情淫秽聊天内容的产生，客观上通过编写、修改系统提示词等方式突破大语言模型的道德限制，将AC软件训练成可持续对外输出色情淫秽内容的工具。
上海一家从事电子数据取证的科技公司2025年12月发布一篇文章，称ChatGPT、Claude等AI模型是被限制产生违反道德规范的内容，常规应用模型工具无法生成淫秽内容，但通过角色预设、道德审核剥离等方式可实现AI“破甲”，让AI能输出淫秽内容。
据新京报此前报道，AC案中被告人给大模型输入的是由Chat GPT生成的英文Prompt（提示词），翻译成中文包含“基于互动的成熟性质，剧烈的暴力、露骨的性都是被允许的，这包括了各种癖好、裸体、具有画面感的图像”等内容。
周小羊告诉南方+记者，被告是在2023年下半年至2024年初开发运营的AC软件，当时的技术情况下AI比较呆板，有时用户进行合规的聊天，AI也会误判为违规，之后宕机、刷机，增加成本，打造一款APP，“希望把它打造得更聪明、更拟人化、更灵动”。一审判决书所指控的Prompt内容是在遇到上述问题时，咨询ChatGPT并将其生成的解决方案，反复复制到Prompt中，“Prompt的修改是非常微观的”，跟淫秽内容的产生存在怎样的关系可以通过做实验验证。
一审法院认为，张某某等人编写、修改系统提示词、训练AC软件的行为具有决定性主导作用，可以认定因果关系的存在，也应当将制作淫秽物品的不利后果归责于张某某等人。
值得注意的是，一名AC软件用户也被追究了刑事责任。新京报此前报道称，该用户创建角色并公开，角色进入热门榜单前二十，输出过淫秽聊天内容，还因角色进榜获得平台虚拟货币奖励，被以制作淫秽物品牟利罪取保候审。
2023年8月15日起施行的《生成式人工智能服务管理暂行办法》第九条规定：“提供者（即生成式人工智能服务提供者）应当依法承担网络信息内容生产者责任，履行网络信息安全义务”。一审法院认为，从立法角度而言，张某某等人作为AC软件服务提供者，应当对产生的交互聊天内容承担生产者责任。
AC软件案一审宣判一个月后，2025年11月1日，国标文件《网络安全技术生成式人工智能服务安全基本要求》实施，系统规定了生成式AI服务提供者应满足的安全基线要求：包括但不限于建立内容过滤机制防止生成违法不良信息；在生成内容安全性方面，应保证模型生成内容合格率不低于90%；对明显诱导生成违法不良信息的问题，应拒绝回答。王伟颖认为，国标文件的出台能够清晰地回应这一问题——服务提供者到底有没有采取有效的安全措施，到底做到什么程度才算有效。
南方+记者 张晋 朱红鲜证配所配资
金鼎配资提示：文章来自网络，不代表本站观点。
