技术的进步不是违法犯罪的挡箭牌。近日，浙江省余姚市人民法院审结一起利用生成式人工智能制作淫秽物品牟利案件，被告人郑某等人将AI模型“训练”为专门输出淫秽物品的犯罪工具，为用户输出淫秽内容提供技术条件，构成制作淫秽物品牟利罪。该案的判决为生成式人工智能服务提供者的行为划定了清晰的司法边界。

被告人郑某曾是国内一家游戏大厂AI领域的程序员。2024年7月，他接触到境外一款AI色聊机器人后，萌生开发同类软件非法牟利的想法，随后邀请同事谢某及网上结识的闫某等六人共同组建研发团队。

2025年1月，郑某等人研发的生成式人工智能模型在境外平台上线运营，并接入“第四方支付”、虚拟币、TGstar代币等多种充值渠道向用户收取费用。

郑某等人通过技术手段对基础模型实施“越狱”，突破了大模型内置的色情内容安全限制。用户充值付费后，可在该模型中选定角色卡，与AI进行色情聊天，在消耗不同积分后，聊天内容可进一步生成不同尺度的淫秽静、动态图片。

2025年7月，公安机关发现违法犯罪线索后立案侦查。同年9月，郑某等六名被告人全部被抓获归案。

经核查，涉案AI模型运营期间，应用户需求共生成静态图片37万余张、动态图片6000余张，收取用户充值金额两万四千美元，折合人民币17万余元。经鉴定，随机抽取的12500张静态图片和全量动态图片中，有9000多张静态图片、5000多张动态图片被认定为淫秽物品。

庭审中，控辩双方围绕核心争议展开交锋——郑某等生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制输出淫秽内容，是否属于“制作淫秽物品”？

被告人辩称用户存在选择角色、输入特定指令的操作，内容系用户主动触发产生，不应归责于开发者。

法院审理认为，被告人郑某等六人使用提示词工程，不断编写、修改系统提示词，并通过设置角色卡和对话场景等手段，持续试探并突破AI模型伦理与安全限制，使其违背原有安全设计，在用户指令触发下自动生成淫秽内容。这一系列行为的实质，是被告人主动将AI模型从通用工具“训练”为专门输出淫秽物品的犯罪工具。

法院指出，用户虽存在选择角色、输入特定指令的操作，但其行为均被限定在被告人预先搭建的技术框架内，被告人对AI模型的内容输出具有实质性控制能力，行为与淫秽内容产生之间存在刑法上的直接因果关系。因此，生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制输出淫秽内容，应认定为“制作淫秽物品”的行为。

综合考虑犯罪事实、情节、认罪悔罪态度及对社会的危害程度等情形，法院分别判处被告人郑某等六人有期徒刑三年一个月至三年十个月不等，并处罚金。一审判决后，当事人均未提起上诉。目前，判决已经生效。

法官：技术中立≠无罪

这是一起典型的AI技术被滥用实施犯罪的案件，既暴露出生成式人工智能快速发展背后潜藏的刑事风险，也为人工智能产业划定不可逾越的刑事法律红线。

法官表示，技术中立从来不是违法犯罪的挡箭牌，不能以内容由AI生成，就否定了开发者的“制作者”身份。开发者主动篡改模型的安全机制，搭建便于产出淫秽内容的技术环境，对违法内容的生成具备实质性的控制力。虽然这个内容是应用户要求生成的，但开发者仍属于刑法意义上淫秽物品的“制作者”，应当承担相应的刑事责任。

法官提醒，提示生成式人工智能服务提供者，在追求商业利益的同时，必须严守法律底线和科技伦理，主动履行内容安全管理义务。任何试图利用技术手段规避监管、突破法律红线的行为，都将受到法律的严肃惩处。此类案件的审理，向社会传递了明确信号：技术中立不等于技术无罪，算法不是法外之地。

9月7日，《最高人民法院关于依法审理涉人工智能纠纷案件的意见》正式发布，明确规定利用人工智能实施诈骗、侮辱、诽谤、损害商业信誉、商品声誉、侵犯公民个人信息、非法获取计算机信息系统数据以及制作、贩卖、传播淫秽物品等行为，构成犯罪的，依法追究刑事责任。