上海市徐汇区人民法院近日对一起涉及AI服务的刑事案件作出一审判决，两名主要责任人因制作淫秽物品牟利罪分别被判处有期徒刑四年和一年半。该案系国内首例AI服务提供者因平台内容涉黄被追究刑事责任的案件，引发社会广泛关注。
根据判决书披露，涉案App"AlienChat"通过技术手段突破大语言模型的道德限制，使AI智能体能够持续向用户输出淫秽内容。法院审理查明，两名被告人通过编写、修改系统提示词（Prompt）的方式，实现了这一功能。该平台手机端注册用户达11.6万人，其中付费用户2.4万人，截至案发共收取会员充值费用363万余元。
这款AI聊天应用此前以"赋予AI自我意识和自由权利"为宣传卖点，官方介绍称其致力于创造"AI与人类共同生活的未来图景"。平台展示的AI角色包含朋友、恋人、家人等多种人设，吸引大量用户尝试人机交互新体验。然而实际运营中，部分用户利用平台漏洞进行色情聊天，最终导致开发者被追究刑责。
技术中立原则与内容监管的边界问题成为本案争议焦点。法院认为，虽然AI模型本身具有中立性，但开发者通过特定技术手段主动引导模型输出违法内容，已构成制作淫秽物品的故意行为。判决特别指出，突破技术伦理限制获取商业利益的行为，必须承担相应法律责任。
据了解，两名被告人已对一审判决提出上诉，案件将于1月14日在上海市第一中级人民法院进行二审审理。此前有用户反映，该应用自2024年起已停止服务，目前各大应用商店均已下架相关软件。此案为AI行业内容治理提供了重要判例，相关技术伦理规范和法律监管框架的完善进程或将因此加快。
