上海市委网信办近日公布了“清朗·整治AI应用乱象”专项行动第一阶段成果。自专项行动启动以来，上海已累计清理拦截各类违法违规信息超过487万条，处置违规账号1.8万余个，下架违规智能体1.4万余个，并对1300余个违规商品采取处置措施。
此次行动覆盖属地AI平台、互联网内容平台、电商平台、应用商店及开源社区等五类共17家重点网站平台。5月13日，上海召开专项推进会，明确要求各平台自查自纠，加强内容审核与技术治理。5月15日，稀宇、千问、小红书、哔哩哔哩、拼多多等平台陆续发布治理公告，同时上海举报中心官网开通专项举报渠道，截至目前已受理涉AI类违法不良信息举报及市民反映线索20余件。
在第一阶段治理中，各平台针对不同类型违规行为采取差异化措施。稀宇平台重点清理“一键脱衣”、赌球博彩等违规智能体，并打击利用AI编写病毒、钓鱼软件等恶意行为；小红书平台加强AI托管运营账号管理，禁止销售去AI标识商品，并推动与制作平台的隐式标识互认；哔哩哔哩在内容发布环节强化提示，要求用户必须标注“AI生成”标签；魔搭社区则全面清理低俗违规数据集，加强开源模型审核流程。
为确保治理成效，上海市委网信办组织专业机构对32款用户量大、影响力高的AI产品开展巡查测试，并赴4家企业进行现场检查，针对AI标识落实不到位、平台安全审核能力不足等问题督促整改。截至目前，上海已完成169款大模型备案工作，同时登记183款调用已备案模型的生成式人工智能应用。
针对医疗、政务等重点领域，上海坚持“先测评后上线”原则，联合市数据局优化政务智能应用测评验证中心，协同市卫健委依托医疗大模型检测中心保障应用安全。即将于2026年7月15日施行的《人工智能拟人化互动服务管理暂行办法》已进入实施准备阶段，网信办已向近百家重点平台开展法规宣贯，要求企业严格落实未成年人身份核验机制，防范情感依赖与消费诱导风险，并对问题突出的应用依法开展监管执法。
据介绍，专项行动第二阶段将重点整治利用AI技术生成低质内容、传播虚假信息、散布暴力低俗内容、仿冒他人身份、侵害未成年人权益及组织网络水军等突出问题，持续净化AI应用生态。
