上海市委网信办发布公告，总结了“清朗·整治 AI 应用乱象”专项行动首个阶段的成果。
该专项行动第一阶段自 2026 年 4 月下旬启动，旨在解决七大突出问题，包括未履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI 数据投毒、生成合成内容标识不到位、滥用 AI 技术从事违法违规活动以及开源模型安全管理不到位等，并从技术源头加强治理。
为推进此项工作，上海市委网信办于 5 月 13 日召集了包括 AI 平台、互联网内容平台、电商平台、应用商店以及开源社区在内的五类共 17 家重点网站平台，部署了具体要求并指导其完善安全与举报机制。随后的 5 月 15 日，稀宇、千问、小红书、哔哩哔哩、拼多多等重点平台相继发布了治理公告。同时，上海举报中心官网增设了专项举报渠道，截至目前已收到涉及 AI 的违法不良信息举报及 12345 市民反映线索超过 20 件。
在专项行动的第一阶段，上海市委网信办指导这 17 家重点网站平台进行了自查自纠。期间，共清理拦截了涉及去除 AI 标识的工具和教程、数据投毒、未经授权的“换脸拟声”、AI 制谣传谣以及 AI 低俗内容等违法违规信息约 487 万条。此外，还处置了超过 1.8 万个违规账号，下架了约 1.4 万个违规智能体，并处理了 1300 余个违规商品。对于屡次违规的账号，平台采取了分级约束和封禁措施。各平台也依据自身特点展开治理：稀宇持续下架“一键脱衣”、赌球博彩等违规智能体，并打击利用 AI 编写病毒、钓鱼软件等恶意行为；小红书则着力打击 AI 代运营账号，禁止销售去除 AI 标识的商品，并推进与内容制作平台的隐式标识互认；哔哩哔哩在内容发布页面增加了“AI 生成”的必选标签，引导创作者规范发布；魔搭社区则全面清理了低俗等违规数据集，并加强了对开源模型的审核与管理。同时，上海市委网信办还委托 3 家专业机构，对 32 款用户量大、影响力高的 AI 产品进行了专项巡查测试，并对 4 家企业进行了现场检查，重点督促其改进 AI 标识落实不到位、平台安全和审核能力不足等问题。
在协同治理方面，上海市委网信办加强了上海市大模型合规指导服务中心与各区委网信办的合作，开展了 16 场 AI 安全合规培训进街镇活动，旨在提供政策指导和业务受理。同时，对“应备未备”的服务进行了排查和安全评估督导。目前，上海已完成 169 款大模型的备案，以及 183 款调用已备案模型 API 的生成式人工智能应用的登记。在重点领域，浦东软件园举办了“AI 场景落地中的安全挑战和合规赋能”主题沙龙，促进了治理协同。在医疗和政务领域，联合市数据局持续优化政务智能应用测评验证中心，并制定安全规范，同时依托医疗大模型应用检测验证中心保障医疗 AI 应用安全。此外，还联动市市场监管局对头部 GEO 企业进行了调研，探索源头治理方案。
为应对未成年人保护和拟人化 AI 服务规范问题，上海市委网信办围绕即将于 2026 年 7 月 15 日生效的《人工智能拟人化互动服务管理暂行办法》开展了多项准备工作，向近百家重点平台进行了法规宣贯，并指导企业进行合规建设。针对未成年人模式形同虚设、身份核验失效以及不良内容生成等风险，督导企业严格落实未成年人身份核验，防范情感依赖和消费诱导，并对问题突出的个别应用进行了监管执法。
据悉，专项行动的第二阶段将重点关注利用 AI 技术生成“数字泔水”、制作发布虚假信息、传播低俗暴力内容、仿冒他人、侵犯未成年人权益以及从事网络水军等行为，并将持续清理违法不良信息，依法处置违规账号和平台。在此期间，上海市委网信办将通过专项举报入口继续接收公众提供的违规线索。
