4月18日，女演员张馨予在社交平台发文，透露有商家利用AI技术伪造其声音，进行减肥药的销售，引起了广泛关注。评论区涌现出不少网友表示，自己也曾看到过类似的视频，若不仔细辨认，很容易被误导。AI技术深度合成音视频的侵权问题，愈发严重。
与此同时，互联网上充斥着大量没有来源、却包含细节信息的虚假内容，比如“《哪吒2》员工愿意996是因为公司在成都有分房子”、“梁文峰首次回应DeepSeek走红”、“80后死亡率突破5.2%”等，这些信息看似真实，但经过仔细查证，往往会发现其中存在明显的事实错误。
根据公开资料，除了张馨予，其他不少明星也成为了AI伪造视频的素材。比如，3月3日，演员刘晓庆在社交平台发文称，有人在视频号通过AI生成的视频冒充她。刘晓庆感到十分震惊，表示：“天哪，我点进去看了一下，画面是我，声音很像我，但不是我！大家以后不会搞不清楚哪个才是真的我了吧？”并提醒大家，她在各个平台都叫刘晓庆。
展开剩余75%公安部网安局于3月14日发布消息称，3月10日，关于“顶流明星在澳门输了10亿”的谣言在网络平台传播，引发网友热议。经调查，警方发现，36岁的网民徐某强为谋取流量和非法利益，使用某AI软件合成并发布了这则虚假信息，迅速引发了广泛讨论并频繁登上热搜。该事件严重扰乱了公共秩序。
为应对“AI谣言”，多家平台已采取措施。微博于3月11日宣布，针对未标识的AI生成内容启动治理。具体措施包括，若账号发布的单条内容由AI生成且未主动标识，微博将加上提示“疑似由AI生成”；如果多个内容未标识，将限制其流量分发；如果造成恶劣影响，则会禁言或封号。此外，微博还要求用户在发布内容时，点击“内容声明”并选择“内容由AI生成”，以便明确标示AI生成的内容。
不仅微博，抖音、快手、微信、小红书和哔哩哔哩等国内大型社交平台也开始要求用户在上传内容时明确声明其是否由AI生成。
近年来，“AI内容农场”的产业链问题也屡屡曝光。2024年4月，陕西西安警方揭露一起AI造谣案件，涉案人员通过AI写作软件将社会新闻重组并生成大量内容，每日产量达到19万篇，最终通过6000多个自媒体账号传播，获取流量分成。2024年1月，南昌一家MCN机构因编造虚假事件被调查，警方评估显示该机构运营的账号数量庞大，每天能生成4000至7000篇AI文章，几乎无需人工参与，预计每天收入超过1万元。
为了解决“深度伪造”和“信息污染”等问题，国内监管机构正在推动为AI生成内容加上标识。根据《生成式人工智能服务管理暂行办法》和《人工智能生成合成内容标识办法（征求意见稿）》的规定，不仅是AI服务提供者，社交平台也必须标识AI生成的内容，以便区分真实内容和AI生成内容。2025年2月，中央网信办发布的“清朗”行动通知也明确指出，将重点整治AI技术滥用现象，强化生成合成内容标识。
在此背景下，雷军，小米集团创始人兼CEO，也于今年3月提出加强“AI换脸拟声”违法侵权治理的建议。他公开表示，随着AI技术的快速发展，换脸、拟声等技术已成为违法的重灾区，个人的脸和声音可以轻易被用来制作各种虚假视频，而他自己也曾成为AI换脸拟声的“受害者”。
-END-
编辑|谢欣
校对|廖静文、蔡诗妍、王河峰、魏实金
审校|朱威
监制|余治国
信息来源|21世纪经济报道、封面新闻
发布于：山东省