雷军靳东等发声，聚焦AI换脸拟声监管难题

本文聚焦AI在音视频领域的技术滥用、侵权现象。通过两会代表委员的吐槽引出问题，以南都大数据研究院的调查为线索，揭示了AI换脸拟声应用存在的安全风险、不良内容生成等问题，以及相关应用“换壳复活”的情况，最后介绍了即将施行的新规及各方对于AI生成合成内容治理的建议。

在今年全国两会期间，AI在音视频领域的技术滥用与侵权现象再度引发广泛关注。雷军、靳东等代表委员纷纷“吐槽”，雷军指出“AI换脸拟声”不当滥用已成为违法侵权行为的重灾区，易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为，这对构建“以人为本、智能向善”的人工智能发展生态极为不利。靳东也表示，一些喜欢他影视剧的观众被AI换脸视频骗得很惨，这种情况性质恶劣，希望能建立更好的规则。

南都大数据研究院此前就对“AI换脸拟声”问题展开了深入调查。他们发现，部分AI应用在声音克隆方面毫无限制，对于含有辱骂、诋毁、涉黄、涉暴等不良内容的文本，这些应用都能完整清晰地读出，而且对用户不当的语音生成缺乏有效的监测及警示。其中，“Reecho睿声”应用就是典型代表。该应用在用户上传一段5 – 25秒的音频文件作为训练素材后，AI仅需数分钟就能自动学习并生成一个克隆角色，按照用户要求念出任意文本内容。即便用户输入的是含有恶劣内容的文本，AI也能清晰完整地读出。更严重的是，用户无需提供版权证明或合规承诺，便可将训练成功的人声模型公开分享给其他用户随意使用。像“周杰伦”“郭德纲”“刘亦菲”、已故球星“科比”、已故主持人“罗京”等知名人士的声音模型都被公开分享，大量“雷军AI配音”恶搞视频也是通过该应用生成并广泛传播的。

大量“雷军骂人”恶搞音视频引发关注以及媒体曝光后，“Reecho睿声”被指出存在安全风险、未依法履行生成式人工智能服务备案义务等问题，于2024年11月下线，对外称“站点升级维护”。然而，南都大数据研究院监测发现，今年2月，一家名为“香港流星科技有限公司”的企业上线了名为“Vocu.ai”的应用。该企业通过“Reecho睿声”在社交平台上的频道页面发布公告，声称从“Reecho睿声”的开发者“言域科技”处获得了AI音频相关的技术授权，提供与“Reecho睿声”相同的人声克隆服务。

尽管“香港流星科技有限公司”声称“言域科技”不参与“Vocu.ai”的任何运营或管理事务，但实际情况却并非如此。用户仍可使用此前在“言域科技”注册的账户登录“Vocu.ai”，并继续消费账户中的充值点数。同时，“Vocu.ai”的功能服务、页面设计等均与“Reecho睿声”无异，部分页面还保留了大量“Reecho睿声”内的用户评论内容。而且，“Vocu.ai”对用户不合理语音生成需求的监测或警示依然严重不足。南都记者实测发现，“Vocu.ai”依然允许用户随意生成知名人士的声音克隆模型并公开分享，“雷军”“周杰伦”等声音可通过该应用被随意使用。在测评中，随机选择一个声音克隆模型后，分别输入带有明显辱骂、诋毁词汇，性暗示内容的文本，AI均顺利生成以该声音朗读文本的音频文件，与真人声音十分接近。此外，“Vocu.ai”并未公开其运营企业的具体地址和联系方式，其“在线客服”只是一个AI对话助手。在“Reecho睿声”相关公告的评论区内，不少网民都认为“Vocu.ai”正是“Reecho睿声”的“复活版”，但自称“香港流星科技有限公司运营负责人Sam”的账号未对相关评论作出回应，“Reecho睿声”的官方社交群组也处于全员禁言状态。

事实上，雷军、靳东本人都是“AI换脸拟声”的受害者。2024年国庆期间，网络上大量出现“雷军AI配音”的相关恶搞视频；“AI真假靳东”也曾在网上引发热议，一些账号仿冒靳东吸引粉丝，从中谋取不正当利益。此外，许多公众人物如医学专家张文宏、影视明星刘德华等也为此困扰，并在不同场合呼吁过对“AI换脸拟声”加强监管。

为规范AI生成式内容，深化网络生态治理，近年来相关部门出台了《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等一系列政策和措施。但目前“AI换脸拟声”的有关规定，尚有待明晰。雷军指出，当受害者试图起诉侵权者、循法律途径维权时，只能依靠关于隐私权、肖像权、名誉权等的零散法条，且难以量化损失。他建议，应当加快单行法立法进程；强化行业自律共治，压实平台企业等各方的责任和义务；加大普法宣传的广度和力度，增强民众的警惕性和鉴别力。全国人大代表，美的集团党委副书记、集团副总裁兼首席财务官钟铮也建议，一是完善法律法规体系，加强原创版权和隐私保护；二是探索利用AI技术审核AI合成的视频内容，确保视频传播内容审核的效率与准确性；三是进一步加强行业自律与政府监管，对违法违规行为进行严厉惩治，督促行业健康发展。

南都大数据研究院留意到，近日，国家网信办等四部门联合印发《人工智能生成合成内容标识办法》，要求服务提供者利用人工智能技术生成合成文本、图片、音频、视频、虚拟场景等信息时，在生成合成内容或者交互场景界面中添加显式标识，在生成合成内容的文件元数据中添加隐式标识。新规将于今年9月1日起施行。对于AI生成合成内容治理，北京中银律师事务所高级合伙人杨保全表示，必须用法律为其套上缰绳，让技术在合法合规的轨道上运行，更好地造福社会。北京航空航天大学法学院副教授赵精武也表示，法律并不是禁止使用AI合成技术，而是禁止不合法不合理的使用，尤其是禁止不进行任何显著标识和提示的AI合成信息的发布和传播。

本文围绕AI换脸拟声技术的滥用与侵权现象展开，通过两会代表的发声、研究院的调查以及具体应用案例，揭示了该技术在使用过程中存在的诸多问题，如安全风险、不良内容生成、应用“换壳复活”等。同时，也介绍了各方对于规范AI生成合成内容的建议和即将施行的新规。整体反映出当前AI换脸拟声领域乱象丛生，亟待完善法律监管和加强行业自律，以保障公民权益和推动AI技术健康发展。