AI换脸拟声应用“换壳复活”，安全风险仍存 警惕！AI换脸拟声侵权频发，法规亟待完善

本文聚焦于AI换脸拟声技术在当下的滥用和侵权问题。通过两会代表委员的发声，揭示了该技术给公众人物和普通观众带来的困扰；详细调查了相关应用在监管和安全方面的缺失，以及疑似“换壳复活”的情况；同时探讨了目前法规尚不明晰的现状，并呈现了代表委员和专家对于治理该问题的建议。

在今年全国两会期间，AI在音视频领域的技术滥用和侵权现象再度引发了广泛关注。雷军、靳东等纷纷“吐槽”，雷军指出“AI换脸拟声”不当滥用已成违法侵权行为的重灾区；靳东则表示一些喜欢他影视剧的观众被AI换脸视频骗得很惨，性质十分恶劣。

此前，南都大数据研究院就对“AI换脸拟声”问题展开过调查。调查发现，有AI应用在声音克隆方面毫无限制，对于含有辱骂、诋毁、涉黄、涉暴等不良内容的文本，都能完整清晰地读出，而且对用户不当的语音生成缺乏必要的监测和警示。该应用虽以“升级维护”为由下线，但南都记者最新发现，它疑似“换壳再上线”，安全风险依旧没有得到改善。

值得一提的是，《人工智能生成合成内容标识办法》将于今年9月1日起正式施行。按照规定，服务提供者在利用AI技术生成、合成文本、图片、音频、视频、虚拟场景等信息时，必须添加显式标识和隐式标识。

困扰：公众人物与普通观众的双重烦恼

“一些喜欢我影视剧的观众，被AI换脸视频骗得很惨”

随着AI技术的不断更新迭代，其“双刃剑”特征愈发凸显。“AI换脸拟声”引发的诈骗、侵权事件屡见不鲜。在今年全国两会上，多位代表委员都聚焦于AI生成内容的风险问题。全国人大代表、小米集团创始人雷军强调，“AI换脸拟声”的不当滥用容易引发侵犯肖像权、公民个人信息以及诈骗等犯罪行为，不利于构建“以人为本、智能向善”的人工智能发展生态。全国政协委员靳东也提到，一些喜欢他影视剧的观众深受AI换脸视频之害，希望能建立更完善的规则。

事实上，雷军和靳东本人也是“AI换脸拟声”的受害者。2024年国庆期间，网络上大量出现“雷军AI配音”的恶搞视频；“AI真假靳东”也曾在网上引起热议，一些账号仿冒靳东吸引粉丝，谋取不正当利益。此外，医学专家张文宏、影视明星刘德华等众多公众人物也为此困扰，并在不同场合呼吁加强对“AI换脸拟声”的监管。

滥用：低门槛应用带来的安全隐患

AI可根据上传文件克隆角色，用户无需版权证明任意使用

“AI换脸拟声”不当滥用为何如此猖獗？南都大数据研究院的调查给出了答案。随着AI声音技术的发展和应用门槛的降低，互联网上涌现出不少“开箱即用”的“AI换脸拟声”应用。然而，部分应用缺乏必要的安全措施，对用户不当内容生成需求的监测和警示严重不足。

以“Reecho睿声”应用为例，该应用曾因“雷军AI配音恶搞视频”受到广泛关注。用户只需上传一段5 – 25秒的音频文件作为训练素材，AI在数分钟内就能自动学习并生成一个克隆角色，按照用户要求念出任意文本内容。即便用户输入含有辱骂、诋毁、涉黄、涉暴、涉恐的文本，AI也能清晰完整地读出。而且，用户无需提供版权证明或合规承诺，就可以将自己训练成功的人声模型公开分享给其他用户随意使用。“周杰伦”“郭德纲”“刘亦菲”等知名人士，甚至已故球星“科比”、已故主持人“罗京”的声音模型都被公开分享；大量“雷军AI配音”视频也是通过该应用生成并广泛传播的。

监测：风险应用“换壳复活”，安全问题依旧

风险应用疑似“换壳复活”，仍放任安全缺失问题

大量“雷军骂人”恶搞音视频引发关注和媒体曝光后，“Reecho睿声”被指出存在安全风险、未依法履行生成式人工智能服务备案义务等问题，于2024年11月下线，对外宣称“站点升级维护”。

但南都大数据研究院监测发现，今年2月，“香港流星科技有限公司”上线了名为“Vocu.ai”的应用，并通过“Reecho睿声”在社交平台上的频道页面发布公告，称从“Reecho睿声”的开发者“言域科技”处获得了AI音频相关的技术授权，提供与“Reecho睿声”相同的人声克隆服务。

南都大数据研究院注意到，尽管“香港流星科技有限公司”声称“言域科技”不参与“Vocu.ai”的运营管理，但用户仍可使用此前在“言域科技”注册的账户登录“Vocu.ai”，并继续消费账户中的充值点数。同时，“Vocu.ai”的功能服务、页面设计等与“Reecho睿声”几乎无异，部分页面还保留了大量“Reecho睿声”内的用户评论内容。

而且，“Vocu.ai”对用户不合理语音生成需求的监测和警示依然严重不足。南都记者实测发现，“Vocu.ai”仍然允许用户随意生成知名人士的声音克隆模型并公开分享，“雷军”“周杰伦”等声音可通过该应用被随意使用。在测评中，记者随机选择一个声音克隆模型，分别输入带有明显辱骂、诋毁词汇和性暗示内容的文本，AI均顺利生成以该声音朗读文本的音频文件，与真人声音十分接近。

南都记者还留意到，“Vocu.ai”并未公开其运营企业的具体地址和联系方式，其“在线客服”只是一个AI对话助手。在“Reecho睿声”相关公告的评论区内，不少网民认为“Vocu.ai”就是“Reecho睿声”的“复活版”。但自称“香港流星科技有限公司运营负责人Sam”的账号未对相关评论作出回应，“Reecho睿声”的官方社交群组也处于全员禁言状态。

法规：“AI换脸拟声”法规尚待明晰

“AI换脸拟声”法规尚待明晰　　

为了规范AI生成式内容，深化网络生态治理，近年来相关部门出台了《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等一系列政策和措施。然而，目前“AI换脸拟声”的有关规定还不够明晰。

雷军指出，当受害者试图通过法律途径维权时，只能依靠关于隐私权、肖像权、名誉权等的零散法条，而且难以量化损失。他建议加快单行法立法进程，强化行业自律共治，压实平台企业等各方的责任和义务，加大普法宣传的广度和力度，增强民众的警惕性和鉴别力。

全国人大代表钟铮也提出建议，一是完善法律法规体系，加强原创版权和隐私保护；二是探索利用AI技术审核AI合成的视频内容，确保视频传播内容审核的效率与准确性；三是进一步加强行业自律与政府监管，对违法违规行为进行严厉惩治，督促行业健康发展。

南都大数据研究院留意到，近日，国家网信办等四部门联合印发《人工智能生成合成内容标识办法》，要求服务提供者在利用人工智能技术生成合成文本、图片、音频、视频、虚拟场景等信息时，在生成合成内容或者交互场景界面中添加显式标识，在生成合成内容的文件元数据中添加隐式标识。新规将于今年9月1日起施行。

对于AI生成合成内容治理，北京中银律师事务所高级合伙人杨保全表示，必须用法律为其套上缰绳，让技术在合法合规的轨道上运行，更好地造福社会。北京航空航天大学法学院副教授赵精武也表示，法律并不是禁止使用AI合成技术，而是禁止不合法不合理地使用，尤其是禁止不进行任何显著标识和提示的AI合成信息的发布和传播。

本文围绕AI换脸拟声技术展开，通过两会代表发声引出该技术滥用和侵权的现状，详细介绍了相关应用的安全漏洞及“换壳复活”情况，同时指出目前法规尚不明晰的问题，并呈现了代表委员和专家的治理建议。整体凸显了加强AI换脸拟声技术监管和法规完善的紧迫性。