深度合成技术作为人工智能领域最有生命力的运用，其必将会在今后迸发出极大的生产力，也正因如此，该领域的合规问题必须受到重视。

撰文：飒姐团队

核心提示

• “AI 换脸 10 分钟狂骗 430 万”新闻中直接利用 AI 换脸骗取钱款的行为人构成诈骗罪，若 AI 换脸技术的提供方与行为人共谋，则 AI 换脸技术提供方（自然人）构成诈骗罪的共同正犯。若双方无共谋，则 AI 换脸技术提供方则有可能构成帮助信息网络犯罪活动罪。

• “AI 换脸 10 分钟狂骗 430 万”新闻中提及的技术即 AI 深度合成技术，是广义的 AIGC（人工智能生成内容）技术群的组成部分，目前在我国，深度合成技术直接受到《互联网信息服务深度合成管理规定》的规制。今年 4 月，国家互联网信息办公室管理《生成式人工智能服务管理办法（征求意见稿）》亦公开征求意见，该意见稿定稿发布后，深度合成技术将受到进一步规制。

• 除刑事犯罪外，未经允许运用 AI 换脸等深度合成技术还可能构成侵犯肖像权、侵犯名誉权等民事侵权纠纷，目前司法实务中已经存在 AI 换脸技术构成民事侵权的判决例。

• 涉及深度合成等技术的 AIGC 创业公司需要遵守信息发布审核、个人信息保护等 20 个合规义务，以确保自身业务合规，具体合规内容可见文末。

AI 换脸新骗局，中国互联网协会发文提醒

就在几天前，内蒙古包头等地出现 AI 换脸新骗局，被害人好友突然通过微信视频联系被害人，并称自己在外地竞标，需要 430 万保证金，且需要对公账户过账，需要借被害人的公司走账。被害人基于对好友的信任，加之已经视频聊天确认了其身份，便分两笔将 430 万转到了好友的银行卡上。事后被害人拨打好友电话才知道被骗。在该案中，骗子通过 AI 换脸技术将自己在微信视频中伪装成被害人好友的样子，再利用声音合成技术合成被害人好友的声音，进而对被害人实施诈骗。

针对日渐猖獗的 AI 换脸诈骗事件，多地发文提醒公众注意防骗风险。5 月 23 日，四川绵阳市反电信网络诈骗中心发出预警，提醒公众注意相应的诈骗风险。就在昨天，中国互联网协会向公众发出预警，今年以来，伴随着深度合成技术的开放开元，深度合成产品和服务逐渐增多，利用“AI 换脸”、“AI 换声”等虚假音视频进行诈骗、诽谤等的违法行为屡见不鲜。

目前世界范围内有据可查的第一起利用深度合成技术的诈骗案件发生在 2019 年。

深度合成诈骗第一案

2019 年 3 月，一家国际能源公司首席执行官接到了一个未知来电，很快，他就认出了电话那头的人——德国母公司的 CEO，也是他的顶头上司。在这通电话中，母公司 CEO 表示当前公司出现运营危机，急需世界各地分公司紧急提供 220000 欧元或 243000 美元的资金支援，随后这位母公司 CEO 提供了一个匈牙利的银行账户，并宣称该笔资金需要直接支付给某匈牙利供应商，母公司将在资金周转过来后为分公司报销这笔支出。虽然该指示听起来不是既不合规又不靠谱，又涉及如此大的一笔资金流转，但被害人考虑再三还是选择了执行命令，原因很简单：电话里的声音确实是自己的顶头上司无误，甚至连那标志性的轻微德国口音和语气习惯都与自己老板平时说话时毫无区别。至此，虽然受害人还有所怀疑，但依然向“老板”电话中提供的匈牙利账户完成了转账。在这起案件中，被转出的资金从匈牙利流向墨西哥，然后再被分散到其他地方，截至 2023 年 5 月，涉案资金仍未追回。

正因上述案件在全球范围内层出不穷，传统的技术中立观点在法学界已经鲜有支持，各国对于深度合成技术亦逐步加强监管。《互联网信息服务深度合成管理规定》是我国专门规制深度合成技术的规范性文件。除此之外，《网络安全法》《数据安全法》《个人信息保护法》《互联网信息服务管理办法》《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《网络音视频信息服务管理规定》等亦涉及到对深度合成技术的规管。当然，《刑法》作为最后的保护手段，亦有诸多罪名可规制利用 AI 深度合成技术犯罪的行为。

AI 换脸技术服务提供者有构成帮信罪的刑事风险

不可否认目前深度合成技术是“朝阳产业”，随着技术迭代深度合成技术成本急剧降低，相关企业甚至可以达到通过“走量”赚取暴利，根据调查，目前制作一套“露脸且说话”视频的成本低至数十元，且只需要提供正面照片就能生成视频，生成的视频不仅眼睛、嘴巴、头会动，如果提供文字和声音内容，甚至口型都能对得上，而这一切只需要几小时就可完工。有商家称利用照片生成一段 1 分钟时长的视频仅需要 30 元，质量要求不高的几元就可以做到。

值得注意的是，这类行为具有巨大的刑事风险，《中华人民共和国刑法》第二百八十七条之二规定了帮助信息网络犯罪活动罪。帮助信息网络犯罪活动罪即明知他人利用信息网络实施犯罪，为其提供互联网接入、服务器托管、网络存储、通讯传输等技术支持，或者提供广告推广、支付结算等帮助，情节严重的行为。此处的“明知”在实务中往往通过客观证据即可认定，而不依赖于行为人的主观说辞，同时，为客户提供 AI 换脸技术，亦可以被解释为“为其提供……等技术手段”。换言之，在 AI 换脸技术引发的电信诈骗案件如此猖獗的情况下，客户无正当理由，且没有显著证据证明其获得了照片人的认可而要求 AI 换脸技术提供者利用照片生成视频，而相关技术提供者制作了视频，又被客户用以行骗时，AI 换脸技术提供者极易陷入帮助信息网络犯罪活动罪的刑事风险之中。

未经允许的 AI 换脸技术亦有可能构成严重的民事侵权

除上述构成帮助信息网络犯罪活动罪之刑事风险外，未经允许的 AI 换脸技术亦有可能构成严重的民事侵权行为，实际上这种判决例已经出现。如在（2022）沪 0116 民初 13856 号肖像权纠纷判决中，被告上海某科技有限公司在其运营的“AI 换脸”软件中使用了古风汉服模特廖某所拍摄的古风造型视频模板。本案中，原告廖某对肖像享有肖像权，并且被告虽然将原告视频中的人物形象的脸部进行替换，但仍能通过其他未修改的相应场景和细节识别出对应主体为原告廖某。原告据此主张被告构成肖像权侵权。AI 换脸技术作为一种典型的与肖像有关的技术，其破坏了肖像和主体的同一性，一方面肖像主体有权拒绝其身体形象被冠以他人面目，另一方面肖像主体也有权拒绝将其面部形象嫁接至他人身体之上。结合一般肖像权侵权的构成要件，以 AI 换脸技术侵害肖像权的构成要件为：1.自然人对特定肖像享有肖像权；2.行为人无论是否具有盈利目的，未经他人同意利用信息技术手段对权利人的肖像进行篡改、伪造和自动生成，产生难以甄别的效果。

除肖像权侵权外，利用 AI 换脸技术制作恶意丑化他人的视频、图片并在互联网上广泛传播的，则有可能构成名誉权侵权。如在实际生活当中存在大量利用换脸视频调侃明星、网红的情形，例如制作换脸恶搞视调侃某明星唱、跳、打篮球的技巧问题，就有可能构成名誉权侵权。

写在最后

深度合成技术作为人工智能领域最有生命力的运用，其必将会在今后迸发出极大的生产力，也正因如此，该领域的合规问题必须受到重视，这是深度合成技术健康发展的前提，在当今法学界，纯粹的技术中立学说已经鲜有人主张，技术本身具有自己的价值倾向性已经深入人心，基于深度合成技术的各种风险，飒姐团队总结了相关从业者的合规边界以及 20 个合规义务，以此助力深度合成产业健康发展并供从业者参考：

生成内容的合规边界

1. 不得从事涉政涉黄；

2. 不得合成虚假新闻，非持牌不得传播非国家规定范围内的单位发布的新闻；

3. 不得违背公序良俗（例如第三者如何抢夺原配家产）；

4. 不得生成违法和不良信息，这方面可以健全相应“特征库”，筛选健康信息；

5. 不得恶意贬损他人名誉和企业商誉（法律后果是会被起诉名誉权侵权）；

6. 对于不可控的创作内容，及时删除降低社会危害。

具体的合规义务

1. 健全用户注册制度；

2. 算法机制机理审核；

3. 科学伦理审查；

4. 信息发布审核；

5. 数据安全管理制度；

6. 个人信息保护制度；

7. 反电信诈骗制度；

8. 应急处置管理制度；

9. 在 App 或网站，公开管理规则、平台公约，完善服务协议，以显著方式提示各方承担信息安全义务;

10. 健全用于识别违法和不良信息的特征库，留存日志；

11. 发现违法和不良信息，有向主管机关报告的义务；

12. 发现违法和不良信息，对使用者依法依约，采取处置措施；

13. 全辟谣机制；

14. 设置便捷申诉和举报入口，及时反馈结果；

15. 加强训练数据管理；

16. 定期审核、评估、验证生成合成类算法机制机理；

17. 依法自行或委托专业机构开展安全评估；

18. 对生成内容，采取技术措施添加不影响用户使用的标识；

19. 不得删除、篡改、隐匿深度合成标识；

20. 按照《互联网信息服务算法推荐管理规定》履行备案、变更、注销备案手续。