互联网资讯 / 人工智能 · 2023年11月4日 0

你是唯一被AI深度伪造的人

自从深度伪造技术出现后,人们再也无法完全相信“眼见为实”了。

虽然将朱茵的脸换成杨幂,或把海王的面孔换成徐锦江,让人觉得幽默,但若公众人物被深度伪造出来发表不当言论或行为,这就令人不寒而栗。

为了保护社会的安全与稳定,阿里安全图灵实验室也开始致力于打击深度伪造技术。他们研发了深度伪造检测算法S-MIL,只要视频中有一个人脸被替换,就能够准确识别。

你是唯一被AI深度伪造的人

为了解决这一问题,阿里安全图灵实验室的研究人员提出了基于多实例学习的ShaRp-MIL(S-MIL)方法,通过视频级别的标注来检测深度伪造作品。其核心理念是,只要视频中存在被篡改的人脸,该视频便被认定为深度伪造视频,这与多实例学习的思想相一致。

你是唯一被AI深度伪造的人

该算法主要由三个关键部分构成。

首先,对输入视频中的采样帧进行人脸检测,并将提取的人脸图像输入CNN,以获取特征作为实例。实例之间相互独立,与传统多实例学习设定相同。

你是唯一被AI深度伪造的人

为了实现这一目标,研究人员设计了时空实例,以刻画帧间的一致性,从而辅助深度伪造检测。具体而言,他们使用文本分类中常用的1-d卷积,采用不同大小的卷积核对输入的人脸序列进行多角度编码,以获得时空实例,最终用于检测。

你是唯一被AI深度伪造的人

其中,pi和p(i)^(j)分别表示第i个包及其包内第j个实例的正类概率;M为包内的实例数量;w是网络参数;h(i)^(j)是包i中第j个实例对应的特征。

你是唯一被AI深度伪造的人

由于现有的带帧标签的数据集中,同一视频包含真假人脸的样本较为稀少,研究人员还构建了部分攻击数据集FFPMS。该数据集共包含14000帧,涵盖4种类型的伪造视频(DF、F2F、FS、NT)及原始视频,既有帧级标签,又包含视频级标签。

你是唯一被AI深度伪造的人

实验结果表明,假面孔的权重较高,说明该方法在仅需视频级别标签的情况下,能够有效定位假面孔,具备一定的可解释性:

你是唯一被AI深度伪造的人

你是唯一被AI深度伪造的人

你是唯一被AI深度伪造的人