在哈利波特的奇幻世界中,报纸上的照片能够动起来的魔法,如今已被现代科技所实现。
看看这位16岁的图灵,他正穿越时空,向你眨眼微笑,神态自然。

曾经沉默的老照片中的美人,如今她那含笑的模样也重新鲜活展现。

这样的全家福,是否让你回忆起某段往昔呢?

这正是本周末国外社交媒体上最火的AI应用,呈现给观众的“魔法”。


连李开复也忍不住尝试了一番……

用户只需在MyHeritage网站上传一张老照片,10到20秒后,AI便能为照片赋予“生命”。
连雕塑也可以轻松处理:

如此自然的效果,让许多网友感叹:“这简直是哈利波特!”

任何足够先进的技术都让人感到如同魔法。
令人惊讶的是,这个风靡一时的MyHeritage其实是一个在线家谱网站。
那么,为何这家公司突然引发热潮呢?
当你访问该网站时,会发现它的核心功能是一个在线家谱平台……

它能帮助用户方便地整理家谱,用户可以在此填写每位家庭成员的信息并上传照片。

MyHeritage成立于2003年,始于以色列。截止2020年,该网站已支持42种语言,全球用户超过5000万,构建了约5200万个家谱……
虽然创始人Gilad Japhet是在一个家庭农场起步,但深入了解其发展历程,你会发现MyHeritage确实是技术前沿的弄潮儿。

例如,早在2006年,MyHeritage便推出了人脸识别功能,能够从照片数据库中识别面部特征,关联个体。
2016年,MyHeritage进一步推出基因检测服务,声称可以帮助用户探索种族起源并找到新亲戚……该服务目前售价为59美元。

据《国家地理杂志》报道,2018年MyHeritage提供了5000份DNA检测工具包,帮助在美墨边境失散的移民家庭团聚。
公开资料显示,到2019年,MyHeritage已成为全球第三大DNA检测公司。
从家谱制作、DNA检测,再到用AI“复活”老照片,这一技术发展路径看似相当合理!(手动狗头)
不仅仅是提高清晰度,还能让照片动起来。
咳咳,理清了背景之后,我们回到技术本身。
虽然MyHeritage未详细披露这款火爆应用的技术细节,但大致可分为两个步骤。
首先,利用超分辨率技术提升照片的清晰度:

接着采用动作迁移技术,将另一个视频中的动作“迁移”至照片中的人物。

超分辨率技术通过降噪和提升分辨率等方法,增加图像清晰度。
这需要生成对抗网络(GAN)的帮助,经过训练的模型可以对低分辨率图像进行重建。
总的来说,GAN能够解决MSE损失函数缺乏高频信息的问题,从而补全图像中的高频细节。

这种方法重建的图像能够展现非常细致的人脸图像,甚至连马赛克人脸也能还原:

不过,这种技术也存在问题,模型在还原时更关注图像风格的相似性,而非像素的相似性(即感知相似)。
因此,即使人物看起来逼真,细节上也可能出现与原图不一致的情况:

当然,清晰化之后,接下来还需要通过动作迁移让照片动起来。
这项技术实时提取视频中的关键点,并将其与照片中的人脸关键点对应。
通过一种名为“骨架”的技术,模型提取视频人物的关键点,并在照片中标记相关关键点。

然后,逐帧将视频人物的动作“迁移”到照片中。
通过这种方式,即使仅有一张照片,照片中的人物也能“开口说话”:

确实接近于“魔法”。
有人感动,也有人忧虑。
除了对“魔法”效果的赞叹,这项技术也引发了不少感动。
在ReddIT上一个热度达到2.9k的讨论中,有网友分享了自己的真实体验:
我试了我父亲的老照片,效果让我感动不已。他在我几个月大时就去世了,这是我第一次看到他动起来,眨眼、微笑……

还有网友提出,如果将此技术与AR结合,放进博物馆,让照片中的人亲自讲述他们的人生故事,那简直是梦幻般的体验。

然而,也有不少网友表示担忧,害怕这样的技术被滥用,比如用于制作不当影片……
尽管MyHeritage强调不会将用户上传的照片提供给任何第三方,并且未完全注册的照片会被自动删除,用户仍对数据泄露表示忧虑。
毕竟MyHeritage曾经遭遇过数据泄露事件……
2018年6月,MyHeritage被发现存在安全漏洞,导致超过9200万用户数据泄露。

这些数据包括用户的电子邮件地址和密码。
尽管MyHeritage声称,用户的家谱、DNA数据和信用卡信息存储在另一系统中,未被泄露,并在漏洞发生当天对用户进行了双重身份验证。
然而,2019年12月,这些泄露的信息却出现在多个非法网站上被出售(而且出售的信息不仅限于电子邮件地址和密码)。
