视觉特效师与GAN的结合，创造出更加出色的动画效果。
这位特效师使用了海外版抖音上热播的Bella Poarch视频，生成了奥巴马的TikTok动画：
动画效果不仅逼真，表情也非常生动，GAN生成的人物避免了意外“脱模”的情况。
他一接触AI，就被其在艺术创作中的潜力所吸引——通过GAN将视频中的人物动画化，仅需几分钟。
而传统动画制作软件则可能需要动画师耗费数周的时间。
然而，他很快意识到，现有的AI人脸动画化模型生成的卡通形象质量欠佳。
如下图所示，之前使用AI将安倍晋三动画化后，卡通人物的肤色显得不太自然：
△动画化后显得有些怪异
因此，他决定亲自动手，优化现有的GAN模型。
效果令人惊艳！
不仅是给真实的人脸加上了美颜特效，卡通形象的逼真程度甚至可以与迪士尼的主角媲美：
连奥巴马都显得“返老还童”，看起来比美颜还要年轻。
更令人惊喜的是，任何人都可以轻松控制这些卡通人物的表情，包括提前录制的视频。
那么，这样的动画效果究竟是如何实现的呢？
迁移学习的应用
这位特效师选择了一种特别的方法来制作卡通人物。
他利用迁移学习生成了一个7×6的表格，根据迁移学习的强度来创建不同风格的人脸。
也就是说，迁移学习强度越大，人物形象就越接近卡通化；反之，强度越小，则更接近真实形象。
可以看到，图像越靠左下角，人物越真实；而越靠右上角，卡通化程度越高。
这样既保留了人物特征，又让卡通形象显得更加真实。
AI还能根据“客户需求”，识别出更适合的人物，并进行数据训练。
连尤金老爷子的形象都显得年轻了不少，甚至带有《飞屋环游记》中老爷爷的慈祥气息。
在这一过程中，特效师利用GAN来生成卡通人物的形象。
实现“性别转换”和年龄变化
他所采用的基础模型是由JUStin Pinkney和DoRon AdleR开发的styleGAN2 FFHQ（NVIDIA的模型），主要基于DeepAI进行实现。
styleGAN的工作原理在于去掉输入层，添加了一个非线性映射网络。
此外，它引入了一种称为style-based generator的生成器，能够控制生成图像的高层级属性，例如发型、雀斑等。
同时，styleGAN自带一个开源数据集FFHQ，包含多种人脸数据。
这位特效师对styleGAN2 FFHQ进行了微调。
通过GAN生成的人物形象，不仅能够卡通化，还可以实现图像的样式化，生成风格相似的人物表情和特征。
不仅可爱的孩子能够被卡通化，还能根据眉毛和面部特征构建女孩的面部形象：
如果人物“长大”了，模式化的女孩面部也会显得更加成熟：
目前，这款软件尚未开源，因为这位特效师对自己的动画效果仍有改进的空间。
不过，网友们似乎已迫不及待。
一些热爱二次元的网友表示，希望这样的工具能够将所有漫画转化为动画。
也有网友表示，这款工具已经非常出色，不知作者在作品满意后是否会开源。
期待这位视觉特效师能够实现目标，开源这份模型代码。
作者介绍
Nathan Shipley是一位视觉特效师、动态图形艺术家和创意技术人员，目前专注于AI生成艺术的研究。
此外，他曾在2019年为佛罗里达州圣彼得堡的达利博物馆“复活”了超现实主义画家Salvador Dali。
对Dali作品感兴趣的观众，只需按下按钮，便能看到屏幕中的Dali与观众“打招呼”，表现得非常生动。
如对他的艺术作品感兴趣，可以访问以下主页。
Nathan Shipley主页地址：
http://www.nathanshipley.com/gan
