AI简笔画的表现究竟如何?
以下是一张美国演员RaMi Malek的照片,AI生成的效果呈现如下。

可以说与原图非常接近。
接下来,我们看看输入《老友记》中合影的结果。

尽管人物较多,生成的简笔画依然能够清晰辨识出剧中的角色。
那么,对于毛发特别浓密的角色,AI的表现又如何呢?

这位小姐姐的“爆炸头”边缘毛发,得到了完美的还原。
再来看一张近距离的“霉霉”(Taylor Swift)照片。

细节表现相当出色,发丝的层次感、光泽以及衣物的褶皱都展现得淋漓尽致。
这些作品来源于一款名为ARtLine的AI,并在Reddit上受到了广泛关注,热度已超过1100。

如此生动的效果,难道又是GAN技术的成果吗?
其实并不是!
ARtLine完全没有使用GAN技术:

正因为如此,ARtLine的效果确实让网友们感到惊艳。那么,它是如何实现的呢?
ARtLine背后的三大技术亮点
ARtLine的开发者乐于分享其背后的三大核心技术:
Self-Attention、Progressive Resizing和Generator Loss。
接下来,我们逐一探讨这些技术的细节。
Self-Attention技术源自于两年前GAN之父Ian Goodfellow等人的研究。

虽然之前提到没有使用GAN,但开发者解释说:
这项技术并未发挥太大作用。
其研究主要是在GAN生成中引入注意力机制,并将SN-GAN的思想应用于生成器。
其目的是解决传统GAN面临的一些挑战,例如:
使用小卷积核难以捕捉图像中的依赖关系,而大卷积核又会导致卷积网络的参数与计算效率下降。
研究中的自注意力机制示意图如下:

其中,f(x)、g(x)和h(x)均为1×1卷积,主要区别在于输出通道的大小。
最终,f(x)的输出经过转置,与g(x)的输出相乘,再通过softMax归一化,得到一个注意力图。
在得到注意力图后,逐像素与h(x)相乘,从而生成自适应的注意力特征图。

从结果来看,加入自注意力机制后,在FID和IS两个性能指标上,都取得了显著的提升。
ARtLine的第二个技术灵感来源于英伟达2018年的研究。

该研究提出了一种新的训练对抗神经网络的方法。
其核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进展逐步增加新层以提炼细节。

这种方法不仅加快了训练速度,还提高了稳定性,能够生成高质量的图像。
ARtLine的最后一个技术灵感则来自于斯坦福大学李飞飞团队在2016年的研究。

该研究主要解决了风格转换实施过程中的时间消耗问题。

风格转换部分使用了上述网络模型,该模型分为两个部分:左侧是图像转换网络,右侧是损失网络。
其超分辨率重建也采用了相同网络模型,内部图像转换网络部分略有不同。
与之前的研究相比,这一网络在效果上达到了相当的水平,而速度却提升了百倍之多。
关于开发者
ARtLine的创建者是Vijish Madhavan。
他在GitHub上坦言自己并非程序员出身,并提到ARtLine当前的一些不足之处,例如处理低于500px的图像时效果不理想等。
现在,ARtLine已可在线体验!
感兴趣的读者可以通过以下链接进行尝试。
Colab链接:
https://colab.Google.coM/Github/vijisHMadhavan/Light-Up/blob/Master/ARtLine(try_IT_on_Colab).IPynb.IPynb
https://colab.Google.coM/Github/vijisHMadhavan/Light-Up/blob/Master/ARtLine.IPynb
GitHub项目地址:
https://Github.coM/vijisHMadhavan/ARtLine
