互联网资讯 / 人工智能 · 2023年11月21日 0

AI简笔画引发网友惊叹,无需GAN技术

AI简笔画的表现究竟如何?

以下是一张美国演员RaMi Malek的照片,AI生成的效果呈现如下。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

可以说与原图非常接近。

接下来,我们看看输入《老友记》中合影的结果。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

尽管人物较多,生成的简笔画依然能够清晰辨识出剧中的角色。

那么,对于毛发特别浓密的角色,AI的表现又如何呢?

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这位小姐姐的“爆炸头”边缘毛发,得到了完美的还原。

再来看一张近距离的“霉霉”(Taylor Swift)照片。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

细节表现相当出色,发丝的层次感、光泽以及衣物的褶皱都展现得淋漓尽致。

这些作品来源于一款名为ARtLine的AI,并在Reddit上受到了广泛关注,热度已超过1100。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

如此生动的效果,难道又是GAN技术的成果吗?

其实并不是!

ARtLine完全没有使用GAN技术:

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

正因为如此,ARtLine的效果确实让网友们感到惊艳。那么,它是如何实现的呢?

ARtLine背后的三大技术亮点

ARtLine的开发者乐于分享其背后的三大核心技术:

Self-Attention、Progressive Resizing和Generator Loss。

接下来,我们逐一探讨这些技术的细节。

Self-Attention技术源自于两年前GAN之父Ian Goodfellow等人的研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

虽然之前提到没有使用GAN,但开发者解释说:

这项技术并未发挥太大作用。

其研究主要是在GAN生成中引入注意力机制,并将SN-GAN的思想应用于生成器。

其目的是解决传统GAN面临的一些挑战,例如:

使用小卷积核难以捕捉图像中的依赖关系,而大卷积核又会导致卷积网络的参数与计算效率下降。

研究中的自注意力机制示意图如下:

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

其中,f(x)、g(x)和h(x)均为1×1卷积,主要区别在于输出通道的大小。

最终,f(x)的输出经过转置,与g(x)的输出相乘,再通过softMax归一化,得到一个注意力图。

在得到注意力图后,逐像素与h(x)相乘,从而生成自适应的注意力特征图。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

从结果来看,加入自注意力机制后,在FID和IS两个性能指标上,都取得了显著的提升。

ARtLine的第二个技术灵感来源于英伟达2018年的研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

该研究提出了一种新的训练对抗神经网络的方法。

其核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进展逐步增加新层以提炼细节。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这种方法不仅加快了训练速度,还提高了稳定性,能够生成高质量的图像。

ARtLine的最后一个技术灵感则来自于斯坦福大学李飞飞团队在2016年的研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

该研究主要解决了风格转换实施过程中的时间消耗问题。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

风格转换部分使用了上述网络模型,该模型分为两个部分:左侧是图像转换网络,右侧是损失网络。

其超分辨率重建也采用了相同网络模型,内部图像转换网络部分略有不同。

与之前的研究相比,这一网络在效果上达到了相当的水平,而速度却提升了百倍之多。

关于开发者

ARtLine的创建者是Vijish Madhavan。

他在GitHub上坦言自己并非程序员出身,并提到ARtLine当前的一些不足之处,例如处理低于500px的图像时效果不理想等。

现在,ARtLine已可在线体验!

感兴趣的读者可以通过以下链接进行尝试。

Colab链接:

https://colab.Google.coM/Github/vijisHMadhavan/Light-Up/blob/Master/ARtLine(try_IT_on_Colab).IPynb.IPynb

https://colab.Google.coM/Github/vijisHMadhavan/Light-Up/blob/Master/ARtLine.IPynb

GitHub项目地址:

https://Github.coM/vijisHMadhavan/ARtLine