互联网资讯 / 人工智能 · 2023年11月19日 0

全新AI玩法:涂鸦变身怪兽

小明随意涂鸦了一个头部,简单地加上翅膀和一条大尾巴,然后点击了「转换」键。

瞬间,一只面目狰狞、皮肤粗糙且纹理细致的怪兽便应运而生。

全新AI玩法:涂鸦变身怪兽

这正是Google研究人员开发的AI工具——奇美拉画家(CHiMeRa PAInteR)。

它是一个在线绘画平台,可以将简单的涂鸦转变为栩栩如生的怪物。

奇美拉采用了一种条件型生成对抗网络(GAN)技术。

研究人员构建了一个生物混合体的概念,类似于纸牌游戏的组合方式。

例如,若您抽到一张「鲸」卡,可以将其与其他生物组合,形成一个「鲸VS大象」的嵌合体怪兽。

这些组合艺术作品不仅保留了原始图像的视觉特征。

全新AI玩法:涂鸦变身怪兽

在此之前,生成对抗网络(GAN)已广泛应用于图像创作。一般来说,GAN包含两个模块:

生成模型(Generative Model)和判别模型(Discriminative Model)。

这两个模块通过相互对抗的方式进行学习,以产生高质量的输出。一个优秀的GAN应用需要有效的训练方法,否则可能因为神经网络的灵活性而导致不理想的结果。

例如,麻省理工学院与IBM合作开发了“GAN绘画工作室”,允许用户上传自选图像,以从多个角度修改其外观,包括调整对象大小和添加新物体,如树木、窗户、建筑物和桌子等。

全新AI玩法:涂鸦变身怪兽

此外,英伟达(NVIDIA)最新的AI软件也能将粗糙的涂鸦转变为逼真的风景。

全新AI玩法:涂鸦变身怪兽

而奇美拉画家则采用了一种不同于前两者的条件型GAN方法。

与传统GAN基于一系列图片进行训练的方式不同,奇美拉画家需要在生成器中输入一张创作图,并在此基础上生成新的图像。

通过对怪兽进行肢解建模,然后再进行组合和渲染。

为训练GAN,研究人员创建了一个包含10000多个全彩色图像的数据集,涵盖了不同生物的3D模型。

这个生物模型数据库不仅描绘了每种生物的整体大小和形状,还提供了肢体、器官和躯干的分割图。

艺术家可以在这些“肢解”模型的基础上,重新组合出新的“生物”,选择不同的头、牙齿、躯干和翅膀等部分进行绘制。

左侧有各种肢体部分的选项按钮可供选择。

全新AI玩法:涂鸦变身怪兽

经过GAN处理后,选择组合效果最佳的模型,最终输出到CHiMeRa PAInteR中。

全新AI玩法:涂鸦变身怪兽
得先制作生物纹理

在GAN模型中,当渲染对比度低的图像时,可能会出现跳格现象,导致图像失去空间连贯性。

例如,某张图的腿和眼睛的识别界限模糊,从而产生奇怪的输出。

全新AI玩法:涂鸦变身怪兽

为了解决这一问题,奇美拉画家的研究人员开发了一种新的半自动化方法。

他们为每种所需的生物类型(如鬣狗或狮子)建立了模型。

艺术家利用虚幻引擎为3D模型制作叠加的彩色纹理。

全新AI玩法:涂鸦变身怪兽

接着,将“分割图”的单色(如头、耳、颈等部分)应用到模型上,确保GAN能理解艺术家所指定的结构、形状、纹理和比例。

全新AI玩法:涂鸦变身怪兽

最后,再次通过虚幻引擎将3D生物模型放置在简单的3D场景中。

为增加数据库中的模型数量,自动化脚本会在这一3D场景中主动生成新的数据。在10000张生物模型的基础上,进一步补充,生成超过10000张图像及其分割图。

根据不同生物的姿势,进行视点和缩放级别的插值,以创建全色图像和分割图,形成新的GAN训练数据集。

而手动创建这些数据通常需要超过20分钟的时间。