对于画画新手而言,怎样才能创作出一副令人满意的手绘肖像呢?
除了不断的练习,或许可以借助下面这款工具来帮助你!
首先,你只需绘制出人脸的轮廓,如下图所示:

接着,计算机能够为你提供肖像整体结构的线条参考:

然后,系统会给出人脸细节的提示线条:

最终,你将能够完成这样一幅作品:

相比于一张空白纸,使用这样的工具显然更具优势。
这款工具被称为dualFACE。
它能帮助绘画新手和普通用户画出满意的肖像画,原因在于它能够根据你的初步线条提供人像的整体框架和细节素描线条。
即便没有接受过绘画训练的人,也能轻松完成作品!
在全局引导阶段,dualFACE会根据你绘制的轮廓,从数据库中搜索出相关的人像,并在画布背景上显示推荐的人脸轮廓线。
在局部引导阶段,dualFACE则利用全局绘制的轮廓线,通过深度生成模型生成合成的人脸图像,并将细节作为辅助线条提供给你。
需要注意的是,全局阶段使用的是真实人像,而局部阶段则是合成的虚拟人像。
为什么这两个阶段使用不同的人像呢?

这样做是为了使计算机提供的指导更加多样化!毕竟数据库中的人像是有限的,而使用生成模型则能在细节上展现更多的肖像特点。
此外,dualFACE还具备切换功能,用户可以选择最合适的局部指导;如果认为局部指导不符合预期,也可以通过点击按钮返回全局阶段。

接下来,我们来看看这两个阶段的具体操作步骤:
全局引导
全局引导阶段分为三个步骤:数据生成、轮廓匹配和交互式指导。
数据生成的过程是将数据库中的人脸图像转换为人脸轮廓。
他们采用双向分割网络生成原图的语义标签蒙层,并从中提取人脸轮廓。蒙层中的每个像素都代表了原图的面部标签ID。
轮廓匹配步骤通过计算用户绘制的轮廓与数据库中存储的轮廓图像的相似度,寻找最接近的轮廓图像。此过程中使用了GALIF进行草图检索和局部形状匹配。
交互式指导步骤根据用户不断更新的笔划实时检索出最相似的对象,并将其转换为阴影图。

局部引导
在提供整体结构图后,系统便开始提供细节线条。
局部引导阶段同样包括两个步骤:蒙层生成和肖像草图生成。
在蒙层生成步骤中,结合全局阶段用户所绘制的轮廓和生成的数据蒙层,系统可以生成最终的细节蒙层,如下图所示。

肖像草图生成步骤则利用MaskGAN生成与上一阶段匹配的肖像,并通过APdRawi的DrawingGAN将肖像图转换为素描图。
由于这两个生成模型是独立训练的,为了连接它们,该步骤还使用了梯度提升决策树来计算人脸标志点,并将合并后的蒙层转换为二进制背景轮廓。
这一阶段可以生成多幅详细的人像素描,用户可以选择其中一个作为后续绘制的参考。即使用户最初的轮廓图不完整,缺失部分也可以通过自动完成来补齐。
以上就是这两个阶段具体实现的过程。
随后,研究团队进行了用户研究,以定性方式验证这款工具的效果。
无法正确识别抽象的输入
dualFACE是一个在Windows10平台上,用Python开发的实时绘图程序。
在全局指导阶段,每次释放鼠标后平均需要0.36秒来检索图像,而在局部指导中生成一幅肖像图像则需要2.78秒。
以下是参与者在全局、局部以及整体使用感受上的问卷调查结果,满分为5分,平均分均在3.9以上。
从整体用户体验来看,所有参与者均表示该工具能够帮助他们更好地绘制肖像。

与其他绘图工具相比,dualFACE在空间关系和面部细节的绘图评价上得分较高,平均分别为4.5分和4.32分。
因此,dualFACE能够引导用户通过正确的面部空间关系和细致的面部特征,获得更优秀的肖像画,而其他绘图程序可能无法提供这些信息。
此外,使用dualFACE绘画的时间从最短的4分15秒到最长的17分15秒不等,平均时间大约为10分钟。虽然用户的绘画技巧各异,但更多的时间投入通常会带来更好的绘图结果。

以下是参与者的绘画成果:

可以看出,系统提供的指导图水平接近,但最终效果还是受到用户绘画水平的限制。

不过,如前所述,最后一组作品仅绘制了眉毛和眼睛,系统依然能够提供完整的指导图。
当然,这种方法也有其局限性:抽象的草图可能无法被有效转换为合理的人脸Mask。
例如,下图中用户绘制的轮廓中,嘴巴被错误地识别为鼻子的一部分,这导致后续绘制的鼻子出现错误。

由于人脸数据库中的人像均为真实照片,dualFACE只能支持绘制具有真实风格的人像。因此,对于表情、夸张的卡通造型等高层次的语义素描,该工具的应用会受到限制。
此项目的研究团队来自日本北陆先端科学技术大学院大学和东京大学。
前者成立于1990年,是一所研究性质的日本国立大学,拥有多个重点学科,其科研水平与东大、京大相当,在信息科学领域的研究尤为突出。
