互联网资讯 / 人工智能 · 2023年12月12日 0

AI可精确模拟你的笔迹只需一个词

终于,我小学时期的梦想得以实现!

只需拍摄自己的笔迹,AI便能准确地为我抄写英语作业,且风格完全一致:

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

甚至帮别人抄作业也毫无问题&hellIP;&hellIP;

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

这实在是远超那些只能进行简单手写仿造、而价格动辄上千的作业工具。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

咳咳,重点来了:

尽管功能强大,但这可不是为了让你们抄英语作业的。(作业还是要认真完成!)

这是FACEbook AI最新推出的文字风格刷(TextstyleBRUSh),只需提供一张笔迹照片,便能完美复刻出一整套文本字迹。

不仅能够移花接木,将酱油瓶变成茶壶:

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

还可以轻松将蔬果店里的所有印刷字转换为手写体:

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

现在看来,连照片中的文字也不再一定是原本的样子了。

比格式刷更强大:文本也能更换

在实际应用中,TextstyleBRUSh就像一个格式刷,想改哪里就改哪里。

它真正的强项在于模拟手写字体。

只需输入一段文本,附上你的笔迹,1个单词即可,它便能生成手写版本。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

这样的效果,肉眼几乎无法分辨真伪!

在将菜市场价签的印刷体替换成手写体时,它还能识别并自动跳过非印刷体的样本,进行转换合成。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

两个手写标签则未被更改

在模拟特定字体格式时,TextstyleBRUSh的表现也相当出色。

能够应对海报、垃圾桶、路牌、饮料瓶以及店面装饰等多种文字风格:

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

除了直观的效果,开发者对合成图像的数据分析也颇为深入。

TextstyleBRUSh生成的图片在合成误差(MSE)上显著降低,峰值信噪比(PSNR)和结构相似性(SSIM)也有明显提升。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

在文字识别准确性方面,TextstyleBRUSh在三组数据集中的表现都非常优秀:

准确率超过95%。

运用GAN技术,真假文字难以辨认

根据FACEbook的介绍,文字风格刷TextstyleBRUSh是基于自监督方法训练的模型,能够对相同文本内容进行风格转换,类似于格式刷的功能。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

当然,它不仅限于WoRd的格式刷,甚至能够直接替换照片中的文字,这也意味着模型需要掌握文字识别和图像分割的技巧。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

即便是在逆光场景下也不在话下

为同时实现图像分割和文字风格转换,TextstyleBRUSh模型基于styleGAN2进行了设计,后者能够生成极为逼真的图像。

然而,styleGAN2存在两个问题:

其一,生成图像的方式是随机的,无法控制输出图像的特征,而TextstyleBRUSh需要生成特定文本的图像。其二,styleGAN2的整体风格不受控制,但TextstyleBRUSh中的风格涉及大量信息组合,包括颜色、尺度和风格转换特征,甚至是具有个人特色的笔迹细节差异。

为了解决模型随机生成图像的问题,TextstyleBRUSh首先通过将文本信息和风格作为两个附加条件来控制模型输出。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

接着,为了更精细地控制文本的风格特征,模型提取神经网络层中的各种风格信息,并将其注入文本生成器,以便从颜色、整体风格和细节等多个维度控制文字的风格。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

此外,由于不同图片的分辨率各异,生成器还需生成与替换区域分辨率相似的文字。

因此,该模型加入了可以控制高低分辨率的结构,使得生成的文字图像能够匹配输入图像的分辨率。

这样一来,替换前后的字体清晰度差异问题也得以解决:

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

但与照片不同,文字的风格更为自由,因此有时画风的真实感难以定义。

为此,在训练过程中,FACEbook引入了一种创新的自监督训练方法,结合风格分类、文本识别(OCR)和GAN三种模型,以保留输入的风格和文字内容,并决定需要替换的部分。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

例如,在文本识别上,TextstyleBRUSh在生成文本图像后,模型会使用一个预训练的文本识别结构来判断图像的文字内容,并对此进行评分。

事实证明,这样训练出来的模型确实非常实用。

合成人脸的技术已经被广泛应用,而合成笔迹则是首次尝试。

而且效果相当不错!

因此,TextstyleBRUSh发布后,引发了众多关注。

不少网友开始畅想它的潜在用途:

欢迎进入花式签名的世界!

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

LeCun也对此进行了转发。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

然而,能看却不能用的感觉实在令人沮丧,一些网友就开始询问:

TextstyleBRUSh会向公众开放使用吗?

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

这自然引发了一个颇具争议的话题:

合成后的笔迹足够以假乱真,如若被滥用或恶意使用将如何处理?

假设任何人的笔迹都能轻易合成,那么在许多需要签字的场合又该如何应对呢?

比如,有网友表示,要是连医生的草书处方都能被模拟&hellIP;&hellIP;

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

除了安全和隐私问题的担忧,这对字体设计师也并非好消息。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

毕竟,各类字体都拥有版权,如果可以轻松模拟,那么盗版现象将会泛滥,甚至连原作者都难以辨别真伪。

有网友指出:这离真假难辨的反乌托邦世界又近了一步&hellIP;&hellIP;

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

对此,FACEbook的CTO作出了回应:

由于可能会被用于伪造笔迹,我们只会发布论文和数据集,源代码不会开源。

分享研究和数据集,更多是为了预防文本版的DeepFakes。

AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真

你怎么看呢?

TextstyleBRUSh数据集:
https://Github.coM/fACEbookReSeaRch/IMGUR5K-HandwRITINg-Dataset

论文地址:
https://scontent-fMl2-1.xx.fbCDN.net/v/t39.8562-6/10000000_944085403038430_3779849959048683283_n.pdf