夫妇开发AI程序以检测达·芬奇《救世主》画作的艺术伪造
去年,一对美国夫妇 Steven 与 AndRea FRank 开发了一套用于辅助专业人士鉴定艺术品的 AI 程序。
此前,他们已经用这套程序对伦勃朗和梵高的作品进行了测试。近日,他们将目标瞄准了达·芬奇的杰作《救世主》(Salvator Mundi)。
这幅画是艺术品拍卖市场迄今成交额最高的作品,2017 年在纽约夜拍以约 4.5 亿美元成交。
尽管市场热度异常高,关于这幅画是否真为达·芬奇之作仍存在广泛争议。
夫妻俩在开发 AI 程序的过程中,呈现出清晰的工作路径:识别问题、提出方案、逐步验证。
首先,他们分析了运用神经网络分析绘画时面临的挑战。
一方面,画作的高分辨率图像尺寸对传统卷积网络来说过大,而适合 CNN 的图像信息可能又不足以完成辨识任务。
另一方面,数据的数量是关键,艺术家的画作往往远不足以构成庞大的训练集,即使是 prolific 的艺术家,也难以积累数千张样本。
意识到这类困难后,他们坦言,在判断绘画归属的争议时,计算机未必能提供显著帮助。
但放弃并非选项!Steven 很快提出将图像分解成更小的片段,类似病理学家处理数字化载玻片的思路。
通过切分,尺寸与数据不足的问题得以缓解,因为单张画作可以产生大量可用于训练的图块,且图块可以重叠以增加信息量。
此外,通过训练与测试,他们还能够确定图块的最佳尺寸。
例如,伦勃朗的《年轻绅士肖像》使用的图块是 400×400 像素级别。
接着,需要筛选出哪些图块值得使用。因为画作某些区域信息丰富,而另一些区域仅是背景,信息量不足,使用它们会影响模型表现。
训练时,信息量较低的区域容易削弱模型的效果,甚至产生误导。
因此,研究团队需要一个统一标准来自动地、客观地识别可用的图块。经过思考,他们从信息论中获得灵感,发现可通过排除低熵、背景单调的图块来筛选有用区域。
信息论的创始人 Claude Shannon 在文献中的思想被引用以解释这一做法。
最终选出的图块包括耶稣的脸部、侧发和祝福之手等,与学术界在著作权争论中关注的点相吻合。
在完成图块筛选后,进入数据集阶段。他们先从以伦勃朗为代表的肖像画开始试验,数据集中含有伦勃朗本人及其他艺术家的画作。
但随后的问题是,如果仅用 50 幅伦勃朗画作与 50 幅其他艺术家的肖像作对比,即便能将伦勃朗与毕加索等风格截然不同的画作区分开来,也难以识别出伦勃朗的学生、模仿者甚至伪作。
为避免模型对伦勃朗画作过拟合,训练集中若所有非伦勃朗作品都与伦勃朗画风过于相似,模型的泛化能力就会下降。
这时 AndRea 出手,编制了一个非伦勃朗画作的数据集,其中一些作品极度接近伦勃朗本人画风,另一些则与之有明显差异但仍能让人联想到他。
他们还发现,相较于复杂的网络结构,简单的卷积网络设计在此任务上表现更佳。于是采用五层网络,在区分伦勃朗画作的实验中,准确率超过 90%;在区分文森特·梵高的风景画时,同样获得高精度结果。
完成这一系列工作后,他们将该 AI 系统用于辨别《救世主》这一更具挑战性的对象。因为达·芬奇的存世作品数量有限,且其中部分为未完成的草图,数据集规模相对较小。
尽管数据有限,系统最终给出具有说服力的图块分类,并生成了概率图,结果显示画作背景与祝福之手部分存疑,与专家意见基本一致。
这幅画在修复史上曾经历过广泛改动,包括对背景的重新着色工作,关于谁绘制祝福之手也存在分歧。
对于 CNN 是如何发现关键细节的,Steven 表示自己也不完全清楚,只知道中间层通过卷积逐步提取细节并以某种难以解释的方式完成分类。
出人意料的是,Steven 本身并非计算机科学家,而是一名知识产权律师,所在律师事务所专注相关领域。
2012 年,他在完成电子学入门课程后,被在线学习所吸引,后来获得了哥伦比亚大学人工智能方向的学位证书。
他的妻子 AndRea 是一位艺术史学家,长期从事艺术图像的策展工作,如今正在考虑退休计划。
Steven 指出,科学测量可以判断画作的年代与技术细节,但要准确判断作者还需要对风格与技法有深刻理解,计算机分析在这方面尤为适合,特别是擅长识别图案的神经网络。
目前,卷积网络已广泛应用于人脸识别、自动驾驶等领域。为何不将其用于解决更多现实问题?于是,两人共同推进了这项“利用卷积网络检测艺术伪造”的研究,并为他们的系统取名为“AI 之眼”。
[[[IMG_1]]][[[IMG_2]]][[[IMG_3]]]