互联网资讯 / 人工智能 · 2023年12月30日

MIT开源虚拟角色生成工具

麻省理工学院媒体实验室的研究人员推出了一款开源的虚拟角色生成工具。该工具融合了面部识别、手势、语音和动作等多种人工智能模型,能够生成多样的音频和视频输出。

尽管数字人技术引发了一些争议,主要集中在其可能的误导性及深度伪造技术带来的隐私风险,但该技术也有其积极的一面,例如复活历史人物如阿尔伯特·爱因斯坦,进行物理课的教学或交流。

为了推动这一技术的积极应用,研究人员设计了一个用户友好的虚拟角色生成管道。

这一管道利用人工智能技术,结合面部、手势、语音和动作模型,支持创建多种音频和视频内容。

该生成管道还提供了可追踪的人类可读水印,以标示其生成的输出,确保内容与真实视频之间的明确区别,避免潜在的恶意用途。

研究人员希望教育工作者、学生及医疗从业者能够尝试该工具,看看它如何在各自领域发挥作用。

在《Nature Machine Intelligence》上,研究人员表示,更多的学生和教育工作者使用这些虚拟角色可能会为更多人带来益处。

该论文的作者之一、斯坦福虚拟人类互动实验室创始主任杰里米·巴伦森指出:
「人工智能与人类共享身份的未来将是令人兴奋的。论文展示了AI生成角色在教育、健康和人际关系等领域的应用潜力,并提供了一条可行的路径,以避免隐私泄露和虚假视频。」

第一作者Pat PataRanutapoRn,流体界面研究小组的博士生,表示:
「虽然许多人通过深度伪造了解虚拟人技术,但我们认为它可以成为创造性表达的工具。」

数字人的独特应用

生成对抗网络(GAN)允许两个相互竞争的神经网络协作,轻松创建高度逼真的图像、克隆声音和生成人脸动画。

PataRanutapoRn和Dan Ry在一个名为MacHinoia的项目中首次探索了生成人脸动画的可能性。

该统一管道允许用户输入视频、语音或文本,以生成视频和实时面部滤镜。

PataRanutapoRn在这个项目中创造了不同年龄段的自己:少年、青年、中年和老年,并让他们进行对话。

他表示:「这次独特的经历让我意识到自己作为一个人的旅程,使用自己的数据揭示了我之前未曾想过的东西。」

研究人员指出,自我探索只是AI虚拟角色积极应用的一个方面。

实验显示,虚拟人能提高学生的学习兴趣和认知任务表现,补充传统教学。

PataRanutapoRn解释说,这项技术为教学提供了一种根据个人兴趣和背景进行个性化定制的方式,且可以随着时间推移不断变化。

MacHinoia技术还能在视频会议中隐藏用户的脸,同时保留面部表情和情绪,对需要共享敏感信息的用户非常有用。

在实时会议环境中使用人工智能生成角色

MacHinoia项目还有许多有趣的用例。在即将到来的秋季,Maes和研究机构Roy Shilkrot共同教授的深度伪造实验课将允许学生用这项技术将中国历史画作中的人物制作成动画。

部分同学甚至创建了一个「分手模拟器」。

法律与伦理挑战

研究人员在论文中指出,随着技术的发展,虚拟人技术的兴起也带来了法律和伦理问题。

例如,谁有权以虚拟形式重现历史人物?名人的AI克隆是否会在网上推广不良行为?人们更倾向于与虚拟人互动,这是否存在潜在风险?

Maes表示:
「我们研究的目标之一是提出问题,并在如何利用这项技术造福社会方面展开公开讨论。」

PataRanutapoRn补充道:
「通过分享AI虚拟人技术,并明确标示生成的视频是合成的,可以激发更多创造性和积极的应用,让人们了解这项技术的潜在益处。」

论文地址:

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊

DIY最美数字女友!MIT开源最强虚拟人生成器,登Nature子刊