互联网资讯 / 人工智能 · 2023年12月27日

GAN成功合成神经活动数据并发表在Nature子刊上

GAN这次迈出了重要一步,涉及到“人脑思维”的合成。

这项技术直接生成供脑机接口使用的大脑活动数据。

研究团队表示,这是人工智能首次在此领域的应用。

这项创新提高了训练脑机接口系统提取和分析大脑信号的效率,整整提升了20倍。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

研究由南加州大学的华人博士温士贤团队进行。

相关论文已在NatuRe子刊上发表。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

在与温士贤博士深入交流时,他透露将继续推进相关研究:

这项成果未来有望应用于多种神经解码问题,他将专注于失眠、自闭症、多动症及阿尔茨海默症等疾病的个性化干预与治疗。

首次运用AI合成“思维”引发了思考:

为什么要使用AI来“伪造”神经活动数据呢?

直接使用人类数据不好吗?

实际上,这并不一定可行。

例如,今年5月登上NatuRe封面的意念打字研究中,唯一受试者是一位全身瘫痪的老者,代号T5:

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

模型训练所需的数据,正是这位老者在脑中“书写”的字母:

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

在脑海中想象字母轨迹与实际手写之间的难度差异显而易见,而模型所需的不是几个字母,而是大量重复的书写数据。

让一位残疾人每天花费数小时进行重复任务,不仅辛苦,所收集的数据量也十分有限。

脑机接口解读神经活动信号本身就是一个机器学习的问题。

因此,算法的表现依赖于大量训练数据的支撑,但在实际操作中,获取如此多的数据并非易事。

即使有足够的数据,不同受试者的神经信号也存在差异。

一个人在其数据上训练的解码算法,若要应用于他人身上,则需从头开始。

此外,即使是同一主体的解码算法,效果也会随着时间推移而减弱,需要定期校正。

更重要的是,一些最需要脑机接口帮助的残障人士,由于神经系统损坏,无法发送相关信号。

那么,如何解决这些问题呢?

温士贤博士表示:

GAN正是解决方案。

本次研究的受试对象是两只小猴子,它们需完成简单任务。

屏幕上会随机出现物体,小猴子通过摇杆控制光标去接触这些物体。

结合论文中的配图,这个任务有点像贪吃蛇游戏。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

小猴子手臂内植入的电极阵列负责采集运动控制(MoTor ContRol)信号。

初级运动皮层的神经元以1-2毫秒的间隔释放约100毫伏的脉冲,每次激发都会产生一个峰值。

这种活动模式被称为峰电位序列(Spike TRAIn)。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

研究团队使用双向LSTM网络设计了GAN的生成器与鉴别器,通过将采集的神经数据与随机高斯噪声结合,生成新的数据。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

研究的关键在于如何利用少量真实数据来生成可用的合成数据。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

对于神经信号而言,合成数据的有效性面临两个挑战:

不同个体产生的信号模式不同,同一主体在不同时间的神经信号也会有差异。

之前的步骤相当于进行预训练,接下来需针对这些情况进行微调。

结合另一只猴子或同一只猴子在不同时间的采集数据进行微调,最终生成大量适用于不同情况的峰电位序列。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

最后一步是使用少量真实数据加上大量合成数据训练脑机接口解码器,以验证效果。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

最终,他们仅用不到1分钟的真实数据和合成数据,就能产生相当于20分钟真实数据的效果。

论文最后强调,尽管此次研究仅针对猴子的运动控制信号,但所采用的方法是纯数据驱动的,对运动控制问题并没有额外的设计。

换句话说,论文中提出的方法是通用的,若要应用于其他神经编码解码问题,仅需进行最小限度的调整。

论文地址:
https://www.natuRe.coM/Articles/s41551-021-00811-z