科学家研发出“读心术”，直接将脑电波翻译成文本，错误率低至 3%

本篇文章1875字，读完约5分钟

加州大学旧金山分校的科学家们已经训练出一种算法，可以将受试者的脑电波实时直接翻译成句子，错误率仅为3%。

这项研究发表在《自然神经科学》杂志上，他们招募了四名志愿者，要求他们多次阅读30-50个固定句子，并通过电极记录他们的大脑活动。[1]

[雷锋。(公开号码:雷锋。注:人类对大脑知之甚少。图片来源:pixabay所有者:gerd altmann]

这些数据然后被输入到机器学习算法中，该算法将每个句子的大脑活动数据转换成一系列数字和字符串。

该系统从这些大脑活动数据中推导出声音，并将其与实际录制的音频进行比较。数字和字符串被重新输入系统并转换成一个单词序列。

首先，系统会吐出无意义的句子。然而，当系统将每个单词序列与实际阅读的句子进行比较时，它已经得到了改进，并且已经了解了数字串和单词之间的关系，以及哪些单词是上下文相关的。

该算法不断地被训练，直到书写的文本由说话时的大脑活动生成，这类似于机器翻译。

新系统的精度比以前的方法高得多。虽然准确性因人而异，但对于一名志愿者来说，平均每个句子只需要纠正3%，高于速记员5%的单词错误率。

当然，目前这个系统仍然有很大的局限性，算法只能处理几个句子。该系统不能用于有严重残疾和语言能力丧失的病人，因为它依赖于记录大声说句子的人的大脑活动。

然而，每个志愿者只需要不到40分钟的训练时间，这在有限的小数据集中达到了迄今为止最大的精确度。

脑计算机接口

建立从人脑信号到外部设备的连接路径并不新鲜。脑-机接口的研究已经进行了30年。

[雷锋网注:脑机接口是近30年来的研究热点。图片来源:pixabay所有者:aytuguluturk]

在过去的十年里，我们已经能够解码语音信号，但仅限于孤立的音素或单音节单词。在100字连续语音的情况下，只有不到40%的正确单词被解码。

科学家这次发现了一种更直接的方法，即采用类似的机器翻译算法。机器翻译是文本从一种语言到另一种语言的算法翻译，但这一次输入的文本变成了脑电波信号。本文使用编码-解码框架:从大脑皮层活动到文本的机器翻译，详细描述了这一过程。

当系统训练一个志愿者然后再训练另一个志愿者时，解码结果得到改善，这表明技术可以从一个人移植到另一个人。

在github上，放置了相应的纸张代码。

ecog2txt模块用于将语音从神经数据解码成文本。它使用python代码来实现跨主题迁移学习的高级功能。[2]

[雷锋网注:ecog2txt是本文相应的开源实现模块]

训练本身是通过另一个机器学习软件包实现的，它在张量流中实现了一个序列到序列的网络。[3]

这些软件包的汇编也是论文的联合汇编之一，约瑟夫·马金博士，他目前是旧金山加利福尼亚大学综合神经科学中心的研究科学家。他的专业是电子工程和计算机科学，专攻控制理论，包括脑-机接口的算法开发。[4]

【雷锋网注:上图为张博士助手】

该论文的另一位联合编辑是edward chang博士，他是一位内科医生和神经外科医生，擅长为患有癫痫、脑瘤、三叉神经痛、面肌痉挛和运动障碍的成年人提供治疗。他目前是加州大学旧金山分校威尔神经科学研究所的神经外科教授，也是神经工程和假肢中心的负责人，该中心旨在恢复瘫痪和语言障碍等神经疾病患者的功能。[5]

网友评论

科学家过去认为将大脑信号转换成可理解的语言可能需要几十年的时间，但现在这一时间间隔可以用年来衡量。在reddit的科学版块，这条新闻吸引了超过30，000人的赞扬和数千条评论。[6]

网友derlumpenhund评论说，这并不意味着思想阅读器是发明的。它主要依赖于对舌头运动过程中相应大脑皮层活动的解码。它需要收集给定主题的数据并提前训练，不会直接解码你的思维活动。话虽如此，这一进展也是显著的。

网友boointhehouse说，如果这项技术能早点应用到史蒂芬·霍金身上，他这辈子可以做更多的工作。

引自:

[1]www.nature/articles/s41593-020-0608-8.epdf

[2] github/jgmakin/ecog2txt

[3]github/jgmakin/machine _ learning

[4]profiles.ucsf.edu/joseph.makin

[5]profiles.ucsf.edu/edward.chang

[6]www . Reddit/r/science/comments/fry 305/scientists _ develop _ ai _ can _ turn _ brain/