借助 rnn 从脑电波还原语音，nature 论文呈上新款「脑机接口」 | 雷峰网-亚博电竞网

雷锋网 ai 科技评论按：近日，来自加州大学旧金山分校的研究者开发出了一种能将大脑信号转换为语音的虚拟假体语音系统，可帮助癫痫和其他神经性疾病患者还原语音能力。这项研究成果于 4 月 24 日发表在《自然》杂志上，加州大学旧金山分校的亚博平台app下载官网上也报道了这一成果。

现实世界中，有很多人都由于中风或肌萎缩侧索硬化（als）等神经退行性疾病丧失说话能力，最终造成沟通障碍。而现在，科学家们在报告中提出，他们已经开发了一种虚拟的假体语音系统，该系统能够解码大脑的说话意图，并将它们转化为基本可以理解的言语，而不需要移动任何肌肉，甚至是口腔内的肌肉。例如物理学家斯蒂芬 · 霍金，曾经就使用他脸颊上的肌肉在键盘上打出字符，然后计算机再将这些字符合成为语音。

这项研究由加州大学旧金山分校的 gopala k. anumanchipalli 以及同时在加州大学旧金山分校和加州大学伯克利分校任教的 josh chartier 领导。它建立在最近的一篇上，该论文首次描述人类大脑的语音中心如何设计嘴唇、上下颚、舌头以及其他声带组成部分，从而生成流畅的语音。

这项新研究工作的论文作者、加州大学旧金山分校神经外科教授 edward chang 博士表示，「实验显示，我们通过解码指导发音的大脑活动模拟出来的语音，比根据从大脑中提取出来的声音表示而合成的语音更准确，也更自然。」

edward chang 博士致力于研究大脑如何产生和分析语音，他开发了一个为癫痫和其他神经性疾病患者还原语音能力的假体。（图源：加州大学旧金山分校）

以前基于植入物的通信系统，每分钟可生成大约 8 个单词。而这项新成果每分钟能以自然的说话节奏生成约 150 个单词。

同时，他还认为，这项新的工作成果代表了一次「原理论证」，它预示着科技现在所能实现程度，研究者们能够开发出一个能够帮助丧失说话能力的患者重拾说话能力。

实际上，此前研究人员就已经开发出了。它们都通过解码负责识别字母和单词以及口头表示的大脑信号来实现语音辅助，但是这些方法在自然语言表达的速度和流动性上尚显不足。

而这项新成果，则译解了，使得产生的句子在可理解的同时，也接近于说话者自然的说话节奏。

目前，这项研究成果已在说话正常的人身上进行了测试，但还未在由于神经性疾病或重伤（例如常见的中风）而造成语言障碍的患者身上进行测试，由于这类神经性疾病往往会加大对大脑信号的解码难度或使得无法实现对大脑信号的解码。

对此，加州大学旧金山分校和加州大学伯克利分校的科学家们招募了五名在医院接受癫痫手术评估的患者来接受该系统的测试。

 ecog 电极矩阵由能够记录大脑活动的颅内电极组成（图源：加州大学旧金山分校）

gopala anumanchipalli 是加州大学旧金山分校的神经学家，他正拿着一个跟在当前研究中所使用的电极矩阵非常相似的电极矩阵（图源：加州大学旧金山分校）

许多癫痫患者都由于药物治疗效果不佳而选择接受脑部手术。在手术前，医生必须首先找到癫痫在每个人的大脑中发作的「热点」，这通过在大脑中或大脑表面上放置电极，并听取明显的电风暴 (electrical storms) 来完成。

对此位置进行精确定位可能需要耗费数周时间。在此期间，患者通过在涉及到运动和听觉信号的大脑区域里面或附近植入电极来度日。这些患者往往会同意在这些植入物体上搭载其他额外的实验。

加州大学旧金山分校的这五名此类患者就接受在他们身上测试虚拟语音生成器。研究者在他们每个人的大脑中都植入了一个或两个电极矩阵：邮票大小的衬垫包裹了数百个被放置在大脑表层的微小电极。

当每个志愿者在背诵数百个句子时，电极就会记录下运动皮层中神经元的发射模式。研究人员将这些模式与患者在自然说话期间所发生的嘴唇、舌头、喉部以及下颌的微妙运动联系起来。之后，研究团队再将这些运动转译为成口头表达的句子。

另外在实验中，研究者还让以英语为母语的人听取句子来测试虚拟语音生成器的流畅度，最终发现虚拟系统说出的 70% 的内容都是可理解的。

研究人员还发现，其他人可以使用和调整基于某个人的大脑活动的合成语音系统——这就暗示着现有的虚拟系统在未来某一天都能够对外开放。

该团队正计划展开临床试验以进一步测试该系统。而临床试验面临的最大挑战，可能是寻找合适的患者：让人类丧失说活能力的中风，往往也会损害或影响到支持语音发音的大脑区域。

尽管如此，众所周知，脑器接口技术（）领域正在迅速发展，世界各地的研究团队也正在改进这项技术，未来有可能实现对特定伤患进行脑器接口技术的量身定制。

论文：《speech synthesis from neural decoding of spoken sentences》

下载地址：

摘要：将神经活动转换成语音的技术对于因神经系统损伤而无法正常交流的人来说，是革命性的。从神经活动中解码语音极具挑战性，因为说话者需要对声道发声进行非常精准、快速的多维度控制。这项新研究设计了一个神经解码器，以显式地利用人类大脑皮层活动中进行了编码的运动表示和声音表示来合成语音。首先，用循环神经网络直接将记录的大脑皮层活动解码为发音运动的表示，然后将这些表示转换为语音。在封闭的词汇测试中，听众可以识别和转录出利用大脑皮层活动合成的语音。中间的发音动态即使在数据有限的情况下也能帮助提升性能。讲话者可以较大程度地保存经过解码的发音运动表示，从而使得解码器的组件可在不同参与者之间迁移。此外，该解码器还可以在参与者默念句子时合成语音。这些发现都提升了使用神经假体技术还原语音交流能力的临床可行性。

参考： 雷锋网 ai 科技评论报道