摘要：研究人员创造了一种突破性的脑机接口（BCI），可以让瘫痪的女性通过数字化身进行交流。这一进步标志着有史以来第一次直接根据大脑信号合成语音或面部表情。

该系统能够以每分钟近 80 个单词的惊人速度将这些信号转换为文本，超越了现有技术。这项研究为瘫痪者恢复全面沟通迈出了重大一步。

关键事实：

1. 开发的脑机接口将大脑信号解码为合成语音和面部表情，使瘫痪者能够更自然地进行交流。
2. 该系统不是识别整个单词，而是识别音素（语音的子单位），从而提高速度和准确性。
3. 数字化身的声音经过个性化处理，以反映用户受伤前的声音，面部动画由解释大脑信号以表达各种面部表情的软件驱动。

资料来源：加州大学旧金山分校

加州大学旧金山分校和加州大学伯克利分校的研究人员开发了一种脑机接口（BCI），使一名因脑干中风而严重瘫痪的女性能够通过数字化身说话。  

这是第一次根据大脑信号合成语音或面部表情。该系统还可以以每分钟近 80 个字的速度将这些信号解码为文本，这比商用技术有了巨大的进步。  
 
加州大学旧金山分校 (UCSF) 神经外科主任 Edward Chang 医学博士十多年来一直致力于脑机接口 (BCI) 技术的研究，他希望这一最新研究突破发表在 2023 年 8 月 23 日的《自然》杂志 上，将导致 FDA 批准的系统在不久的将来能够通过大脑信号进行语音。 
 
“我们的目标是恢复一种完整、具体的沟通方式，这确实是我们与他人交谈的最自然的方式，”加州大学旧金山分校威尔神经科学研究所成员、珍妮·罗伯逊杰出教授张说。精神病学。

“这些进步使我们更接近于为患者提供真正的解决方案。”  
 
张的团队此前证明，可以将一名多年前也经历过脑干中风的男性的大脑信号解码为文本。目前的研究展示了一些更雄心勃勃的东西：将大脑信号解码为丰富的语音，以及在谈话过程中使人的面部生动的动作。 
 
Chang 将一个由 253 个电极组成的薄如纸的矩形植入到这位女性大脑的表面，他的团队发现该区域对言语至关重要。电极拦截了大脑信号，如果不是中风，这些信号可能会传送到她的舌头、下巴、喉部以及脸部的肌肉。一根电缆插入固定在她头上的端口，将电极连接到一组计算机。  

几周来，参与者与团队合作训练系统的人工智能算法，以识别她独特的大脑语音信号。这涉及到一遍又一遍地重复 1,024 个单词的会话词汇中的不同短语，直到计算机识别出与声音相关的大脑活动模式。   
 
研究人员并没有训练人工智能识别整个单词，而是创建了一个从音素解码单词的系统。这些是语音的子单位，它们形成口语单词的方式与字母形成书面单词的方式相同。例如，“Hello”包含四个音素：“HH”、“AH”、“L”和“OW”。  

使用这种方法，计算机只需要学习 39 个音素就可以解读英语中的任何单词。这既提高了系统的准确性，又使其速度提高了三倍。  
 
“准确性、速度和词汇量至关重要，”肖恩·梅茨格 (Sean Metzger) 说道，他与亚历克斯·席尔瓦 (Alex Silva) 一起开发了文本解码器，两人都是加州大学伯克利分校和加州大学旧金山分校联合生物工程项目的研究生。“这使得用户能够及时地与我们一样快速地进行交流，并进行更加自然和正常的对话。” 

为了创建声音，该团队设计了一种合成语音的算法，并使用她在婚礼上的讲话录音，将其个性化，使其听起来像她受伤前的声音。
 
该团队借助模拟面部肌肉运动并制作动画的软件来制作虚拟人物动画，该软件由 Speech Graphics（一家制作人工智能驱动的面部动画的公司）开发。

研究人员创建了定制的机器学习流程，使该公司的软件能够与女性试图说话时大脑发送的信号相结合，并将这些信号转换为化身面部的动作，使下巴张开和闭合，嘴唇突出钱包和舌头的上下移动，以及表示幸福、悲伤和惊讶的面部动作。 
 
“我们正在弥补因中风而切断的大脑和声道之间的连接，”与张和加州大学电气工程和计算机科学教授戈帕拉·阿努曼奇帕利博士一起工作的研究生凯洛·利特尔约翰说伯克利。

“当受试者第一次使用这个系统说话并同时移动化身的脸部时，我知道这将产生真正的影响。”  
 
该团队下一步重要的一步是创建一个无线版本，不需要用户物理连接到 BCI。  
 
“让人们能够利用这项技术自由控制自己的电脑和手机，将对他们的独立性和社交互动产生深远的影响，”共同第一作者、神经外科兼职教授戴维·摩西博士说。 
 
作者： 其他作者包括加州大学旧金山分校的 Ran Wang、Maximilian Dougherty、Jessie Liu、delyn Tu-Chan 和 Karunesh Ganguly、加州大学伯克利分校的 Peter Wu 和 Inga Zhuravleva 以及 Speech Graphics 的 Michael Berger。