新研究利用人工智能将大脑信号转换成语音和动画表情
2023-08-28 21:50:56
新华网
(相关资料图)
新华社北京8月28日电 美国加利福尼亚大学旧金山分校近日发布公报说，该校参与的研究团队开发出一种脑机接口，通过训练人工智能算法，成功将一名因脑干中风而严重瘫痪的女性的大脑信号转换成语音和动画表情，使这名女性患者能够通过“数字化身”与人交流。
加州大学旧金山分校和伯克利分校等机构研究人员在这名瘫痪女性大脑表面植入一个由253个电极组成的薄如纸张的矩形设备。这些电极覆盖了对语言功能至关重要的大脑区域。研究人员用一根电缆插入固定在患者头部的接口上，将电极与一组计算机连接起来。
构建这套系统后，研究团队在数周时间里对人工智能算法进行系统训练，以识别这名女性患者独特的大脑语音信号。这需要不断重复不同的语句，涉及1024个单词，直到计算机能识别与患者声音相关的大脑活动模式。
研究人员并没有训练人工智能识别完整的单词，而是创建了一个系统可根据最小的语音单位音素来解码单词。就像字母组成书面单词一样，音素组成了口语单词。例如，英文单词“Hello”包含HH、AH、L和OW四个音素。利用这种方法，计算机只要学习39个音素就能破译任何英文单词，这提高了系统的准确性和运算速度。
为了重现患者的声音，团队设计了一种语音合成算法，利用患者在自己婚礼上的讲话录音将语音个性化，使之听起来像她受伤前的声音。
研究人员还借助一款可模拟面部肌肉运动并制作动画的软件为患者制作动画头像。研究人员创建了定制的机器学习过程，使这款软件能够识别这名女性试图说话时大脑发出的信号，并将这些信号转换成能够表示快乐、悲伤和惊讶等情绪的面部动画。
相关论文近日发表在英国《自然》杂志上。团队下一步计划创建该系统的无线版本，使患者无需与脑机接口进行物理连接。
