手机版
你好,游客 登录 注册
背景:
阅读新闻

智能神经解码器 - AI算法让失语人士发声

[日期:2019-04-30] 来源:Linux公社  作者:醉落红尘 [字体: ]

在周一发表在“自然”杂志上的一项研究中,加利福尼亚大学旧金山分校的神经科学家团队介绍了一种神经解码器,可以根据大脑活动合成自然发声的语音。

这项研究由演讲科学家Gopala AnumanchipalliChang实验室的生物工程研究生Josh Chartier领导。它正在加利福尼亚大学神经外科教授Edward Chang的实验室中开发。

智能神经解码器 - AI算法让失语人士发声

为什么要引入这种神经解码器?

由于中风,创伤性脑损伤或神经退行性疾病(如帕金森病,多发性硬化症和肌萎缩侧索硬化症),有许多人失去了声音。

目前,跟踪非常小的眼睛或面部肌肉运动的辅助设备使得严重语言障碍的人能够通过逐字逐句地表达他们的想法,确实存在。然而,用这样的设备生成文本或合成语音通常是耗时,费力且容易出错的。这些设备的另一个限制是它们只允许每分钟产生最多10个字,而每分钟100到150个字的自然语音。

这项研究表明,有可能生成一个人的声音的合成版本,可以通过他们的大脑活动来控制。研究人员相信,将来,这种装置可用于使严重言语障碍的人能够进行流畅的沟通。它甚至可以再现人类声音的一些“音乐性”,表达说话者的情感和个性。

“这项研究首次表明,我们可以根据个人的大脑活动生成完整的口语句子,”Chang说。 “这是一个令人振奋的原理证据,即已经触手可及的技术,我们应该能够构建一种在语言丢失患者中具有临床可行性的设备。”

这个系统如何运作?

这项研究是基于Josh Chartier和Gopala K. Anumanchipalli的另一项研究,该研究展示了我们大脑中的语音中心如何编排嘴唇,下巴,舌头和其他声道组件的运动以产生流畅的语音。

在这项新的研究中,Anumanchipalli和Chartier要求在加州大学旧金山分校癫痫中心接受治疗的5名患者大声朗读几个句子。这些患者将电极植入他们的大脑中以绘制他们的癫痫发作的来源以准备神经外科手术。同时,研究人员记录了已知涉及语言生成的大脑区域的活动。

研究人员使用志愿者声音的录音来理解产生这些声音所需的声道运动。通过这个详细的声音解剖图谱,科学家们为每个志愿者创造了一个真实的虚拟声道,可以通过他们的大脑活动来控制。

该系统由两个神经网络组成:

  • 解码器,用于将语音期间产生的大脑活动模式转换为虚拟声道的运动。
  • 一种合成器,用于将这些声道运动转换为志愿者声音的合成近似值。

研究人员观察到,与直接从志愿者的大脑活动中解码的合成语音相比,该系统产生的合成语音要好得多。 在亚马逊机械土耳其人平台上进行的众包转录测试中,数百名听众也能理解生成的句子。

该系统仍处于早期阶段。 Chartier解释了它的局限性,他说:“我们仍然有办法完全模仿口语。 我们非常擅长合成较慢的语音,如“sh”和“z”,以及保持语音的节奏和语调以及说话者的性别和身份,但是一些更突然的声音,如'b'和'p'得到了 有点模糊。 尽管如此,与目前可用的相比,我们在这里制作的准确度水平将是实时通信的惊人改进。“

阅读UCSF官方网站的完整报告。

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-04/158387.htm

linux
相关资讯       神经解码器 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款