哥伦比亚大学扎克曼研究所的科学家首次通过人体研究获得直接证据，证明脑控助听技术可以帮助人们在人群中分辨出特定声音。这些早期发现表明，研究人员有朝一日可能会开发出一种助听增强设备，能够克服传统助听器在嘈杂环境中的问题。
After more than a decade of research, scientists evaluate implanted brain-decoding technology that helps people hear one voice among many. Credit: Matteo Farinella/Columbia's Zuckerman Institute.
他们的研究发表在《自然神经科学》杂志上。
该研究的主要作者、哥伦比亚大学扎克曼研究所首席研究员兼哥伦比亚大学傅氏工程与应用科学学院电气工程副教授Nima Mesgarani博士表示："我们开发的系统充当用户的神经延伸，利用大脑在复杂环境中过滤所有声音的自然能力，动态地分离出用户希望听到的特定对话。"
Mesgarani博士补充道："这项科学使我们能够超越仅仅放大声音的传统助听器，展望一个技术能够恢复人类大脑复杂、选择性听力的未来。"
A new tech monitors the brain to detect who you are listening to. It then amplifies that voice and quiets other voices nearby. Credit: Columbia's Zuckerman Institute.
在这项新研究中，哥伦比亚大学的研究人员与外科医生及其正在接受脑部手术以更好地确定癫痫发作源的癫痫患者合作。这些自愿参与研究的住院患者大脑中已经植入了电极。
Mesgarani博士的系统利用这些电极测量患者专注于同时播放的两个重叠对话之一时的大脑活动。然后系统自动检测患者正在关注哪个对话，并实时调整音量，在提高该对话音量的同时降低另一个对话的音量。
对于一位志愿者来说，用大脑控制系统的体验简直难以置信。她指责研究人员偷偷调整音量。其他人则讲述了有听力障碍的朋友和家人如何能从这种技术中受益。有人说："这看起来像科幻小说。"
现代助听器擅长在抑制某些背景噪音（如交通噪音）的同时放大语音。但它们无法分离并增强特定的感兴趣的声音；它们会不加区分地增强进入麦克风的每一个声音。这使得人们很难在一堆声音中专注于特定的说话者。
A hearing system monitoring this man's brain activity amplifies a conversation played on his left while quieting one on his right, based on which conversation his brainwaves suggest he is paying attention to. Credit: Vishal Choudhari / Mesgarani lab / Columbia's Zuckerman Institute
解决这个问题的一个有希望的方案是能够模仿人类大脑通常识别和专注于人群中一个说话者的方式的助听设备，这种现象有时被称为"鸡尾酒会效应"。
2012年，Mesgarani博士和他的同事们发现了识别在众多说话者中与特定对话相关的大脑信号集的方法。例如，脑波的峰值和谷值的时间可以与对话中的声音和静音相匹配。他们还发现，特定的大脑活动模式可以揭示一个人正在关注哪个对话以及正在过滤掉哪个对话。
这些发现有朝一日可能会导致能够监测脑电波以检测和放大一个人最感兴趣对话的现实世界助听和增强设备。
在过去的十年左右时间里，Mesgarani博士和其他人进行了数百项研究，克服了许多挑战，试图将这一梦想变为现实，例如开发计算机算法来自动分离群体中多个说话者的声音，然后将每个说话者的声音与听者的脑电波进行比较。
论文的第一作者Vishal Choudhari表示："核心未解答的问题是，脑控助听技术是否能够超越渐进式改进，迈向能够帮助某人在实时环境中更好地听清的原型。"他在Mesgarani博士的实验室攻读电气工程博士学位期间领导了该系统的开发和评估。
"我们首次证明，这种读取脑信号以选择性增强对话的系统可以提供明显的实时益处。这将脑控助听从理论推向实际应用。"
研究人员与在Hofstra Northwell医学院、Feinstein医学研究所、纽约大学医学院和加利福尼亚大学旧金山分校神经外科部门自愿参与研究的医生和患者合作。
科学家们开发了实时机器学习算法，可以检查脑电波并识别患者正在关注哪个对话。
一旦部署，他们的系统可以快速推断每个听者正在关注哪个对话，并使他们更容易听到它。这既发生在研究人员引导受试者关注特定对话时，也发生在受试者自由选择时，正如在现实世界对话中必要的那样。
Mesgarani博士说："为了实现实时工作，系统必须非常快速、准确和稳定，以便为听者提供愉快的体验。"
科学家们发现，他们的新系统正确识别了志愿者关注的对话。这极大地提高了志愿者关注的语音的可懂度，减少了听觉努力，并且与系统未提供帮助的对话相比，志愿者始终更喜欢这种体验。
一位志愿者回忆起她有听力问题的叔叔。"你能想象如果这项技术存在于……他可以使用的世界中吗？他可能会过上更加平静……的生活。"
根据世界卫生组织的数据，全球有超过4.3亿人患有致残性听力损失，其中许多人最难以应对嘈杂的社交环境。未经治疗的听力损失是痴呆症的主要可改变风险因素，也是导致抑郁和社会隔离的主要因素。
科学家表示，这项研究为未来的可穿戴系统奠定了基础，这些系统有朝一日可以将脑感应与高级音频处理相结合。这将帮助听力损失者，并可能增强听力，减少人们在日常挑战性环境（如餐厅、教室、繁忙的工作场所和家庭聚会）中听觉的疲劳。
科学家们指出，在这项技术以可穿戴形式出现并能在更复杂的现实场景中以最小侵入方式工作之前，还需要做大量工作。例如，Mesgarani博士说，他们希望有一天能看到他们的系统在更复杂的现实听觉条件下的表现如何。
Choudhari博士补充道："这些结果标志着向新一代与听者意图一致的脑控助听技术迈出了重要一步，有可能改变人们在嘈杂的多说话者环境中导航的方式。"
【全文结束】