重磅突破！UC伯克利：脑机接口根据大脑活动重建音乐（附音频）-CSDN博客

本文链接：https://blog.csdn.net/zyb228/article/details/132374022

脑机接口可以重建你大脑的音乐啦！

先来听听效果：

将原始歌曲波形转换为仅有幅度的听觉频谱图，然后使用迭代相位估计算法将其转换回波形。

下面是使用线性模型对所有 29 名患者的 347 个重要电极进行反馈，重建的歌曲节选。

使用非线性模型和全部 29 名患者的 347 个重要电极重建的歌曲节选。

你感觉效果怎么样？

小编觉得虽然有点小噪音，但总体上还是很不错的呀！

音乐是生活中少有的能对我们的情感产生直接影响的神秘事物之一。

当你沮丧时，当你伤心难过时，播放一首合适的曲子，你的心情会突然回到正轨。这就是音乐的力量，它与符号语言一样，似乎与人类大脑有着独特的契合点。

但是，大脑是如何处理音乐的，当我们聆听自己喜爱的歌曲时又会发生什么？这些问题几十年来一直吸引着科学家，而最近的研究在了解音乐感知和认知的神经基础方面取得了重大进展。

之前，科学家们已经证明，音乐可以减轻焦虑、血压和疼痛，还能提高睡眠质量、情绪、精神警觉性和记忆力。音乐涉及广泛的大脑网络，从听觉皮层延伸到与情感相关的区域，这些区域在情感音乐中同步。它还会刺激记忆区域，有趣的是，还会触发运动系统。据悉，大脑运动系统的激活能让我们在开始敲击脚步之前就识别出音乐的节拍。

可以说，你大脑中几乎所有最重要的区域都会对音乐做出反应。不过到目前为止，我们对这块的了解还是很有限。但现在，加州大学伯克利分校的一项新研究真正推动了与音乐相关的神经科学的发展。

Michael Ochs Archives.

具体来说，科学家们利用计算机建模技术，通过对人类听觉皮层活动的直接神经记录，成功重建了平克·弗洛伊德(Pink Floyd)的代表作"Another Brick in the Wall, Part 1"。换句话说，只要在一个人听这首歌的时候扫描他的大脑，科学家们就可以将神经反应逆向工程回到最初触发刺激的那首歌。

加州大学伯克利分校奈特实验室人类认知神经科学博士后研究员Ludovic Bellier告诉ZME Science，“我们可以通过记录在听觉皮层中的神经活动成功地重建一首歌。事实上，我们甚至可以在一个病人身上做到这一点，而且数据很少，这对于脑机接口(BCI)来说非常有前景。”

重建平克·弗洛伊德的歌 Credit: PLOS Biology, Knight et al.

该研究涉及29例接受颅内脑电图(iEEG)治疗癫痫的患者。在手术过程中，患者听着平克·弗洛伊德的流行歌曲，同时记录下他们的神经活动。然后，研究人员使用了一种所谓的刺激重建方法，看看他们能否仅通过神经活动就能重放原来的歌曲。

为此，研究人员训练了一种机器学习算法，以识别与歌曲的不同方面(如旋律、节奏和歌词)相对应的神经活动模式。重建后的歌曲并不是原版歌曲的完美复制品，但可以清晰辨认，并包含歌曲的许多关键元素，如旋律、节奏和歌词。这几乎就像是病人在脑海中哼唱歌曲的旋律，而研究人员可以从曲调中获取灵感。

读到这里，有些人可能会惊叹不已。但这一切是否意味着你只需用脑电图（EEG）帽扫描大脑，就能播放出你最喜欢的歌曲？并不是的，该项研究中的患者被直接植入了电极，作为治疗的一部分，这种疗法根本不适合广泛使用。虽然脑电图是非侵入性的，但其精确度也要低得多。

协议、数据准备和编码模型拟合 Credit: PLOS Biology, Knight et al.

"我们能从头皮脑电图中获得的主要是包络线，从而了解歌曲的节奏模式。如果我们对其进行重建，这足以识别出著名的音乐作品。"Ludovic 说："换句话说，在足够长的神经记录时间内，计算机可以识别它，但人很可能无法识别。"

加州大学伯克利分校心理学和神经科学教授罗伯特-托马斯-奈特（Robert Thomas Knight）说："我认为头皮脑电图可以对几首不同的歌曲进行分类，但无法确定一首特定的歌曲。头皮脑电图无法完成分类和重建工作。"

# 大脑右半球对音乐的参与度更高

神经迷幻剂当然很酷，但这项研究已经为人类大脑如何感知音乐提供了足够有趣的见解。但这项研究为我们提供了足够多关于人类大脑如何感知音乐的有趣见解。每位患者的大脑中都植入了2,668个电极，其中347个电极捕捉到了与音乐特别相关的神经活动。这些电极位于大脑的三个区域：颞上回(STG)、感觉运动皮层(SMC)和额下回(IFG)。

虽然音乐在大脑两个半球都能处理和解码，但研究人员发现，在聆听音乐时，右半球承担了更多繁重的工作。他们还首次发现，STG(颞上回)中有一个独特的区域负责处理节奏，特别是摇滚乐中的吉他节奏。