Nature子刊 | 高分辨率的神经信号记录实现高质量语音解码

衰弱性神经退行性疾病患者失去了与人交流的能力，恢复交流的方案之一是直接解码大脑信号。传统神经信号记录技术无法充分捕捉人类大脑信号丰富的时空结构。本研究通过高分辨率的微皮质脑电图神经信号记录技术获得了57倍更高的神经信号空间分辨率和48%的信噪比提高。相比于标准颅内信号，这种增强的信号质量提高了35%的解码准确性。此外，利用非线性解码模型进行解码，取得了比传统线性技术更好的结果。这项研究证明高密度的µECoG可实现未来神经语音假体的高质量语音解码。

已经有先前研究表明，高密度微皮质脑电图（µECoG）阵列可以解决微尺度神经特征。此技术在啮齿类动物和非人类灵长类动物中已显示出与皮质内电极一致的精细感觉拓扑结构。在人类中，这种高分辨率电极技术已成功使用于识别癫痫患者的微尺度癫痫特征、改进运动神经假体等方面。本研究使用液晶聚合物薄膜µECoG阵列记录了患有言语障碍的患者在语音产生任务中的情况。与标准颅内脑电图（IEEG）相比，高密度µECoG实现了更卓越的语音解码。本研究还发现，高密度µECoG的解码结果受到解析神经信号的微观空间和时间特征的影响，这也使非线性解码模型能够解码整个语音序列。这项研究表明，高密度µECoG可用于改进神经语音假体。

本研究记录了4例清醒患者（平均年龄53岁，1名女性患者，无言语障碍）的神经信号，4名受试者中的3名（S1, S2和S3）正在接受运动障碍治疗，术中记录是在清醒深度脑刺激器（DBS）植入手术中进行的。第四名受试者（S4）接受脑肿瘤切除术，并在手术前清醒开颅时记录神经数据。作为对照，本研究记录了11例癫痫患者（平均年龄30岁，7例女性，无言语障碍），在术前颅内监测期间植入常规电极（ECoG或SEEG）并使用临床IEEG系统（Natus Quantum）进行记录。

图1. 在语音生成任务期间，高密度微皮质脑电图（µECoG）电极在人脑上的记录。a.柔性液晶聚合物（LCP）电极阵列，具有128（顶部）和256（底部）记录电极（直径200 μm）。b.高密度微电极（黑色方形标记）与宏观ECoG（红色圆圈）和高密度标准ECoG（蓝色圆圈）的视觉比较。与现有的宏观ECoG（1个电极/cm²）和高密度ECoG阵列（6个电极/cm²）相比，c.µECoG电极具有更高的空间密度（34-57个电极/cm²）。d.在4名清醒患者的语言运动皮层（SMC）上植入电极阵列（投射到平均MNI脑上）。电极阵列具有128个通道，S1（紫色），S2（绿色）和S3（蓝色）的中心间距（间距）为1.33 mm，或256个通道，S4（红色）的间距为1.72 mm。e.术中语音生成任务示意图。颜色条表示听觉刺激的持续时间（蓝色），反应时间（橙色）和口语持续时间（绿色）。f.受试者在完成语音生成任务时，正确重复非单词的行为结果准确率在95%以上。

本研究使用的第一个LCP-TFµECoG阵列是一个具有128个微电极（8×16，直径200 μm，中心1.33 mm间距）的阵列 （图1a, b，顶部），通过DBS植入过程中打开的毛刺孔植入。第二个LCP-TFµECoG是一个具有256个微电极（12×22，直径200µm，1.72 mm间距），用于在清醒开颅术期间暴露的有效皮层上直接定位解剖（图1a, b，底部）。

每位受试者在术中过程中执行一个语音生成任务。在每个试验中，他们听取并重复了52个非单词中的一个，这些非单词被设计用来采样美式英语的语音策略。每次试验持续3.5 - 4.5秒，包括听觉刺激，然后是三秒的反应窗口，每次试验之间有250毫秒的抖动。试验分为三个连续的块，每个块洗牌52个独特的非单词标记。每个受试者的总体任务时间大约为15分钟。然后提取了神经信号数据，并进行解码模型的训练与应用。

高分辨率的语言神经活动

在检查语音神经激活时，本研究观察到语音发音过程中频谱-时间神经激活的显著调制，包括显著的HG波段功率增加。这些不同的空间模式在每个患者身上都可以看到（如图2a， S1和S4）。HG功率的增加与单个电极上的语音一致，并且在语音开始前1000 ms时仍有活性（图2b），并且与使用非参数排列测试的刺激前基线相比，具有统计学意义。

本研究检查了µECoG神经信号记录中HG功率的诱发信噪比（ESNR），并将其与标准IEEG进行比较。与标准IEEG记录（图2c）相比，µECoG记录的神经信号显示测量到的信噪比增加48% （1.7 dB），表明了µECoG电极在记录神经信号方面具有更高保真度的优势。

图2. 高密度µECoG显示了语音生成过程中的高分辨率神经特征。a. 每个阵列的每个电极的频谱图，受试者（S1, 128个电极和S4, 256个电极）。在语音过程中具有显著高伽马调制（HG: 70-150 Hz）的电极用黑色边框表示。灰色阴影圈表示叠加的模拟宏ECoG电极分辨率，电极间距离为10 mm，表明与标准IEEG相比，µECoG密度增加。b. 来自128通道阵列的示例电极的频谱图（红色边框），显示了在语音时间锁定的HG波段功率增加。c. µECoG阵列以显著高于标准IEG （ECoG和SEEG）的功率捕获HG活动，表明与标准方法相比，微电极测量神经信号的能力增强，信噪比更高。红线和蓝框表示中位数和第25/75百分位，实线表示整个分布范围（每组电极总数，标准IEEG: 60, S1: 111, S2: 111, S3: 63, S4: 149）。d. 随着电极间距的增加，电极间HG相关性降低。每个电极间距的相关值用平均值和标准误差表示（n=固定电极距离下所有可能的电极对，单位为mm）。空间分辨率小于2 mm （r=0.6）的相关值揭示了语音生成过程中微观尺度上空间判别神经信号存在的证据。

为了研究微观尺度的神经信息，本研究研究了特定于语音产生关键单元的时空激活。本研究首先通过对非单词语音的第一位置音素的标准化HG活动进行平均来研究时空活动模式。所有四名被试在四种不同发音器（/a/ -低元音、/i/ -高元音、/b/ -唇音、/g/ -舌背音）的语音开始方面表现出不同的时空模式（图3），如图3a中以被试S1为例突出显示。

接下来，本文研究了运动发音特征是如何在神经空间中组织的。先前研究语音产生的研究已经根据SMC中的复合发音确定了音素的功能组织模式。本研究试图确定类似的群体驱动的铰接器模式µECoG HG （500 ms窗口；100个时间点）的皮质状态空间，并确定该组织是否依赖于空间分辨率。为了模拟皮层状态空间，本研究使用奇异值分解（SVD）将时空共变的HG活动转换为低维特征（80%的方差得到解释），并使用t分布随机邻居嵌入（tSNE）在二维向量空间中可视化转换后的主成分得分。图3b显示了tSNE状态空间中发音器和单个音素的语音试验的清晰分离。本研究观察到，通过减少空间采样，发音和音素的区别都降低了（图3c）。在发音器和音素空间中，子采样版本的剪影分数显著下降，进一步量化了这种影响（图3d）。为了统计评估这种差异，本研究进行了单向方差分析来检验空间子抽样对状态空间聚类的影响，结果显示，子抽样在发音器和音素空间中都有显著的主效应，各组在发音空间的平均值有显著差异。这些结果清楚地表明，高分辨率的神经信号记录可以更准确地表示SMC中的运动特征。

图3. µECoG捕捉到了语音产生过程中精细尺度的时空活动。a. HG激活在SMC中显示了精细尺度的时空模式，如图所示为一个例子（S1）在语音产生过程中。HG反应的空间图显示每个音素的区别性激活模式。b. 使用信号值分解t分布随机邻居嵌入方法（SVD-tSNE）的状态空间分析描述了发音器以及单个音素方面的清晰分层分离试验。c. 电极子采样模拟低分辨率记录减少了SVD-tSNE状态空间（与（b）相同的调色板）中音素（上）和发音器（下）分组的簇分离。这种分组的减少证明了高分辨率空间采样的实用性。d. 测量一个试验相对于其他组的发音/音素组的相对接近程度。每个箱形图描述了从电极子采样（使用泊松圆盘采样的50个样本）获得的轮廓分数的分布。红线和蓝框表示中位数和第25/75百分位，虚线表示分布的整个范围。这些分析证明了高分辨率神经采样在区分发音/音素运动特征方面的改进能力。

利用高密度µECoG时空特征解码音素

成功的神经语音假体需要能够解码人类所有的语音和语言，实现这种能力的一个解决方案是关注支持生成语言的组合单元。本研究基于一个低维子空间（SVD分解），使用监督线性判别模型（LDA），并选择了基于嵌套交叉验证的特征值用于音素预测。得益于高的空间采样，本研究观察到所有受试者在预测非单词中所有位置的音素方面都有很强的解码表现（图4a、b）。S1和S2在所有位置都表现出更高的解码性能，本研究将其归因于这些受试者更高的HG信噪比和更长的语音持续时间（图4b）。S1-P1（受试者1，音素位置1）的最大预测分数为57%，其中最佳辅音（/g/）的解码分数为84.2%，最佳元音（/i/）的解码分数为75.3%（图4a）。当人工对齐音素时，解码准确率降低（S1: 40.72%， S2: 42.96%， S3: 20.92%， S4: 41.67%）。这种性能下降表明信号中存在独特的基于位置的信息，解码可能会受到来自邻近音素的神经相关的损害，因此，需要基于位置的解码。为了直接评估在微观尺度上记录语音神经信号的好处，本研究将高密度μ ECoG解码与标准IEEG记录（SEEG/ECoG）进行了比较，结果显示高密度μECoG能够实现更准确的语音解码。

图4. µECoG的高精度音素解码。

由于与标准临床记录相比，高密度μECoG显示出更高的ESNR分辨率和更强的解码性能，因此本研究下一步试图直接确定解码性能与ESNR之间的关系。为了量化这种关系，本研究计算了每个µECoG电极的单变量音素解码性能及其相应的HG-ESNR （dB）值（图4d）。线性模型拟合表明，S1、S2和S3之间存在较为显著的相关性，S4之间存在强相关性。此外，本研究观察到，作为HG-ESNR的函数，S1、S2和S3的准确度增加了0.4% / dB, S4的准确度增加了1.1% / dB。这些结果表明，使用高密度μECoG捕获高信噪比微尺度激活的能力与相应的语音解码能力之间存在显著的关系。

最后，本研究试图描述高密度μECoG记录中存在的解码错误类型。为了系统地描述这些类型的错误，本研究通过为每个音素分配一个17位的分类向量来计算每个音素的音系特征集。本研究使用汉明距离来计算每个音素对的音系距离，这样具有相似音系特征的音素之间的距离就更小（例如，/p/与/b/相差1位，而/p/与/g/相差5位）。本研究发现本研究的解码模型的混淆/错误率随着所有音素位置的语音距离而下降（如图4e），并且观察到所有受试者都有类似的负相关关系，误差低于偶然性，（如图4f）。这表明音位错误分类主要是由相似的音位特征发音造成的。

序列神经模型揭示了音素的位置编码

到目前为止，本研究的分析强调了微尺度记录解析空间特定神经信号的能力。然而，这些信号反映了复杂的神经动力学，也随着时间的推移而进化。本研究通过及时解决音素序列的能力来评估这些时间动态。首先，构建了一个SVD-LDA模型来训练和测试HG神经时间片段。语音中特定的有序音素序列只有在序列信息存在于时空HG神经激活模式时才能被解析。结果显示，本研究对所有位置的音素进行了稳定的时间解码。此外，每个音素的峰值解码值依次出现的次数反映了它们在语音中的顺序（如图6a所示）。该分析表明，可以从微尺度录音中丰富的时空神经特征中解码语音中的顺序音素。这种解析音素序列的能力也证明了本研究从音素单位解码中解析整个语音的能力，这是成功的神经语音假体的要求。

图6. µECoG实现了语音的时序解码。a. 根据语音起始位置的音素数据训练时序解码模型。结果显示了两个示例受试者（S1, S2）的解码结果，揭示了每个音素位置成功解码的时间模式（P1:蓝色，P2:橙色，P3:黄色）。虚线反映峰值解码。这种能力表明，音素位置的时间序列可以通过与语音对齐的神经信号中存在的信息来重建。b. 解析整个语音的时间语音序列，利用了这种能力。

基于seq2seq递归神经网络的音素序列生成

在证明了微尺度神经信号中顺序音素信息的存在后，本研究试图通过单个组成音素来解码整个语音，而不需要明确的音素起始信息。本研究使用seq2seq RNN模型将HG神经活动直接翻译为整个音素序列。对于每个语音，HG激活作为输入传递到“编码器-解码器”循环神经网络（图6b）。该模型分三个阶段执行:

1．时序卷积层（绿色箭头）提取低维神经特征；

2．双向编码器RNN（蓝色框）沿时域编码神经特征；

3．解码器RNN（橙色框）将编码的神经特征转换为音素序列。

本研究通过计算每个位置正确预测音素的百分比来量化解码性能。结果（图6c）表明，与需要明确音素起始时间的线性方法相比，非线性顺序解码可以更准确地重建语音序列。为了进一步验证微空间采样对这些结果的重要性，本研究进行了一项分析，对电极进行空间次采样，结果导致顺序解码性能降低（图6d）。总之，这种顺序解码方法为使用高分辨率神经信号记录解码整个语音的算法框架提供了基础。

讨论与总结

本研究通过术中微尺度神经信号记录展示了语音解码的优势，并探讨了其在神经语音假体中的重要性。实验结果表明，µECoG电极记录的SMC神经信号产生了比标准颅内方法更高的HG-ESNR，并且µECoG阵列捕获的HG活动呈现出空间变化的时间特征，与发音器的具体位置相关。通过皮质状态空间分析，研究发现µECoG的高分辨率记录对于解码发音特征和音素至关重要，并且µECoG的解码能力优于标准IEEG电极。此外，µECoG记录的解码性能受录音时间和训练/试验次数的影响，并展示了微尺度神经信号记录在解码发音顺序和语音时间动态方面的优势。这项研究为使用µECoG阵列实现高质量的语音解码奠定了基础，并为未来利用脑机接口恢复语言沟通能力的研究提供了潜力和方向。然而，研究中存在一些局限性，包括术中实验时间受限、电极接触问题、电极定位的准确性等。未来的工作需要解决这些问题，进一步优化解码算法，提高空间分辨率，并开发自动配准技术来提高µECoG阵列的定位精度。

参考内容

https://www.nature.com/articles/s41467-023-42555-1

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！

投稿请点击 脑机接口社区学术新闻投稿指南

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBrain【备注：姓名+行业/专业】。

加QQ群：913607986

  欢迎来稿  

1.欢迎来稿。投稿咨询，请联系微信：RoseBrain

投稿请点击 脑机接口社区学术新闻投稿指南

2.加入社区成为兼职创作者，请联系微信：RoseBrain

一键三连「分享」、「点赞」和「在看」

不错每一条脑机前沿进展 ~