不同神经记录模式和方法下的视觉信息神经解码

脑机接口社区

于 2023-11-20 09:21:12 发布

阅读量551

点赞数

文章标签：人工智能

本文链接：https://blog.csdn.net/zyb228/article/details/134522297

版权

每天，来自外部环境的各种感知信息通过不同的模式传输到大脑，然后经过处理产生一系列应对行为。在这些感知模式中，视觉可以说是外部环境与大脑互动的主要贡献者。

大约 70% 的人类感知信息来自视觉，远远超过听觉系统、触觉系统和其他感官系统的总和。视觉系统是中枢神经系统的一部分，用于视觉感知、处理和解释视觉信息，以建立视觉环境的表征。

它由眼睛、视网膜、向丘脑传导视觉信息的纤维、上丘和部分大脑皮层组成。如今，研究人员可以使用不同的记录方式，如尖峰脉冲(Spike)、脑电图(EEG)和功能磁共振成像（fMRI）--收集来自视觉系统不同部分(如视网膜，外侧膝状核(LGN)和初级视觉皮层(V1)皮层等)的大脑活动的神经信号。

图示为两种类型的视觉神经解码

神经编码是理解大脑如何处理来自环境的刺激的一个重要课题。神经解码的目的是读出嵌入在各类神经信号中的信息。在视觉方面，了解神经元如何感知和响应丰富的自然视觉信息是神经编码的一个重要课题，而视觉信息的神经解码的目标是尽可能地从神经反应中恢复原始刺激。

这对于开发脑机接口和虚拟现实设备所使用的人工视觉也至关重要。

近几十年来，人们一直在努力研究视觉通路中神经解码的各种机制。根据解码类型的不同，这些机制大致可分为三类：

视觉刺激分类：将特定刺激归类到最佳匹配图像集中；
视觉刺激识别：将刺激与特定的视觉对象进行识别；
视觉刺激重建：根据神经反应重建相应的视觉刺激。

大多数解码方法由于其可解释性和计算效率而依赖于非线性方法。虽然线性解码方法能够从神经反应中解码空间均匀的白噪声刺激和自然场景刺激的粗糙结构，但这类方法难以恢复自然图像的精细视觉细节。最新的解码器利用非线性方法对复杂的视觉刺激进行精细解码。

例如，最优贝叶斯解码法可用于白噪声刺激，但对大型神经群体的泛化能力有限。对于自然场景图像结构，关键先验信息被用来执行计算昂贵的近似贝叶斯推理。一些研究人员将线性和非线性方法结合起来，通过钙成像数据对自然刺激进行粗略重建。此外，许多研究人员已开始成功地将深度学习技术用于视觉神经解码，从而在人工视觉领域取得了巨大成就。

视觉神经解码是一个重要课题，有助于推进脑机接口等工程应用，以及神经科学领域对大脑更全面的理解。考虑到视觉神经解码相关技术的快速发展，该领域对全面、最新的综述有着强烈的需求。

在发表于《Machine Intelligence Research》杂志的一篇新综述中，研究人员梳理了视觉神经解码的研究演变。这篇综述介绍了各种神经记录模式，尤其是新兴的钙成像数据。

这是一篇关于视觉系统神经解码的综述，以启发神经科学和多学科研究人员了解神经解码的最新技术和当前问题，特别是在人工智能和类脑视觉系统的发展。

在本文中，团队总结了不同神经解码方法的优缺点。此外，还提供了开放资源，包括公共资源、神经数据和软件工具包，以方便神经解码研究。最后，他们总结了他们对本研究前景的开放挑战和未来方向的看法。

多种记录神经模式

研究人员首先简要分析了随着这一研究领域的发展，解码任务（即分类、识别和重建）的演变过程。然后，他们介绍了视觉神经解码中使用的主要神经记录模式，包括spikes信号、脑电图、fMRI 和钙成像信号，并分析了所获得数据的特点。本文中的图表展示了利用神经记录模式获得的信号特征，并总结了信号类型、数据结构以及空间和时间分辨率的差异。

研究人员汇总近几十年来在这一领域提出的主要类型的解码方法。首先是线性解码方法。由于线性方法的可解释性和计算效率，大多数早期的视觉神经解码方法都依赖于线性方法。然而，线性方法的表征能力有限，难以重建自然图像的精细视觉细节。

第二种是基于贝叶斯的解码方法。在视觉神经解码任务中，贝叶斯解码模型通常优于简单的线性解码模型。不过，贝叶斯解码方法也存在一些限制。贝叶斯解码方法通常必须借助专门设计的模型所编码的特定先验信息。整个解码过程中参数的确定需要详细说明。