Nat Neurosci：科学家成功利用深度神经网络来预测人类机体大脑是如何处理加工自然声音的

近年来，机器学习技术加速并创新了包括神经科学在内的众多领域的研究，通过识别实验数据中的模式，这些模型或许就能帮助预测与特定经历或感官刺激处理相关的机体神经过程。近日，一篇发表在国际杂志Nature Neuroscience上题为“Intermediate acoustic-to-semantic representations link behavioral and neural responses to natural sounds”的研究报告中，来自法国国家科学研究中心等机构的科学家们通过研究尝试利用计算模型来预测人类大脑是如何将声音转化成为周围环境中所发生的事情的语义表征的；一些基于深度神经网络（DNN, deep neural network）的模型或许就能更好地预测来自神经成像和实验数据的神经过程。

研究者Bruno Giordano说道，我们的主要兴趣就是对自然声音是如何在大脑中被感知和表现进行数值预测，而且利用计算模型来理解如何将所听到的声音转化为听觉环境中物体和事件的语义表征；而目前在这方面所面临的一个大的障碍并不是缺乏计算模型（新的模型会定期被发表），而是缺少对其所解释的行为或神经成像数据能力的系统性比较。于是研究人员的关键目标就是系统性地比较不同计算模型在预测自然声音的神经表征方面的表现，在实验中，研究人员评估了三类计算模型、即声学、语义和声音到事件的DNN。

研究者指出，在COVID流行的头几个月，我们开始讨论了需要对计算模型进行系统性地比较，而经过几次远程头脑风暴会议后，研究人员意识到他们已经获得了回答问题所需要的数据：在2009年所收集的行为数据库中有20名加拿大参与者，其评估了一组80个自然声音的感知差异；2016年收集的fMRI数据库中有5名荷兰参与者，其听到了一组不同的288个自然声音，同时研究人员还记录了其机体fMRI的反应。在不需要在实验室中收集新数据的情况下，研究人员开始着手利用在此前实验中所收集的数据来测试三种计算模型方法的性能和表现；具体而言，他们将呈递给人类参与者的声音刺激投射到了不同的计算模型中，随后测定其能预测参与者对刺激所产生的反应以及在大脑中所发生事情的程度。

科学家成功利用深度神经网络来预测人类机体大脑是如何处理加工自然声音的。

图片来源：Nature Neuroscience (2023). DOI:10.1038/s41593-023-01285-9

研究者Giordano表示，我们被谷歌公司所开发的声音到事件DNNs优于竞争性的声学和语义模型的程度所震惊；同时我们也能很好地预测行为和fMRI数据以便将声音投射到DNNs上，这样研究人员就能从2016年荷兰参与者的fMRI反应来预测2009年加拿大参与者机体的行为，即使其所听到的声音完全不同。研究者发现，基于DNN的模型能大大超过基于声学的计算方法和将声音归入不同类别（比如声音、街道上的声音等等）从而反映大脑反应的技术，与这些更为传统的计算方法相比，DNNs能以更高的准确率来预测神经活动和参与者的行为。

根据研究人员的观察以及基于DNN模型所产生的输出数据，研究人员还推测，人类大脑对声音的理解方式与其处理单词的方式相类似，尽管单词的意义是通过处理单个字母、声音和音节来进行推断的，然而，声音的意义则可能是通过结合一组不同的基本单元来进行提取的。目前研究人员正在收集新的神经神经成像数据来测试研究人员在研究中所提出的关于这些基本单元可能是什么的具体假设，他们正在训练新型以及更像大脑的神经网络从而进行自然的声音处理；比如，研究者Michele Esposito就开发出了一种特殊的神经网络，其能学习语言声音描述符的数字表示（语义嵌入），而并不是声音事件类别，该网络酱紫啊2023年的国际声学、语言和信号处理（ICASSP）大会上进行展示，其在预测自然和声音感知方面要优于谷歌公司的网络。

综上，本文研究结果表明，大脑的颞上回(STG)需要从声学到语义的中间声音表征，这些表征既不是声学模型也并不是语义模型所能解释的，而且这些表征在本质上具有一定的构成性，与行为无关。（生物谷Bioon.com）

原始出处：

Giordano, B.L., Esposito, M., Valente, G. et al. Intermediate acoustic-to-semantic representations link behavioral and neural responses to natural sounds. Nat Neurosci 26, 664–672 (2023). doi：10.1038/s41593-023-01285-9