李吉星研究员 ：为什么我们能听懂别人的话？

在之前举行的“TCCI-neurochat神聊2022”会议上，香港城市大学助理教授李吉星与大家分享了在不同时间维度下建模语言处理，包括其所在团队使用自然范式和传统实验室范式完成的四个研究。在会议期间，观众留下了针对该报道的一系列精彩的问题。对此，追问编辑团队精选了有待回答的问题，并对相关问题进行了进一步的追问。

李吉星博士毕业于康奈尔大学语言学系，曾在纽约大学阿布扎比分校神经语言学实验室从事博士后工作，现为香港城市大学助理教授。她的研究方向为语言的表征和计算的认知神经机制。她的研究融合了语言学，自然语言处理和认知神经科学的理论和分析方法，运用统计和机器学习来对比心理语言学的假设和人脑在加工语言时的神经影像数据，包括fMRI，MEG和EEG等。

Q：请简单介绍一下您的研究领域，您为何选择该领域？

李吉星：我的研究领域是计算神经语言学，具体来说就是结合计算模型和神经影像的数据，包括功能性磁共振成像（fMRI），脑磁图技术（MEG）和脑电图（EEG）等来理解人脑是如何加工语言的。我选择这个领域是因为我想要更好地理解语言，这一人类特有的技能。现在，深度学习领域飞速发展，人工智能可以在很大程度上模拟人说话，这些进步让我们看到了在计算机制上理解语言的神经基础的可能性。我认为现在是研究这个领域的最好时机。

Q：您在神聊会议中和我们分享了您关于代词的研究，代词在人类语言中使用甚广，目前关于代词加工的神经语言学机制有哪些？在人脑中如何表征？

李吉星：其实目前关于代词的神经语言学的研究并不多，之前的研究主要还是集中在定位（localization），主要在讨论哪些区域在负责代词的加工。比如中颞叶（middle temporal lobe）、额中回（Middle Frontal Gyrus）或是角回（Angular Gyrus）。此外，对于代词具体的加工机制研究也很少，基本没有相关的研究。我的工作主要是运用计算模型比较了几种可能的加工机制，结果发现以工作记忆为基础的计算模型，可能是目前最符合人脑加工代词机制的模型。当然，不排除未来可能会有更好的模型。

Q：您是如何选择相关的计算模型以检验最贴近大脑加工代词的算法？如何提高这些模型的表现？

李吉星：选择计算模型主要有两种方式，可以选择理论驱动的模型或是数据驱动的模型。理论驱动的模型主要是通过语言学，心理语言学以及一些认知神经的理论来构建所需的模型。数据驱动的模型主要来源于工程领域，比如以注意力为基础的GPT模型（Generative Pre-Training），这种模型不是根据理论建立的，但它们也可以完成理解代词的任务。

模型的检验可以通过对比收集到的神经影像数据，包括fMRI和MEG的数据。在代词加工的时候，将这些数据和模型做拟合，比较模型的预测和人脑数据之间的相关性来决定哪一个模型是更贴近大脑的模型。提高模型的表现其实是个工程学的问题，是否在工程上表现得最好的模型就是最贴近大脑的模型是个值得探讨的话题。

Q：是不是需要更多的数据来提高模型的表现？

李吉星：如何用神经影像的数据来提高模型的表现是一个非常好的问题。我觉得现在我们主要还是运用计算模型来建模认知神经，这个方向的研究比较多，但是反过来，如何用神经影像的数据来建立和改善 brain- inspired的计算模型，这方面做的还是比较少的。简单来说，从计算到神经有比较广泛的研究，而从神经到计算的研究还在发展之中。

Q：对于中英文语言体系，它们的代词加工过程有何异同？这些不同在神经机制中是如何体现的？

李吉星：我个人觉得最大的不同可能在于中文的代词在口语中并不区分性别，而英语中男性，女性和中性的代词是不一样的。这对代词加工的机制可能产生的影响是中文母语使用者可能更加依赖于上下文语境来确定代词指代的对象，而英文母语的使用者因为有代词性别的信息从而对语境的依赖较小。比如当你听到“Ta喜欢Ta”时，在中文语境中需要上下文才能确定性别信息，而在英文中可以直接确定。

有的模型是依赖于性别的信息，因为它会涉及动词的一致（agreement）的变化，但有些计算模型不依赖于词性的的信息，可能这种依赖于上下文的，不依赖于词性的模型，会更贴近于中文母语使用者的神经机制。

Q：哪些认知功能影响着我们理解代词指代对象的过程？

李吉星：我认为工作记忆可能是影响代词加工的最重要的因素。此外，语境和句法也很重要。句法主要是对需要句法的语言来说更重要，比如英语，除了性别信息，它还有数量的信息，当你用they的时候，代词和动词的单复数也要变化，所以句法也很重要。

Q：您的一项研究探索了语义组合与语义关联在大脑左颞叶的活动模式，可以和我们解读下语义关联和语义组合的交互作用吗？

李吉星：在大脑中理解词组是一个复杂的过程，词组是由两个词单独的意思组合而成，当我们理解一个词组的意思时，词与词之间的关联越大，越容易整合。比如法国奶酪就比韩国奶酪更容易理解，尽管后者也是一个语法上合理的词。语义组合和语义关联的独特调节着大脑中左前颞叶和中颞叶 (LATL; LMTL)的活动。具体来说，LATL 对关联性大的词组短语最敏感，而 LMTL 对关联性低的词组短语有更多的反应。

Q：研究发现从LATL到LMTL存在显著的信息流，这代表着什么？

李吉星：其实这有很多种解读，我的解读是LATL既负责加工词组整合，也负责加工关联，而LMTL主要就是加工词与词的组合。从LATL到LMTL可能意味着在LATL加工的词与词之间的关联，会影响在LMTL加工的词与词的整合。因为LMTL的加工在时间上会晚一点，所以可能当我们听到一个词组的时候，我们先关注到的信息是这两个词之间的联系性，然后再做了整合。

Q：您认为在自然范式下和在传统实验范式下研究语言加工，各自的优缺点有哪些？如何验证孰优孰劣？

李吉星：自然范式的优点就是符合我们平日使用语言的环境，同时可以配合计算模型提出不同的研究问题。比如我们收集的中文、英文、法语母语的被试听小王子的fMRI材料除了可以用来研究跟语言相关的问题，还可以用来研究记忆，情绪，跨文化比较等课题。此外，自然范式和运用计算模型会非常契合。传统实验范式的缺点就是不自然，但是跟自然范式相比它少了其他复杂的变量，更聚焦于我们的研究问题。同时，我认为实验范式和动物研究更接近，有利于和动物实验的结果做比较。

Q：自然范式实验中的文本材料，其挑选准则有哪些？比如在代词加工的研究中，您选择了小王子作为材料，不同类型的文本材料会对研究有影响吗？

李吉星：这是个非常好的问题，我认为首先需要结合被试的年龄和教育背景，选择适合被试的材料。过于书面语的材料可能不太适合用做实验的听力材料，最好选择简单易懂的材料。另外可以考虑材料是否可以扩大到其他语言，为后续的研究做铺垫。选择小王子主要考虑的是小王子被广泛地翻译为了不同的语言，同时它的文风也是简洁易懂的。

Q：您实验室未来的研究重点是什么？

李吉星：我的实验室未来的研究重点主要在两方面，一是运用计算语言学的模型来更好的理解人脑加工语言的神经机制；第二个方向是利用我们所理解的神经机制构建更贴近人脑的计算语言模型。