Nature：有意思！科学家揭示大脑如何学会寻求奖励？

试想一下，你正在教狗狗玩接球游戏，你扔出一个球，狗狗就会追着跑，捡起球然后叼回来给你，然后你就会奖励它一点吃的东西，但对于狗狗而言真正的诀窍是，要搞清楚这一事件序列的哪一部分让它获得了奖励，科学家们将这种现象称之为大脑中的“信用分配问题”（credit assignment problem），而这是一个关于理解哪些行为主要负责我们所经历的积极性结果的基本问题。多巴胺是大脑中一种关键的信使物质，其在这一过程中发挥着重要作用，但大脑具体是如何将特定的行为与多巴胺的释放联系起来的，目前研究人员尚不清楚。

近日，一篇发表在国际杂志Nature上题为“Dynamic behaviour restructuring mediates dopamine-dependent credit assignment”的研究报告中，来自哥伦比亚大学等机构的科学家们通过研究揭示了其中的奥秘，他们发现，多巴胺不仅发送奖励信号，还能引导动物通过试验和错误来确定导致这些奖励的特定行为。有趣的是，研究人员还发现，大脑的奖惩系统能迅速并动态地改变动物机体的全部动作和行为，这或许就凸显出了一种复杂的学习策略，在该策略中，机体的行为不仅能得到强化，还能通过经历积极地塑造和调整。

研究者Costa说道，当你强化行为时，我们通常会认为这仅仅是一种行为，但事实或许并非如此，你正在改变整个行为结构，真正令人惊讶的是其速度到底有多快。为了揭示这些见解，研究人员通过联合研究开发了一种新型闭环系统，其能将小鼠的特定行为与实时的多巴胺释放相关联。随后研究人员给小鼠配上了无线传感器来追踪其在一个简单受控空间中的运动行为，紧接着他们将来自小鼠的数据输入到机器学习算法中，该算法能将这些行为分成不同的组，研究者利用光遗传学（一种用光来控制神经元的方法）进行研究，一旦小鼠完成预定的“目标动作”就能刺激多巴胺能神经元。

图片来源：https://www.nature.com/articles/s41586-023-06941-5

研究者发现，小鼠在多巴胺释放后会迅速改变自身的行为，最初，他们不仅会增加目标行为的频率，还会增加类似的行为动作以及在多巴胺释放前几秒钟发生的动作的频率；与此同时，与目标不同的动作行为就会迅速减少，随着时间推移，这种改进就会变得更加精确，小鼠也会越来越关注导致多巴胺释放的确切动作。此外，研究人员还分析了小鼠如何学习一系列动作，揭示了一种类似于倒带时间（rewinding time）的关键过程，只在理解到底是什么机制诱发了这种奖励行为；当诱发多巴胺的行为发生在更远的地方时，小鼠的学习速度就会变得更慢，这就表明，动作行为之间等待的时间越长，小鼠就越难以将动作顺序与奖励联系起来。从本质上来讲，在获得奖励之前的行为会被迅速掌握并完善，而较早的行为则会逐渐被完善，这种“倒带”过程会增强这种行为并帮助小鼠逐渐确定哪些精确的动作和顺序会产生相应的奖励。

研究者Jonathan Tang表示，这些研究发现会影响包括教育和人工智能等多个领域，比如，允许在课堂上进行探索、犯错以及逐步完善可能更符合我们大脑天生的学习过程。在人工智能领域，这些见解或许就会带来更为复杂且更高效的学习系统，而通过更好地复制生物学学习过程，研究人员就能创造出更善于适应新数据和新状况的人工智能。这项研究或能帮助研究人员更深入地理解大脑如何通过试验和错误来不断学习和适应的。研究者Tang表示，我们认为很多事情都是理所当然的，包括信用分配，但只有当我们真正开始投入其中时或许才会意识到复杂性所在，这就是为何我们从事科学研究的原因，即找到事务的真相。

综上，本文研究中，研究人员识别出了一种回顾性强化机制，其不仅能促进大脑的强化还能逐渐完善整个行为库，从而就能将功劳分配给导致多巴胺释放的特定动作和动作顺序。（生物谷Bioon.com）

原始出处：

Tang, J.C.Y., Paixao, V., Carvalho, F. et al. Dynamic behaviour restructuring mediates dopamine-dependent credit assignment. Nature (2023). doi：10.1038/s41586-023-06941-5