记忆是如何形成的？哪些事情会被我们记住？为何有些记忆会经久不忘？
要想解答这些亘古之谜，需要明白生物的记忆远不同于在记事本上记日记，更不像如计算机磁盘那样可以反复读写。记忆的生成、巩固和读取并非执行单一的、简单的指令，而是涉及一个精巧的、多步骤的复杂过程。
近日发表在Nature Human Behaviour的一篇论文[1]，经由AI深度生成模型，阐释了人脑是如何存储和重建记忆的独特感觉和可预测概念元素的。
▷原始论文：Spens, Eleanor, and Neil Burgess. 'A generative model of memory construction and consolidation.' Nature Human Behaviour (2024): 1-18.
神经科学的进展，最初来自于那些大脑部分损伤的可怜病患，著名的病例H.M.（Henry Molaison）就是由于海马体的损伤，失去了形成新记忆的能力，但保留了一些基本技能和长期记忆。科学家由此认定海马体在新记忆的形成时发挥重要作用。
然而，随着研究的深入，科学界发现海马体不仅仅参与记忆的形成，还在其它认知功能中发挥着重要功能，例如海马体中的“位置细胞”（place cells）在空间记忆和导航中起着重要作用。海马体损伤的患者可能会难以回忆起曾经去过的地方或者抵达某个目的地的方式与过程。
之后更多的研究还发现，阿尔茨海默病中，海马体是最早受到损伤的区域之一。此外，海马体还与情绪调节有关，其损伤可能导致情绪波动、焦虑和抑郁等情绪问题。这些发现意味着人们最初以为科学家找到了人脑用于临时存储的“内存”，结果发现这个内存不仅是待写入信息的缓冲区，还参与信息的提取和调控。
越来越多关于海马功能的发现，让普通人乃至专家都对海马的具体功能感到迷惑，也许并非是海马体的功能多么复杂多变，而是我们搞错了研究方向？
电脑的存储分为高速缓存，内存，硬盘等多级存储。而人脑的记忆按照时间来分，只分成两档：短期或工作记忆和长期记忆。长期记忆又可细分为语义记忆（Semantic Memory）和情景记忆（Episodic Memory）。语义记忆类似于词典，涉及对世界知识的记忆，如历史事件、科学事实等；情景记忆更像私人化的笔记，涉及个人经历，如第一次骑自行车的经历。
具体来说，情景记忆涉及时空背景下的自传体经历，对应“我是谁”、“从哪里来”的问题；而语义记忆涉及事实知识，回答“我能做什么”、“想到哪里去”等问题。只有同时具有这两种记忆，才能算一个完整的人。可问题是，我们就只有一套神经系统，如同准备了一桌菜，来了两桌人，大脑该如何应对？
之前的研究表明，情景记忆可以通过海马体的事后回放来快速捕获转瞬即逝的多模式体验，因此被认为具有建设性。回忆是对过去经验的（重新）构建，而非单纯地检索一个副本。正是有了这一次次的回放，使得在进化上较新的新皮质能够从多种感官的体验中找到统计规律，从而形成语义记忆。这看似解释了大脑如何产生记忆，然而细究起来，情景记忆的重建机制及其与语义记忆的关联尚不清楚，例如我们不知道大脑是如何从情境中筛选关键特征的。而这是本文主要介绍的研究想要解决的问题。
该研究新提出的记忆模型模拟了如何使用记忆的初始表征来训练一个生成式人工神经网络。研究人员向模型播放了10000张简单场景的图像，其中模拟海马体的部分网络快速编码所经历的每个场景。随后，该网络反复回放这些场景，以训练模拟新皮质的生成神经网络。
这个待训练的网络通过学习经历过的事件（或“模式”）的统计结构来重建记忆。生成网络将每个场景中代表数千个输入神经元（接收视觉信息的神经元）的活动传递给一个更小的神经元中间层（最小的层仅包含20个神经元），从而将场景重建为数千个输出神经元（负责预测视觉信息）的活动模式。
训练过程如图1a所示：首先，海马体快速编码事件；然后，在接受海马体回放表征的训练后，生成网络逐渐接管。这一过程使得记忆更加抽象，更支持概括和关系推理，但也更容易出现基于要点的扭曲。生成网络可用于重建（用于记忆）或构建（用于想象力）感官体验，或直接从其潜在变量表示中支持语义记忆和关系推理。
▷图1：生成模型的训练过程与其内部的更细节结构。来源：原始论文
上述模型看起来复杂，但却不难理解。想象一个一见钟情的少年，只是见了女孩一次便念念不忘，在脑中一遍遍回放见面的每个细节。经过一次次回放，大脑的某个区域熟能生巧，能够生成一个关于这个女孩的种种场景。这时，少年对那次相遇的记忆经由一次次的回放而扭曲，他开始幻想着和女孩牵手的样子，这些都形成了情境记忆。而大脑的新皮层则在搜寻女孩出现规律的种种线索，而这就会成为陈述性的语义记忆。
在上述过程中，海马的功能不再是一张用作中转的草稿纸，而是更像是老师，经由自联想网络给生成模型提供指导。而生成模型训练的过程，可视为记忆巩固。在巩固过程中，记忆从一个神经网络转移到另一个神经网络。巩固后，生成网络对记忆中包含的信息进行编码。一旦生成网络学会重建特定事件，对它的依赖就会随时间增长。
具体来说，生成网络被设计成一种特殊类型的自编码器，即变分自动编码器（VAE，图1b）。在这种编码器中，数据被压缩到最紧凑的层，这一层代表了一组潜在变量。我们可以从这些潜在变量中采样，以生成与训练数据集相似的新实例。这些潜在变量可以被认为是观察数据背后的隐藏因素，而在潜在空间中的不同方向可以对应于数据的有意义变换。VAE的编码器负责将感官体验转换为潜在变量，而解码器部分则负责将这些潜在变量还原为感官体验。在对一类刺激进行训练后，VAE可以基于该类别的一般模式，从部分输入中重建此类刺激，并生成与该模式一致的新刺激。
在感知过程中，生成模型根据其重建误差（输入和输出表示之间的差异，也称为“预测误差”）来持续评估体验的新颖性。事件中与先前经验一致的部分（即重建误差较低的部分）不需要在海马体中的自关联“教师”网络中进行详细编码。当生成网络的重建误差降低到一定程度时，就不再需要依赖海马体的记忆轨迹，从而为新的记忆编码释放出空间。重建误差阈值可能会根据刺激的重要性或可用注意力资源的数量而变化。例如，情绪显著性可以降低这个阈值。
上述过程我们继续用少年遇到梦中女神的例子解释，在回放与女孩初次相遇的场景时，大脑可能不会过分关注场景中熟悉的部分，而会专注于最新奇、最有价值的部分。在少年初遇女孩后可能会有一段意乱神迷的时间，这段时间发生了什么可能完全没有记忆。这是因为在这段时间内，海马体正专心作为生成网络的“老师”，并未有足够的资源接收新的外部信息。一旦大脑判断记忆中的女孩与实际经验中的女孩相似度足够高（纤毫毕现），海马体便会重新被释放出来，用于编码新的感官体验，形成记忆。通常，这种情感冲击大的记忆更新频率不高，上下文的连贯性较差，往往只包含少数几个场景。
在这个新的框架下，记忆巩固可能不仅仅是细粒度的感官表征更新粗粒度的概念表征的过程，而是将粗粒度和概念性表征与细粒度和感官性的一系列表征结合在一起的过程。例如，海马体在编码遇见女孩的那一天时，可能会将“女孩”和“心动”等粗粒度概念，与诸如陌生歌曲的旋律或特定沙滩的景象等感官表征结合在一起。
▷图2：场景（森林遇到狼）被编码为与生成网络的潜在变量相关的可预测的概念（森林）特征和生成网络预测不佳的不可预测的感官特征（狼）的组合。来源：原始论文
将记忆巩固过程视作更精细表征替代粗糙表征，并不利于大脑高效运算。在感知过程中，每个体验元素的重建误差是通过生成模型计算出来的。那些具有高重建误差的元素在自联想网络中被编码为感觉特征，同时还与生成模型的潜在变量表示相关的概念特征也一并被编码。换句话说，每个模式都被分成两部分：一是可预测的组件（近似生成网络对模式的预测）；另一个是不可预测的组件（具有高预测误差的元素）。这样的处理方式产生的向量比详细存储每个元素要稀疏得多，从而提高了大脑的处理效率，避免了类似于电脑硬盘碎片化导致的卡顿。
而为了验证上述架构是否能够拆解感官从而进行推理，研究者设计了如图3b中的题目。而前述的人工神经网络能够经由训练（图3a），完成对新概念的解码，并在记忆中对元素进行组合（这被称为想象，对应图3c中的图像）。此外，这些模型还能超越个别经验，利用共同的抽象特征通过同一生成网络处理不同的记忆（图3d）。这说明该模型已经学习了数据的一些概念结构，支持“A和B有特定关系，那么类似的，C与X有对应关系吗？”这类推理任务，并为记忆的灵活重组提供了一个模型，而这被认为是情境思维（类比）的基础。
▷图3：生成模型中的学习、关系推理和想象。来源：原始论文
前文谈了记忆经由概念提取来关注更出乎意料的部分，然而，大脑的生成网络为了能尽快完成重构任务，会选择夸大新元素的某些特征。就如怦然心动的少年只会记得女孩吸引人的那一面。在人工神经网络的模型中，我们也能观察到类似的记忆扭曲现象。
研究者让模型记住手写数字，之后对比模型重构的数字与输入数字（图4a）。结果发现，重构的数字加强了各数字的典型特征，使得同一类别内的数字图像间差异减少（图4b），聚类后重建的图像边界更清晰，区分更明显（图4c，d）。这意味着即使在训练期间没有给出类别信息，生成网络的回忆也会将刺激扭曲为更典型的表征。随着对生成模型的依赖增加，这种失真程度也相应增加。
▷图4：手写数字训练过程中放大了各数字的典型特征。来源：原始论文
回到少年初遇梦中女孩的场景，在少年的记忆回放中，女孩可能总是处在画面的中心，画面的尺寸也不多，尽管实际上他可能只是在人群中远远地看着女孩。这种记忆中对画面边界的延伸和收缩，是记忆扭曲的一个典型表现。而在人工神经网络的实验中，生成网络提供的一系列新场景，与训练集中的场景相比，生成的场景大多被“放大”或“缩小”（图5f，g）；关键刺激的重建被扭曲为“典型视图”（图5e），这与人类记忆数据中观察到的现象相似。
▷图5，记忆扭曲中的边界延伸和收缩现象。来源：原始论文
正如情窦初开的少年会按照看过的电影小说中的样子来回忆和女孩的相遇，人们在记忆重建中也常常依赖于已存储的模式。例如，在编码后不久，回忆会偏向于该类别的“平均值”（图 6a，b）。当编码的错误阈值较高时，这种趋势更加明显，因为对“原型”表示的依赖程度更高，导致对新特征的回忆较少。在较低的错误阈值下，编码了更多的感官细节，即记忆轨迹的维度更高，重建误差也就越低。这表明失真较低，但会牺牲重构效率。
▷图6：a，在回忆过程中，在自联想网络中检索编码的概念，确定生成网络重建的原型场景。这会使回忆偏向于作为上下文提供的类。b，扩展模型中的记忆失真，当原始场景（包含模糊的模糊形状）使用给定概念进行编码时，由该类的潜在变量表示。然后，生成网络处理部分输入，以生成预测的概念特征和该概念的原型未预测的感觉特征（在本例中为白色方块）。然而，MHN中的模式补全再现了最初编码的感觉和概念特征，并且这些特征被重新组合以产生最终的输出。来源：原始论文
心理学研究发现，人们有时会错误地认为自己听到的故事包含了未曾出现的单词，而这仅仅是由于该单词与刚刚讲述的故事主题相关。这是记忆在重构过程中经由已有模式产生扭曲的另一个实例。图7展示的实验说明了这样的现象，并指出无论是人还是AI模型，都出现了这一现象。这让人想起大模型的幻觉，虽然两者有着不同的记忆机制，却有着相似的特征（缺陷）。
▷图7：训 VAE来重建简单的故事，之后发现AI和人一样会听到未曾听过的单词。来源：原始论文
为了生存，人类需要从过去的经历中提取模式，以预测未来的事件。而人工神经网络的模拟表明，当我们在休息时，大脑会重放记忆，从过去的经历中提取模式，帮助进行有利于生存的预测。在这个过程中，海马体和新皮层在记忆、想象力和计划过程中协同工作，以便我们既可以回忆特定的经验，又可以灵活地构想新的情景。新皮质网络通过学习对场景的高效“概念”表示，捕捉它们的本质，使得重现过去的场景和创造新的场景成为可能。这一过程让海马体可以专注于编码新皮层无法轻易复制的独特特征，比如新颖的刺激，而无需存储每一个细节。
该框架将记忆整合视为一个持续的终生过程，而不是在单个数据集的编码过程中引入新的复杂性。它考虑到了对旧数据的修修补补，包括潜在表征的不稳定性，从而增强了记忆的鲁棒性。生成网络对新记忆的吸收有助于防止已经巩固的记忆发生灾难性的遗忘。
在这个框架下，我们可以理解为什么海马体的损伤会影响新记忆的形成，以及为何这种损伤与阿尔茨海默症患者提取已有记忆的缺陷有关。此外，这还说明了为什么海马体异常与需要记忆调节情绪的精神疾病（如抑郁症）有关。在该框架中，语义记忆变得独立于海马体：生成网络所学习到的潜在变量的表示形式构成了事件的“关键事实”，从而支撑了语义记忆；而情景记忆仍然依赖于海马体，其扭曲则源于大脑生成网络的运作。
该模型框架还对心理学对记忆的现有长期记忆二分提出挑战，即真正的情景记忆是否需要事件独特的细节，以及这是否需要海马体？在模型中，事件的独特细节最初是由海马体提供的，但也可以由生成网络提供。例如，如果你知道有人参加了你的生日聚会并送给你一份特别的礼物，这些个人语义事实不必依赖于海马体，但可以生成一个具有正确的事件特定细节的场景，这似乎就是情景记忆。随着生成模型的依赖概念越来越多，大脑在构建对新刺激的模型时将更多地依赖于语义记忆，这在经济上是合理的，但这同时意味着思维的僵化或者深入骨髓的偏见。
隐藏在情景记忆和语义记忆的差异之下的，是该研究中反复出现的“记忆巩固”。正是由于记忆巩固，人类可以通过少量尝试就学会新事物，但这也带来了记忆偏差的扭曲。情景记忆和语义记忆之间应当是一条连续的光谱，随着越来越多的概念被提取，认知的抽象层次也随之提高，逐渐与特定经验脱离，从而情景记忆转化为语义记忆。
无独有偶，近日Nature Communications的一篇相关主题论文[2]，基于强化学习框架构建的AI模型同样指出，海马体提取隐藏表征的过程与待完成任务与主体的行为实验共同进化，进一步佐证了该文观点。
总之，记忆与想象之间的边界远比我们想象的要模糊。海马体与新皮层的协作，不仅是记忆存储和回忆的基础，也是想象力和创造力的核心。正是这种内在的、动态的再创造过程，使得每个人的记忆和体验都富有个性，独一无二。
*本文为论文的科普文章，并未涉及原文更为技术的部分以及神经科学细节部分，感兴趣的朋友还请具体参照原文[1]。
参考文献：
1. Spens, Eleanor, and Neil Burgess. 'A generative model of memory construction and consolidation.' Nature Human Behaviour (2024): 1-18.
2. Cone, Ian, and Claudia Clopath. 'Latent representations in hippocampal network model co-evolve with behavioral exploration of task structure.' Nature Communications 15.1 (2024): 687.
联系客服
