文献共读 Day2

文献信息

Wittkuhn, L., Chien, S., Hall-McMaster, S., & Schuck, N. W. (2021). Replay in minds and machines. Neuroscience & Biobehavioral Reviews. Advance online publication. https://doi.org/10.1016/j.neubiorev.2021.08.002

回放（replay）：
与经验相关的大脑 活动模式 会在动物和人类 “睡眠、清醒时的休息（wakeful rest）和短暂暂停（brief pauses from active behavior）” 时被 重新激活（即神经回放）。神经回放被发现对 记忆、学习和决策 等都具有很大的好处。而机器学习的研究也发现这种经验的回放可以大幅度地提高人工代理的性能。

本研究将介绍 神经科学 和 机器学习 研究中提出的关于回放（replay）的假定计算函数（putative computational functions）。并将着重指出回放重新激活的是 抽象的内部表征 而不是真实的记忆本身，从而讨论回放是如何提供一种机制来构建内部表征以提高学习和决策能力的。

文献解析

*注：因时间和机器学习相关知识积累不足，关于机器学习的主要内容没有细读，未阅读的部分列出了框架以备查询和后续阅读。

1 Replay in the brain

*此部分并非完全来自该篇论文，有个人前期总结部分，有误请指出。

神经回放主要的机制为 尖波涟漪 (sharp wave ripples, SPW-Rs) 的爆发，在尖波涟漪爆发期间，回放以一种 时间压缩 的形式产生，沿着与先前经验顺序 相同或相反 的方向重复先前的神经放电序列。

• 最显著特点：短暂的高频波（SPW-Rs）、时间压缩（以比现实事件发生快几十倍的速度进行）、回放的顺序可能和经验相同也可能相反（并且反向回放和更多高级认知功能相关）【这和昨天的文献中提到的学习和预测具有一定的相似性】
• 相关脑区与结构：海马（最主要）、新皮层、默认网络（DMN）、内侧颞叶（MTL）
• 研究方法：前期主要为动物研究（空间记忆，经过的位置序列放电）；近几年通过IEEG、MEG、fMRI可以对人类进行研究（涉及领域更多：记忆、学习、推理、决策等）；1991年回放就被引入机器学习，回放在最近训练深度神经网络(DNNs)玩雅达利(Atari)电子游戏（Playing Atari with Deep Reinforcement Learning, 2013）后再受到关注
• 关于回放对记忆的研究还是最主要的，海马体和大脑皮层在回放时的相互作用，和 记忆巩固 的理论是一致的，回放可能在这一环节起到了重要的作用。

2 Computational benefits of replay

人脑的神经回放 Vs 机器学习（ML）中的回放：

• 一个未被探索的问题：回放是否涉及感官记忆或过去的内部表征？回放是否可能参与形成内部表征？
  • hypothesize：content and function of replay is determined by its interplay with the agent’s current representation of the task and the representational demands of the task at hand

回放的具体功能（未阅读）：

Faster learning and data efficiency

• 回放可以加速 经验中的逐步学习，支持 credit assignment

• 反向回放（backward replay）示例

Less forgetting

• 回放可以防止覆盖以前的经验
• 回放会放大rare events对学习的影响

Re-inventing the past

• 回放会随机重新激活先前经验
• 回放会优先考虑有价值的经验
• 回放以新颖的方式连接经验
• 回放用过去的经验来学习新的目标

Planning for a better future

• 回放直接或间接地影响行为
• 预演（Preplay）有助在未知环境中进行规划

Inference and generalization

• 回放反映generalizable information和transition structure

Representation learning

• 回放反映状态的表征
• 回放可以支持学习有用的表征吗？

3 Not everything can be solved by replay

本文介绍了很多 replay-like mechanisms 支持 intelligent behavior 的方法。但是回放的功能真的如此广泛吗？它是否只是一种科学潮流？

• 回放的 定义 在学界尚未统一，这导致将很多现象都归入回放（*博主认为在人类的神经回放中，定义还是较为明确的）
• 回放的概念在记忆科学研究中占据了很大的份额，而 Memory 无疑是人类智能和机器智能的一个基础组成部分。
• 本文希望阐明 不同的“回放” 之间的区别，例如，interleaved replay Vs replay observed during planning Vs coordinated replay （off-line）。这些区别本质上可以计算（computational），也可以实施（implementational ），这样的回放是具有不同功能的，且在大脑和计算机中的实施方式是不同的。
• 尽管回放在ML中一直很流行，但存在许多不使用回放的先进技术。有效的学习可以在没有回放的情况下实现，例如：A3C、V-MPO、novel transformer models
• 回放在哪里结束，而其他形式的 memory access 在哪里开始，往往也是不清楚的。例如，在episodic RL中，特定的单个情景被储存在 memory 中，并在再次遇到相同或类似的情况时被检索来直接决定行为。在人类中，决策过程中单个经验的检索与海马体有关，在决策时恢复过去选择的信息，使选择偏向于之前的（reinstated context）。这些对单一事件的检索在多大程度上得到了顺序回放的支持，仍不可知。
• 此外，即使需要复杂的记忆计算，外部记忆结构（external memory architectures），如MERLIN ，可以将过去的经验存储在 memory buffer 中，并学习如何在需要时只读取相关的经验。但是MERLIN 在某些方面是一种回放机制，在另一些方面不是。尽管MERLIN 在计算上不同于传统的基于回放的体系结构，但其预测了复杂的回放现象。作者认为，这证明回放不是一个单一、可测试的理论，而是一个 “框架”，在这个框架里理解回放与记忆、计划和想象相关的功能，以及它们的关系。

阅读感想

1. 前期考虑过做一些神经回放的研究，处于实验仪器等成本的考量放弃了，当时回放和机器学习的预测的结合或许是避免使用侵入性技术（IEEG等）或者昂贵技术（MEG、fMRI等）的一个新的方法，但是在实验设计上还需要考量
2. 和昨天的文献一样，研究的较多的神经回放还是在比较简单的序列信息的基础上，虽然近年出现对高级认知活动的研究，但是还是缺乏具有说服力的范式和解释。”回放“成为一种潮流的可能性确实可能出现