NEC:Neural Episodic Control 阅读

本文主要是介绍NEC:Neural Episodic Control 阅读，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文是google的DeepMind团队发布在arXiv上的文章，翻译过来是神经情景控制，相比于深度强化学习，可显著提高学习速度。

文章下载链接为：Neural Episodic Network

阅读本文需要了解的一些知识：

深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习End-to-End Learning的一种全新的算法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有hand-crafted engineering的工作。深度增强学习具备使机器人实现真正完全自主的学习一种甚至多种技能的潜力。

上面这张图（来自David Silver的课程ppt）可以很清楚的看到整个交互过程。事实上，这就是人与环境交互的一种模型化表示。在每个时间点time-step Agent都会从可以选择的动作集合A中选择一个动作 $a_t$ 执行.如果对文中的st、at、rt感到困惑的话，多看几遍这张图。DQN以及本文中提出的NEC的目标都是获取尽可能多的reward（rt）。每个时间片，Agent都是根据当前的观察来确定下一步的动作。观察Observation的集合就作为Agent的所处的状态State，因此，状态State和动作Action存在映射关系，也就是一个state可以对应一个action，或者对应不同动作的概率（常常用概率来表示，概率最高的就是最值得执行的动作）。状态与动作的关系其实就是输入与输出的关系，而状态State到动作Action的过程就称之为一个策略Policy。

本文中将几个特定的词进行如下翻译，在不影响理解的情况下翻译为中文，否则在文中直接用英文表示，如有错误，欢迎指正：

1.value function 价值函数

2.semi-tabular representation 半表格表示

3.agent 代理

4.reward 反馈也可以理解为奖励

5.memory module 内存模块

6. Differentiable Neural Dictionary (DND) 可微分神经字典

在阅读本文前，建议提前阅读此文章：一个 Q-learning 算法的简明教程

***********************************************************************************************************************************

0 Abstract

深度强化学习能够在广泛的环境中获得超越人类的表现，但是这样的方法是非常低效的，需要大量的数据才能取得合理的表现。我们提出的NEC是一个深度强化学习代理（agent），能够快速吸收新得到的经验并且基于此采取行动。我们的agent使用了一种价值函数（value）的半表格表示（semi-tabular representation）：一种过去经验的缓冲器，其包含了该价值函数的缓慢变化的状态表示和快速更新的估计。我们通过在广泛环境中的研究表明：我们的代理的学习速度可以显著快于当前最佳的通用深度强化学习代理。

1 Introduction

深度强化学习尽管已经在很多复杂的环境中取得了优于人类的最好的结果，但是尽管这些agent的表现非常优秀，同时也需要比人类多好几个数量级的与环境之间的交互。例如：在Atari2600环境中，DQN需要玩该游戏超过200hours才能获得人类玩家2小时就能获得的分数。

强化学习（RL）较低的学习速率有以下几个合理的解释，并且在这篇文章中我们致力于解决这些问题：

1.SGD优化需要较低的学习率。由于神经网络的全局近似性质，高学习率导致灾难性干扰。而低学习率意味着经验只能慢慢进入神经网络。
2.对于一个神经网络那些具有稀疏反馈（reward）信号的环境很难被建模，因为可能只有非常少的情况下reward 不为0。这可以被看作是一种类型不平衡的形式，低反馈样本超过未知数量的高反馈样本。因此，神经网络在预测较大的反馈方面不成比例地表现不佳，使得agent难以选择reward 最高的行为。
3.通过value-bootstrapping技术，反馈信号传播，如Q-learning，导致经过先前与环境交互的历史，反馈信息一次只传播一步。如果变化出现时更新以相反的方向发生，那么这可能非常有效。然而为了训练不相关的小批量DQN-style，算法在随机选择的变化（transition）上训练，并且为了进一步稳定训练，需要使用缓慢更新的目标网络进一步减缓reward 传播。

/*这三点是本文总结的RL为什么学习效率低下的原因，总的来说就是与学习率较低、稀疏反馈信号以及反馈信号传播较慢这几个方面有关。

此处省略一段。*/

在这篇论文中，我们提出了NEC，一个解决深度强化学习（DRL）的上述局限的方法，并且在广泛的环境中使得学习速率得到了很大的提升。最重要的是，我们的agent能够在经验丰富的时候迅速锁定非常成功的策略，而无需像DQN与A3C那样等待许多步的优化。

我们的工作部分受到以下这些工作的启发：海马回（负责人类记忆的部分）在决策中的假设作用（Lengyel & Dayan)；one-shot learning（Vinyals）；利用神经网络学习稀疏事件。我们的代理使用其具有环境记忆的几个特征的环境的经验的半表格表示（semi-tabular representation），例如长期记忆，序列和基于上下文的查找。半表格表示是一个仅追加memory，将缓慢更改的key绑定到快速更新的value，并使用key上的基于上下文的查找来检索agent选择action的有用value（这部分内容在3.1部分会详细介绍，此处的key、value、memory、action都有特殊含义，故不予翻译）。因此，agent的momory与传统的基于表的RL方法从state（状态）和action（动作）映射到value（价值）估计的方式大致相同。与其他用于加强学习的神经内存架构相比，memory的一个独特方面（在第3节更详细的解释）是从memory获取的值能够比其他深层神经网络更快得多的更新。这有助于减轻应用于整个网络的随机梯度下降（SGD）的典型的缓慢的权重更新，并且使人想起快速权重的工作（Ba et al.；Hinton & Plaut），尽管与其相比我们的架构是相当不同的。另一个独特的方面是不同于其它memory architectures（内存架构）如LSTM和DNC，我们的memory architectures不会尝试去学习何时去向memory中写入，因为这学习起来非常缓慢并且会耗费大量时间。相反，我们选择将所有的经验写入memory，并允许它与现有的memory architectures（内存架构）相比增长非常大。使用基于kd-tree的最近邻，从这个large memory读取是高效的。

/*下面一段是讲了论文的组织结构，比较简单，不解释了。*/

2 Deep Reinforcement Learning

/*这部分内容很关键，介绍了深度强化学习（DRL）的一些思想和方法，是这篇文章提出的NEC的基础，只有彻底了解这部分内容，才能理解3的内容。这部分的内容不在拘泥于原文，会对其中提到的方法、思想和公式进行阐述。*/

/*在阅读这部分内容前建议先阅读此博客内容 Deep Reinforcement Learning 基础知识（DQN方面），该博客对深度强化学习部分的内容讲解很透彻清晰，下文中提到的Q函数在其中都有讲解，只看原文是很难理解的。*/

强化学习的action-value函数（动作价值函数，是说是在策略 $\pi$ 下的动作价值）定义为：

其中，a是agent在初始状态s下采取的初始动作action，r_t表示在action a执行后的反馈，γ 是折扣因子，在（0，1）这个范围之间，就是说一般当下的反馈是比较重要的，时间越久，影响越小。

DQN agents使用Q-learning来学习value function Q(s_t,a_t)，确定对于每个状态s_t和step t哪个action a_t是最佳选择。之后此agent根据这个价值函数执行一个贪心策略，以便权衡探索和利用：以概率α，agent随机地选择一个action，否则选择动作 a_t=argmax Q(s_t,a)。

在DQN中，动作值函数Q（s_t,a_t）由卷积神经网络（CNN）参数化，卷积神经网络将状态s_t的2D像素表示作为输入，并输出包含该状态下每个动作的值的向量。当agent观察到变化，DQN存储(s_t, a_t,r_t,s_t+1)元组到一个replay buffer（重放缓存），这部分内容将用于之后的训练。这个神经网络通过最小化该网络的输出(为Q(s_t, a_t))与Q-learning的目标输出yt的平方误差来进行训练。

其中，

即L(w)=E[(r+γmaxQ(s′,a′,w)−Q(s,a,w))2]

此处yt衡量了在上一步的action后，当前状态下可能达到的最大反馈；Q(s_t, a_t)表示在上一步的action后的状态st下，采取使得输出Q(st,at)最大化的action能够达到的最大反馈，优化此L(w)使其不断减小，即最后要达到这样一种效果：agent在执行完一个action后，根据Q-learning求得的目标输出与根据CNN求得的Q(st,at)相同，此时CNN训练完成。

能计算动作价值函数是不够的，因为我们需要的是最优策略，现在求解最优策略等价于求解最优的value function，找到了最优的value function，自然而然策略也就可以找到。（当然，这只是求解最优策略的一种方法，也就是value-based approach，由于DQN就是value-based，因此这里只讲这部分，以后我们会看到还有policy-based和model-based方法。一个就是直接计算策略函数，一个是估计模型，也就是计算出状态转移函数，从而整个MDP过程得解。

NEC也采用了Q-learning的这种value-based方法来进行求解。

maxQ(s_t+1,a)是根据上一步计算得到的CNN计算得到的，即未经过本次的输入参数更新的CNN，卷积神经网络CNN在训练过程中是定期更新参数的。目标网络和来自重放缓冲区的不相关样本的使用对稳定训练至关重要。

/*下面两段提到一些DQN的扩展和优化的方法，如Double DQN、Prioritised Replay、Q*(λ)、Retrace(λ),以及A3C,这些方法都是深度强化学习的方法，在本论文4 Experiment部分将NEC与这些方法的表现做了比较

这部分内容不在解释。*/