强化学习之图解SAC算法

2023-11-23 14:31
文章标签 算法 学习 图解 强化 sac

本文主要是介绍强化学习之图解SAC算法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

强化学习之图解SAC算法

  • 1. 网络结构
  • 2. 产生experience的过程
  • 3. Q Critic网络的更新流程
  • 4. V Critic网络的更新流程
  • 5. Actor网络的更新流程

柔性动作-评价(Soft Actor-Critic,SAC)算法的网络结构有5个。SAC算法解决的问题是离散动作空间和连续动作空间的强化学习问题,是off-policy的强化学习算法(关于on-policy和off-policy的讨论可见:强化学习之图解PPO算法和TD3算法)。

SAC的论文有两篇,一篇是《Soft Actor-Critic Algorithms and Applications》,2019年1月发表,其中SAC算法流程如下所示,它包括1个actor网络,4个Q Critic网络:

在这里插入图片描述

一篇是《Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor》,2018年8月发表,其中SAC算法流程如下所示,它包括1个actor网络,2个V Critic网络(1个V Critic网络,1个Target V Critic网络),2个Q Critic网络:

在这里插入图片描述

本文介绍的算法思路是1个actor网络,2个V Critic网络(1个V Critic网络,1个Target V Critic网络),2个Q Critic网络。而另一种SAC算法思路可以参考openAI的spinning up教程:openAI spinning up

1. 网络结构

关于SAC算法的网络结构图解,笔者认为此链接的讲解也非常地好:Soft Actor-Critic,本文和此链接的说法一致。

在这里插入图片描述

一个actor网络,四个critic网络,分别是状态价值估计 v v v和Target v v v网络;动作-状态价值估计 Q 0 Q_0 Q0 Q 1 Q_1 Q1网络。

actor网络的输入为状态,输出为动作概率 π ( a t ∣ s t ) \pi(a_t|s_t) π(atst)(对于离散动作空间而言)或者动作概率分布参数(对于连续动作空间而言)

critic网络的输入为状态,输出为状态的价值。其中 V Critic 网络的输出为 v ( s ) v(s) v(s),代表状态价值的估计Q Critic 网络的输出为 q ( s , a ) q(s,a) q(s,a),代表动作-状态对价值(以下简称为动作价值的估计

因为在SAC算法中为了鼓励探索,增加了熵的概念,所以它actor和critic网络的训练目标和常规不含熵的算法(如TD3,PPO)的训练目标不一样。

在SAC算法中,如果actor网络输出的动作越能够使一个综合指标(既包含动作价值 q q q,又包含熵 h h h)变大,那么就越好。

如果Q critic网络输出的动作价值 q q q越准确(根据贝尔曼方程可知, q q q是否准确依赖于 v v v是否准确),那么就越好。

如果V critic网络输出的状态价值 v v v越准确,那么就越好。但需要注意的是,因为SAC中加了熵的概念,所以状态价值 v v v并不是我们通常理解的 v ( s ) v(s) v(s),它其中还加了熵这一项。

接下来只说SAC的算法流程,而不对其中的公式做过多的解释,具体SAC算法的推导过程可以参考《最前沿:深度解读Soft Actor-Critic 算法》。

2. 产生experience的过程

已知一个状态 s t s_t st,通过 actor网络 得到所有动作的概率 π ( a ∣ s t ) \pi(a|s_t) π(ast)(图中以三个动作: a 1 , a 2 , a 3 a_1,a_2,a_3 a1,a2,a3为例),然后依概率采样得到动作 a t = a 2 a_t=a_2 at=a2,然后将 a 2 a_2 a2输入到环境中,得到 s t + 1 s_{t+1} st+1 r t + 1 r_{t+1} rt+1,这样就得到一个experience: ( s t , a 2 , s t + 1 , r t + 1 ) (s_t, a_2, s_{t+1}, r_{t+1}) (st,a2,st+1,rt+1),然后将experience放入经验池中。

以上是离散动作的情况,如果是连续动作,就输出概率分布的参数(比如高斯分布的均值和方差),然后按照概率分布去采样得到动作 a t a_t at.

经验池 存在的意义是为了消除experience的相关性,因为强化学习中前后动作通常是强相关的,而将它们打散,放入经验池中,然后在训练神经网络时,随机地从经验池中选出一批experience,这样能够使神经网络训练地更好。

在这里插入图片描述

3. Q Critic网络的更新流程

在这里插入图片描述

拿从经验池buffer中采出的数据 ( s t , a t , s t + 1 , r t + 1 ) (s_t, a_t, s_{t+1}, r_{t+1}) (st,at,st+1,rt+1)进行Critic网络的更新,以 ( s t , a 2 , s t + 1 , r t + 1 ) (s_t, a_2, s_{t+1}, r_{t+1}) (st,a2,st+1,rt+1)为例。

基于最优贝尔曼方程,用 U t ( q ) = r t + γ v ( s t + 1 ) U_{t}^{\left( q \right)}=r_t+\gamma v(s_{t+1}) Ut(q)=rt+γv(st+1)作为状态 s t s_t st真实价值估计,而用实际采用的动作 a 2 a_2 a2 q i ( s t , a 2 ) q_i(s_t,a_2) qi(st,a2) ( 其 中 , i = 0 , 1 ) (其中,i=0,1) (i=0,1)作为状态 s t s_t st预测价值估计,最后用MSEloss作为Loss函数,对神经网络 Q 0 Q_0 Q0, Q 1 Q_1 Q1进行训练。

注意取MSELoss就意味着对从经验池buffer中取一个batch的数据进行了求平均的操作,即:

L o s s = 1 ∣ B ∣ ∑ ( s t , a t , r t + 1 , s t + 1 ) ∈ B [ q i ( s t , a t ; w ( i ) ) − U t ( q ) ] 2 Loss=\frac{1}{|\mathcal{B}|}\sum_{\left( s_t,a_t,r_{t+1},s_{t+1} \right) \in \mathcal{B}}{\left[ q_i\left( s_t,a_t;w^{\left( i \right)} \right) -U_{t}^{\left( q \right)} \right] ^2} Loss=B1(st,at,rt+1,st+1)B[qi(st,at;w(i))Ut(q)]2

pytorch代码如下:

        # train Q criticnext_v_tensor = self.v_target_net(next_state_tensor)q_target_tensor = reward_tensor.unsqueeze(1) + self.gamma *                 (1. - done_tensor.unsqueeze(1)) * next_v_tensorall_q0_pred_tensor = self.q0_net(state_tensor)q0_pred_tensor = torch.gather(all_q0_pred_tensor, 1, action_tensor.unsqueeze(1))q0_loss_tensor = self.q0_loss(q0_pred_tensor, q_target_tensor.detach())self.q0_optimizer.zero_grad()q0_loss_tensor.backward()self.q0_optimizer.step()all_q1_pred_tensor = self.q1_net(state_tensor)q1_pred_tensor = torch.gather(all_q1_pred_tensor, 1, action_tensor.unsqueeze(1))q1_loss_tensor = self.q1_loss(q1_pred_tensor, q_target_tensor.detach())self.q1_optimizer.zero_grad()q1_loss_tensor.backward()self.q1_optimizer.step()

4. V Critic网络的更新流程

在这里插入图片描述

拿从经验池buffer中采出的数据 ( s t , a t , s t + 1 , r t + 1 ) (s_t, a_t, s_{t+1}, r_{t+1}) (st,at,st+1,rt+1)进行V Critic网络的更新,接着 ( s t , a 2 , s t + 1 , r t + 1 ) (s_t, a_2, s_{t+1}, r_{t+1}) (st,a2,st+1,rt+1)的例子。

用含熵的式子进行状态价值估计,即下式作为V critic网络输出的真实值:

U t ( v ) = E a t ′ ∼ π ( ⋅ ∣ s t ; θ ) [ min ⁡ i = 0 , 1 q i ( s t , a t ′ ; w ( i ) ) − α ln ⁡ π ( a t ′ ∣ s t ; θ ) ] = ∑ a t ′ ∈ A ( s t ) π ( a t ′ ∣ s t ; θ ) [ min ⁡ i = 0 , 1 q i ( s t , a t ′ ; w ( i ) ) − α ln ⁡ π ( a t ′ ∣ s t ; θ ) ] U_{t}^{\left( v \right)}=E_{a_{t}^{'}\sim \pi \left( \cdot |s_t;\theta \right)}\left[ \underset{i=0,1}{\min}q_i\left( s_t,a_{t}^{'};w^{\left( i \right)} \right) -\alpha \ln \pi \left( a_{t}^{'}|s_t;\theta \right) \right] \\ =\sum_{a_{t}^{'}\in \mathbb{A}\left( s_t \right)}{\pi \left( a_{t}^{'}|s_t;\theta \right) \left[ \underset{i=0,1}{\min}q_i\left( s_t,a_{t}^{'};w^{\left( i \right)} \right) -\alpha \ln \pi \left( a_{t}^{'}|s_t;\theta \right) \right]} Ut(v)=Eatπ(st;θ)[i=0,1minqi(st,at;w(i))αlnπ(atst;θ)]=atA(st)π(atst;θ)[i=0,1minqi(st,at;w(i))αlnπ(atst;θ)]

可以看到 π ( a t ′ ∣ s t ; θ ) \pi \left( a_{t}^{'}|s_t;\theta \right) π(atst;θ) min ⁡ i = 0 , 1 q i ( s t , a t ′ ; w ( i ) ) \underset{i=0,1}{\min}q_i\left( s_t,a_{t}^{'};w^{\left( i \right)} \right) i=0,1minqi(st,at;w(i)) ln ⁡ π ( a t ′ ∣ s t ; θ ) \ln \pi \left( a_{t}^{'}|s_t;\theta \right) lnπ(atst;θ)这三项和图中的Loss三个输入箭头完全一致。

用V critic网络的输出作为预测值,最后用MSEloss作为Loss函数,对神经网络 V V V进行训练。

注意取MSELoss就意味着对从经验池buffer中取一个batch的数据进行了求平均的操作,即:

L o s s = 1 ∣ B ∣ ∑ ( s t , a t , r t + 1 , s t + 1 ) ∈ B [ v ( s t ; w ( v ) ) − U t ( v ) ] 2 Loss=\frac{1}{|\mathcal{B}|}\sum_{\left( s_t,a_t,r_{t+1},s_{t+1} \right) \in \mathcal{B}}{\left[ v\left( s_t;w^{\left( v \right)} \right) -U_{t}^{\left( v \right)} \right] ^2} Loss=B1(st,at,rt+1,st+1)B[v(st;w(v))Ut(v)]2

pytorch代码如下:

        # train V criticq0_tensor = self.q0_net(state_tensor)q1_tensor = self.q1_net(state_tensor)q01_tensor = torch.min(q0_tensor, q1_tensor)prob_tensor = self.actor_net(state_tensor)ln_prob_tensor = torch.log(prob_tensor.clamp(1e-6, 1.))entropic_q01_tensor = prob_tensor * (q01_tensor -self.alpha * ln_prob_tensor)# OR entropic_q01_tensor = prob_tensor * (q01_tensor - \#         self.alpha * torch.xlogy(prob_tensor, prob_tensor)v_target_tensor = torch.sum(entropic_q01_tensor, dim=-1, keepdim=True)v_pred_tensor = self.v_evaluate_net(state_tensor)v_loss_tensor = self.v_loss(v_pred_tensor, v_target_tensor.detach())self.v_optimizer.zero_grad()v_loss_tensor.backward()self.v_optimizer.step()self.update_net(self.v_target_net, self.v_evaluate_net)

5. Actor网络的更新流程

在这里插入图片描述

对actor网络训练的loss稍微有些复杂,其表达式为:

L o s s = − 1 ∣ B ∣ ∑ ( s t , a t , r t + 1 , s t + 1 ) ∈ B E a t ′ ∼ π ( ⋅ ∣ s t ; θ ) [ q 0 ( s t , a t ′ ) − α ln ⁡ π ( a t ′ ∣ s t ; θ ) ] Loss=-\frac{1}{|\mathcal{B}|}\sum_{\left( s_t,a_t,r_{t+1},s_{t+1} \right) \in \mathcal{B}}{E_{a_{t}^{'}\sim \pi \left( \cdot |s_t;\theta \right)}}\left[ q_0\left( s_t,a_{t}^{'} \right) -\alpha \ln \pi \left( a_{t}^{'}|s_t;\theta \right) \right] Loss=B1(st,at,rt+1,st+1)BEatπ(st;θ)[q0(st,at)αlnπ(atst;θ)]

E a t ′ ∼ π ( ⋅ ∣ s t ; θ ) [ . . . . ] E_{a_{t}^{'}\sim \pi \left( \cdot |s_t;\theta \right)}[....] Eatπ(st;θ)[....]代表需要对中括号里面的项取期望,注意: a t ′ a_{t}^{'} at并不是在buffer中取出的数据 ( s t , a t , r t + 1 , s t + 1 ) \left( s_t,a_t,r_{t+1},s_{t+1} \right) (st,at,rt+1,st+1)中的 a t a_t at,而是重新用actor网络 π \pi π预测的所有可能的动作,因此对于离散动作空间,常有以下的等价计算方法:

E a t ′ ∼ π ( ⋅ ∣ s t ; θ ) [ q 0 ( s t , a t ′ ; w ( 0 ) ) − α ln ⁡ π ( a t ′ ∣ s t ; θ ) ] = ∑ a t ′ ∈ A ( s t ) π ( a t ′ ∣ s t ; θ ) [ q 0 ( s t , a t ′ ; w ( 0 ) ) − α ln ⁡ π ( a t ′ ∣ s t ; θ ) ] E_{a_{t}^{'}\sim \pi \left( \cdot |s_t;\theta \right)}\left[ q_0\left( s_t,a_{t}^{'};w^{\left( 0 \right)} \right) -\alpha \ln \pi \left( a_{t}^{'}|s_t;\theta \right) \right] \\ =\sum_{a_{t}^{'}\in \mathbb{A}\left( s_t \right)}{\pi \left( a_{t}^{'}|s_t;\theta \right) \left[ q_0\left( s_t,a_{t}^{'};w^{\left( 0 \right)} \right) -\alpha \ln \pi \left( a_{t}^{'}|s_t;\theta \right) \right]} Eatπ(st;θ)[q0(st,at;w(0))αlnπ(atst;θ)]=atA(st)π(atst;θ)[q0(st,at;w(0))αlnπ(atst;θ)]

可以看到 π ( a t ′ ∣ s t ; θ ) \pi \left( a_{t}^{'}|s_t;\theta \right) π(atst;θ) q 0 ( s t , a t ′ ; w ( 0 ) ) q_0\left( s_t,a_{t}^{'};w^{\left( 0 \right)} \right) q0(st,at;w(0)) ln ⁡ π ( a t ′ ∣ s t ; θ ) \ln \pi \left( a_{t}^{'}|s_t;\theta \right) lnπ(atst;θ)这三项和图中的Loss三个输入箭头完全一致。需要注意的是 q 0 ( s t , a t ′ ; w ( 0 ) ) q_0\left( s_t,a_{t}^{'};w^{\left( 0 \right)} \right) q0(st,at;w(0))可以用 q 1 ( s t , a t ′ ; w ( 1 ) ) q_1\left( s_t,a_{t}^{'};w^{\left( 1 \right)} \right) q1(st,at;w(1))替换,这两个Q critic网络在功能上是等价的。

B \mathcal{B} B代表经验池buffer,即求Loss的时候还需要对经验池中取出的样本取平均。这样能够体现取出的样本平均意义下的好坏。

其中: α \alpha α是熵的奖励系数,它决定熵 ln ⁡ π ( a t + 1 ∣ s t ; θ ) \ln \pi \left( a_{t+1}|s_t;\theta \right) lnπ(at+1st;θ)的重要性,越大越重要。

pytorch代码如下:

# train actorprob_q_tensor = prob_tensor * (self.alpha * ln_prob_tensor - q0_tensor)actor_loss_tensor = prob_q_tensor.sum(axis=-1).mean()self.actor_optimizer.zero_grad()actor_loss_tensor.backward()self.actor_optimizer.step()

如果觉得文章有帮助,可以关注我、并且给文章点赞并收藏,欢迎大家关注我的知乎同名账号:ReEchooo。主页链接

这篇关于强化学习之图解SAC算法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/418582

相关文章

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt(KMP)算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串(称为

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》:本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》:本文主要介绍了安装和配置AnolisOS23.2系统,包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤,详细内容请阅读本文,希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统,旨

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例:使用随机森林预测鸢尾花品种4.1

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert