深度强化学习算法(五)(附带MATLAB程序)

2024-08-29 06:12

本文主要是介绍深度强化学习算法(五)(附带MATLAB程序),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深度强化学习(Deep Reinforcement Learning, DRL)结合了深度学习和强化学习的优点,能够处理具有高维状态和动作空间的复杂任务。它的核心思想是利用深度神经网络来逼近强化学习中的策略函数和价值函数,从而提高学习能力和决策效率。

一、关键算法分类

1.1 深度 Q 网络(Deep Q-Network, DQN)
  • 概念:将 Q 学习(一个值函数方法)与深度神经网络结合,用于近似 Q 值函数。
  • 特点:使用经验回放和固定 Q 目标网络来稳定训练过程。
  • 应用:成功应用于 Atari 游戏等环境。
 1.2 双重 Q 学习(Double Q-Learning)
  • 概念:解决 DQN 中 Q 值过估计的问题,通过引入两个 Q 网络来减少过估计。
  • 特点:使用两个独立的 Q 网络交替更新,以减少 Q 值的过高估计。
1.3 优先经验回放(Prioritized Experience Replay)
  • 概念:对经验回放进行优先级排序,以更频繁地训练那些“重要”的样本。
  • 特点:提高了训练的效率和稳定性。
1.4 深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)
  • 概念:适用于连续动作空间的策略梯度算法。
  • 特点:使用策略网络和价值网络来逼近策略和价值函数,并利用经验回放和目标网络来稳定训练。
1.5策略梯度方法(Policy Gradient Methods)
  • 概念:直接优化策略函数,通过梯度上升来最大化预期累积回报。
  • 特点:适合处理大规模或连续动作空间。
1.6近端策略优化(Proximal Policy Optimization, PPO)
  • 概念:通过引入一个“剪切”操作来限制每次策略更新的幅度,确保训练稳定。
  • 特点:简单且有效,广泛应用于各种任务。
1.7演员-评论家方法(Actor-Critic Methods)
  • 概念:结合了策略优化(演员)和价值函数(评论家)的方法。
  • 特点:演员负责更新策略,而评论家负责估计价值函数,用于指导演员更新策略。

二、策略梯度方法(Policy Gradient Methods)公式推导

策略梯度方法(Policy Gradient Methods)的核心在于优化策略函数,以最大化累积奖励。下面是策略梯度方法公式的详细推导过程。

2.1目标函数定义

我们首先定义一个目标函数 J\left ( \theta \right ),它表示在当前策略下的期望累计奖励。假设我们的目标是最大化从状态分布p\left ( s \right ) 中采样的累计奖励。目标函数可以表示为:J\left ( \theta \right )=IE _{\pi \theta}\left [ R \right ] 其中R 是累积奖励,\pi _{\theta }\left ( a|s \right )是给定参数\theta的策略函数

2.2期望累计奖励

为了更详细地推导,我们可以使用以下定义的累积奖励:

R_{t}=\sum _{k=t}^{T}\textrm{}\gamma ^{k-t}r_{k}

其中 r_{k}是在时间步k获得的奖励,\gamma是折扣因子。

 期望累计奖励可以表示为:

J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{} \gamma ^{t}r^{t}\right ]

2.3策略梯度定理

根据策略梯度定理,我们需要计算目标函数 J\left ( \theta \right )关于\theta的梯度。首先,对目标函数 J\left ( \theta \right )取梯度:

\bigtriangledown_{\theta } J\left ( \theta \right )=\bigtriangledown _{\theta }IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{} \gamma ^{t}r^{t}\right ]

2.4梯度的计算

利用期望的性质,我们可以将梯度移到期望外部:

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{} \gamma ^{t}r^{t}\right ]

梯度操作可以分开到每一项: 

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{}\bigtriangledown _{\theta } \gamma ^{t}r^{t}\right ]

我们利用策略导数定理,将奖励 rtr_trt​ 写作策略的函数:

\bigtriangledown _{\theta }r_{t}=\bigtriangledown _{\theta }\left ( log\pi_{\theta } \left ( a_{t}|s_{t} \right )\cdot \pi _{\theta }\left ( a_{t}|s_{t} \right )Q^{\pi }\left ( a_{t}|s_{t} \right )\right )

可以通过以下简化:

\bigtriangledown _{\theta }( log\pi_{\theta } \left ( a_{t}|s_{t} \right )=\frac{\bigtriangledown _{\theta }\pi_{\theta } \left ( a_{t}|s_{t} \right )}{\pi_{\theta } \left ( a_{t}|s_{t} \right )}

于是:

\bigtriangledown _{\theta } \pi _{\theta }\left ( a_{t}|s_{t} \right )Q^{\pi }\left ( a_{t}|s_{t} \right )=\bigtriangledown _{\theta } \pi _{\theta }\left ( a_{t}|s_{t} \right )Q^{\pi }\left ( a_{t}|s_{t} \right )+\pi _{\theta }\left ( a_{t}|s_{t} \right )\bigtriangledown _{\theta } Q^{\pi }\left ( a_{t}|s_{t} \right )

最终:

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{}\bigtriangledown _{\theta } \gamma ^{t}log\pi_{\theta } \left ( a_{t}|s_{t} \right )R_{t}\right ]

2.5使用基线减少方差

为了减少梯度估计的方差,我们可以引入基线 b\left ({s_{t}} \right )。引入基线的目标是使梯度估计更加稳定,而不改变期望值。引入基线后的梯度计算公式是:

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{}\bigtriangledown _{\theta } \gamma ^{t}log\pi_{\theta } \left ( a_{t}|s_{t} \right )\left (R_{t}-b\left ( s_{t} \right ) \right )\right ]

基线b\left ( s_{t} \right ) 可以是状态值函数 V^{\pi }b\left ( s_{t} \right )或者其他合适的函数。

三、MATLAB仿真程序

下面是一个简单的 MATLAB 仿真程序示例,演示如何使用策略梯度方法(Policy Gradient Methods)来训练一个简单的强化学习智能体。这个例子中,我们将使用一个简单的迷宫环境和 REINFORCE 算法(一个基本的策略梯度方法)来优化策略。

3.1定义环境

首先,我们定义迷宫环境及其属性:

function [next_state, reward, done] = simple_maze_env(state, action)% 环境的网格尺寸grid_size = [5, 5];% 目标位置goal = [5, 5];% 移动move = [0, 0];if action == 1move = [-1, 0]; % 上elseif action == 2move = [1, 0]; % 下elseif action == 3move = [0, -1]; % 左elseif action == 4move = [0, 1]; % 右endnext_state = state + move;% 确保状态在环境范围内next_state = max(min(next_state, grid_size), [1, 1]);% 奖励和完成标志if isequal(next_state, goal)reward = 1;done = true;elsereward = -0.01; % 小的负奖励以鼓励较短路径done = false;end
end
3.2策略函数

接下来,我们定义一个简单的策略函数,使用神经网络来表示策略。这里使用的是一个简单的多层感知机(MLP):

function [pi] = policy_network(state, theta)% state: 当前状态% theta: 策略网络的参数% pi: 当前状态下的策略分布(动作的概率)% 状态维度num_states = 2; % 例如 [x, y]num_actions = 4; % 上、下、左、右% 简单的线性策略网络W = reshape(theta, [num_states, num_actions]);logits = W' * state';pi = softmax(logits);
endfunction y = softmax(x)e_x = exp(x - max(x));y = e_x / sum(e_x);
end
3.3REINFORCE 算法

实现 REINFORCE 算法来训练策略网络:

function [theta] = reinforce(env, num_episodes, alpha)% 参数设置num_states = 2;num_actions = 4;% 初始化策略参数theta = rand(num_states * num_actions, 1);% 主循环for episode = 1:num_episodesstate = [1, 1]; % 起始状态done = false;episode_rewards = [];episode_states = [];episode_actions = [];while ~donepi = policy_network(state, theta);action = randsample(1:num_actions, 1, true, pi);[next_state, reward, done] = simple_maze_env(state, action);episode_states = [episode_states; state];episode_actions = [episode_actions; action];episode_rewards = [episode_rewards; reward];state = next_state;end% 计算回报T = length(episode_rewards);returns = zeros(T, 1);G = 0;for t = T:-1:1G = episode_rewards(t) + G;returns(t) = G;end% 更新策略for t = 1:Tstate = episode_states(t, :);action = episode_actions(t);pi = policy_network(state, theta);grad = zeros(num_states * num_actions, 1);grad((action - 1) * num_states + 1:num_states * action) = state';grad = grad - pi' .* grad;theta = theta + alpha * grad * (returns(t) - pi(action));endend
end
3.4运行仿真
% 参数设置
num_episodes = 1000;
alpha = 0.01;% 训练策略
theta = reinforce(@simple_maze_env, num_episodes, alpha);% 输出结果
disp('训练完成!');
disp('最终策略参数:');
disp(theta);

代码解释

  • simple_maze_env:模拟迷宫环境的函数,接受当前状态和动作,返回下一个状态、奖励和完成标志。
  • policy_network:使用简单的策略网络来计算动作的概率分布。
  • reinforce:实现 REINFORCE 算法的函数,包括策略的采样、奖励计算、策略更新等步骤。

四、总结

策略梯度方法的推导过程涵盖了如何通过直接对策略函数进行优化来提高累积奖励。核心在于利用策略梯度定理,通过计算期望奖励函数的梯度来更新策略参数 θ\thetaθ。为了改进效果,通常会引入基线来降低梯度估计的方差。

  注意:回顾以往算法可以从以下链接进入:

1、深度 Q 网络(Deep Q-Network, DQN):

深度强化学习算法(一)(附带MATLAB程序)-CSDN博客

2、双重 Q 学习(Double Q-Learning):

深度强化学习算法(二)(附带MATLAB程序)-CSDN博客

3.优先经验回放(Prioritized Experience Replay):

深度强化学习算法(三)(附带MATLAB程序)-CSDN博客

4、深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)

深度强化学习算法(四)(附带MATLAB程序)-CSDN博客

这篇关于深度强化学习算法(五)(附带MATLAB程序)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1117066

相关文章

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

如何用java对接微信小程序下单后的发货接口

《如何用java对接微信小程序下单后的发货接口》:本文主要介绍在微信小程序后台实现发货通知的步骤,包括获取Access_token、使用RestTemplate调用发货接口、处理AccessTok... 目录配置参数 调用代码获取Access_token调用发货的接口类注意点总结配置参数 首先需要获取Ac

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR