深度强化学习算法(五)(附带MATLAB程序)

2024-08-29 06:12

本文主要是介绍深度强化学习算法(五)(附带MATLAB程序),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深度强化学习(Deep Reinforcement Learning, DRL)结合了深度学习和强化学习的优点,能够处理具有高维状态和动作空间的复杂任务。它的核心思想是利用深度神经网络来逼近强化学习中的策略函数和价值函数,从而提高学习能力和决策效率。

一、关键算法分类

1.1 深度 Q 网络(Deep Q-Network, DQN)
  • 概念:将 Q 学习(一个值函数方法)与深度神经网络结合,用于近似 Q 值函数。
  • 特点:使用经验回放和固定 Q 目标网络来稳定训练过程。
  • 应用:成功应用于 Atari 游戏等环境。
 1.2 双重 Q 学习(Double Q-Learning)
  • 概念:解决 DQN 中 Q 值过估计的问题,通过引入两个 Q 网络来减少过估计。
  • 特点:使用两个独立的 Q 网络交替更新,以减少 Q 值的过高估计。
1.3 优先经验回放(Prioritized Experience Replay)
  • 概念:对经验回放进行优先级排序,以更频繁地训练那些“重要”的样本。
  • 特点:提高了训练的效率和稳定性。
1.4 深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)
  • 概念:适用于连续动作空间的策略梯度算法。
  • 特点:使用策略网络和价值网络来逼近策略和价值函数,并利用经验回放和目标网络来稳定训练。
1.5策略梯度方法(Policy Gradient Methods)
  • 概念:直接优化策略函数,通过梯度上升来最大化预期累积回报。
  • 特点:适合处理大规模或连续动作空间。
1.6近端策略优化(Proximal Policy Optimization, PPO)
  • 概念:通过引入一个“剪切”操作来限制每次策略更新的幅度,确保训练稳定。
  • 特点:简单且有效,广泛应用于各种任务。
1.7演员-评论家方法(Actor-Critic Methods)
  • 概念:结合了策略优化(演员)和价值函数(评论家)的方法。
  • 特点:演员负责更新策略,而评论家负责估计价值函数,用于指导演员更新策略。

二、策略梯度方法(Policy Gradient Methods)公式推导

策略梯度方法(Policy Gradient Methods)的核心在于优化策略函数,以最大化累积奖励。下面是策略梯度方法公式的详细推导过程。

2.1目标函数定义

我们首先定义一个目标函数 J\left ( \theta \right ),它表示在当前策略下的期望累计奖励。假设我们的目标是最大化从状态分布p\left ( s \right ) 中采样的累计奖励。目标函数可以表示为:J\left ( \theta \right )=IE _{\pi \theta}\left [ R \right ] 其中R 是累积奖励,\pi _{\theta }\left ( a|s \right )是给定参数\theta的策略函数

2.2期望累计奖励

为了更详细地推导,我们可以使用以下定义的累积奖励:

R_{t}=\sum _{k=t}^{T}\textrm{}\gamma ^{k-t}r_{k}

其中 r_{k}是在时间步k获得的奖励,\gamma是折扣因子。

 期望累计奖励可以表示为:

J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{} \gamma ^{t}r^{t}\right ]

2.3策略梯度定理

根据策略梯度定理,我们需要计算目标函数 J\left ( \theta \right )关于\theta的梯度。首先,对目标函数 J\left ( \theta \right )取梯度:

\bigtriangledown_{\theta } J\left ( \theta \right )=\bigtriangledown _{\theta }IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{} \gamma ^{t}r^{t}\right ]

2.4梯度的计算

利用期望的性质,我们可以将梯度移到期望外部:

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{} \gamma ^{t}r^{t}\right ]

梯度操作可以分开到每一项: 

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{}\bigtriangledown _{\theta } \gamma ^{t}r^{t}\right ]

我们利用策略导数定理,将奖励 rtr_trt​ 写作策略的函数:

\bigtriangledown _{\theta }r_{t}=\bigtriangledown _{\theta }\left ( log\pi_{\theta } \left ( a_{t}|s_{t} \right )\cdot \pi _{\theta }\left ( a_{t}|s_{t} \right )Q^{\pi }\left ( a_{t}|s_{t} \right )\right )

可以通过以下简化:

\bigtriangledown _{\theta }( log\pi_{\theta } \left ( a_{t}|s_{t} \right )=\frac{\bigtriangledown _{\theta }\pi_{\theta } \left ( a_{t}|s_{t} \right )}{\pi_{\theta } \left ( a_{t}|s_{t} \right )}

于是:

\bigtriangledown _{\theta } \pi _{\theta }\left ( a_{t}|s_{t} \right )Q^{\pi }\left ( a_{t}|s_{t} \right )=\bigtriangledown _{\theta } \pi _{\theta }\left ( a_{t}|s_{t} \right )Q^{\pi }\left ( a_{t}|s_{t} \right )+\pi _{\theta }\left ( a_{t}|s_{t} \right )\bigtriangledown _{\theta } Q^{\pi }\left ( a_{t}|s_{t} \right )

最终:

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{}\bigtriangledown _{\theta } \gamma ^{t}log\pi_{\theta } \left ( a_{t}|s_{t} \right )R_{t}\right ]

2.5使用基线减少方差

为了减少梯度估计的方差,我们可以引入基线 b\left ({s_{t}} \right )。引入基线的目标是使梯度估计更加稳定,而不改变期望值。引入基线后的梯度计算公式是:

\bigtriangledown_{\theta } J\left ( \theta \right )=IE_{\pi \theta }\left [ \sum _{t=0}^{T}\textrm{}\bigtriangledown _{\theta } \gamma ^{t}log\pi_{\theta } \left ( a_{t}|s_{t} \right )\left (R_{t}-b\left ( s_{t} \right ) \right )\right ]

基线b\left ( s_{t} \right ) 可以是状态值函数 V^{\pi }b\left ( s_{t} \right )或者其他合适的函数。

三、MATLAB仿真程序

下面是一个简单的 MATLAB 仿真程序示例,演示如何使用策略梯度方法(Policy Gradient Methods)来训练一个简单的强化学习智能体。这个例子中,我们将使用一个简单的迷宫环境和 REINFORCE 算法(一个基本的策略梯度方法)来优化策略。

3.1定义环境

首先,我们定义迷宫环境及其属性:

function [next_state, reward, done] = simple_maze_env(state, action)% 环境的网格尺寸grid_size = [5, 5];% 目标位置goal = [5, 5];% 移动move = [0, 0];if action == 1move = [-1, 0]; % 上elseif action == 2move = [1, 0]; % 下elseif action == 3move = [0, -1]; % 左elseif action == 4move = [0, 1]; % 右endnext_state = state + move;% 确保状态在环境范围内next_state = max(min(next_state, grid_size), [1, 1]);% 奖励和完成标志if isequal(next_state, goal)reward = 1;done = true;elsereward = -0.01; % 小的负奖励以鼓励较短路径done = false;end
end
3.2策略函数

接下来,我们定义一个简单的策略函数,使用神经网络来表示策略。这里使用的是一个简单的多层感知机(MLP):

function [pi] = policy_network(state, theta)% state: 当前状态% theta: 策略网络的参数% pi: 当前状态下的策略分布(动作的概率)% 状态维度num_states = 2; % 例如 [x, y]num_actions = 4; % 上、下、左、右% 简单的线性策略网络W = reshape(theta, [num_states, num_actions]);logits = W' * state';pi = softmax(logits);
endfunction y = softmax(x)e_x = exp(x - max(x));y = e_x / sum(e_x);
end
3.3REINFORCE 算法

实现 REINFORCE 算法来训练策略网络:

function [theta] = reinforce(env, num_episodes, alpha)% 参数设置num_states = 2;num_actions = 4;% 初始化策略参数theta = rand(num_states * num_actions, 1);% 主循环for episode = 1:num_episodesstate = [1, 1]; % 起始状态done = false;episode_rewards = [];episode_states = [];episode_actions = [];while ~donepi = policy_network(state, theta);action = randsample(1:num_actions, 1, true, pi);[next_state, reward, done] = simple_maze_env(state, action);episode_states = [episode_states; state];episode_actions = [episode_actions; action];episode_rewards = [episode_rewards; reward];state = next_state;end% 计算回报T = length(episode_rewards);returns = zeros(T, 1);G = 0;for t = T:-1:1G = episode_rewards(t) + G;returns(t) = G;end% 更新策略for t = 1:Tstate = episode_states(t, :);action = episode_actions(t);pi = policy_network(state, theta);grad = zeros(num_states * num_actions, 1);grad((action - 1) * num_states + 1:num_states * action) = state';grad = grad - pi' .* grad;theta = theta + alpha * grad * (returns(t) - pi(action));endend
end
3.4运行仿真
% 参数设置
num_episodes = 1000;
alpha = 0.01;% 训练策略
theta = reinforce(@simple_maze_env, num_episodes, alpha);% 输出结果
disp('训练完成!');
disp('最终策略参数:');
disp(theta);

代码解释

  • simple_maze_env:模拟迷宫环境的函数,接受当前状态和动作,返回下一个状态、奖励和完成标志。
  • policy_network:使用简单的策略网络来计算动作的概率分布。
  • reinforce:实现 REINFORCE 算法的函数,包括策略的采样、奖励计算、策略更新等步骤。

四、总结

策略梯度方法的推导过程涵盖了如何通过直接对策略函数进行优化来提高累积奖励。核心在于利用策略梯度定理,通过计算期望奖励函数的梯度来更新策略参数 θ\thetaθ。为了改进效果,通常会引入基线来降低梯度估计的方差。

  注意:回顾以往算法可以从以下链接进入:

1、深度 Q 网络(Deep Q-Network, DQN):

深度强化学习算法(一)(附带MATLAB程序)-CSDN博客

2、双重 Q 学习(Double Q-Learning):

深度强化学习算法(二)(附带MATLAB程序)-CSDN博客

3.优先经验回放(Prioritized Experience Replay):

深度强化学习算法(三)(附带MATLAB程序)-CSDN博客

4、深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)

深度强化学习算法(四)(附带MATLAB程序)-CSDN博客

这篇关于深度强化学习算法(五)(附带MATLAB程序)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1117066

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

康拓展开(hash算法中会用到)

康拓展开是一个全排列到一个自然数的双射(也就是某个全排列与某个自然数一一对应) 公式: X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。(a[i]在不同应用中的含义不同); 典型应用: 计算当前排列在所有由小到大全排列中的顺序,也就是说求当前排列是第

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

【数据结构】——原来排序算法搞懂这些就行,轻松拿捏

前言:快速排序的实现最重要的是找基准值,下面让我们来了解如何实现找基准值 基准值的注释:在快排的过程中,每一次我们要取一个元素作为枢纽值,以这个数字来将序列划分为两部分。 在此我们采用三数取中法,也就是取左端、中间、右端三个数,然后进行排序,将中间数作为枢纽值。 快速排序实现主框架: //快速排序 void QuickSort(int* arr, int left, int rig