Reinforcement Learning强化学习系列之五:值近似方法Value Approximation

本文主要是介绍Reinforcement Learning强化学习系列之五:值近似方法Value Approximation,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

前面说到了强化学习中的蒙特卡洛方法(MC)以及时序差分(TD)的方法,这些方法针对的基本是离散的数据,而一些连续的状态则很难表示,对于这种情况,通常在强化学习里有2中方法,一种是针对value function的方法,也就是本文中提到的值近似(value approximation);另一种则是后面要讲到的policy gradient。

值近似的方法

这里写图片描述
值近似的方法根本上是使用一个值函数来近似表示该状态的返回值,对于状态 S S ,在一个序列中间,我们使用一个参数函数v^(S,w)来近似表示观测到的真实值 vπ(S) v π ( S ) ,学习使用普通的梯度下降的方式进行,对于一个观察序列的每一个step均可以作为一个训练的过程。当然这个值函数可以加上动作 a a 表示成为Q函数的近似 vˆ(S,a,w) v ^ ( S , a , w )

示例

这里写图片描述
问题描述:一个汽车从谷底向上开,但是汽车的马力不足以支撑其到终点,因此最好的策略是需要先开到谷底的左边然后再加速,利用一部分惯性到达终点。

  1. 这里面的状态可以描述为: (xt),(xt^) ( 横 向 位 置 x t ) , ( 速 度 x t ^ )
  2. 动作空间为3个, 1,0,1 − 1 , 0 , 1 ,分别表示全力向左,不动和全力向右
  3. 状态序列更新的方式为:
    xt+1=bound[xt+xt+1^] x t + 1 = b o u n d [ x t + x t + 1 ^ ]

    xt+1^=bound[xt^+0.001A0.0025cos(3xt)] x t + 1 ^ = b o u n d [ x t ^ + 0.001 A − 0.0025 c o s ( 3 x t ) ]

这里bound表示其约束范围,横轴坐标 xt x t 的范围是 1.5xt0.5 − 1.5 ≤ x t ≤ 0.5 ,速度的范围是 0.07xt^0.07 − 0.07 ≤ x t ^ ≤ 0.07 ,当 xt x t 行到最坐标的时候,将会被置零。

在本示例中,将使用Q-learning的值近似方法,采用的线性函数来表示Q函数。

实验环境

实验将基于openAI所提供的gym包的mountaincar-v0这一个环境,openAI提供了很多的游戏环境,都可以进行相关的强化学习实验。
openAI目前支持mac OS 和Linux环境,可以直接使用pip install gym的方式安装其最新的版本的gym,但是对于python2.7来说,安装最新的版本0.9.6,可能会出现cannot import name spaces的问题,选择安装0.9.5则没有这个问题

关键代码

class Estimator(object):def __init__(self):self.models=[]for _ in range(env.action_space.n):model = SGDRegressor(learning_rate="constant")model.partial_fit([self.feature_state(env.reset())],[0])self.models.append(model)def predict(self,s,a=None):s=self.feature_state(s)if a:return self.models[a].predict([s])[0]else:return [self.models[m].predict([s])[0] for m in range(env.action_space.n)]def update(self,s,a,target):s=self.feature_state(s)self.models[a].partial_fit([s],[target])def feature_state(self,s):return featurizer.transform(scaler.transform([s]))[0]def make_epsilon_greedy_policy(estimator,nA,epsilon):def epsilon_greedy_policy(observation):best_action = np.argmax(estimator.predict(observation))A =np.ones(nA,dtype=np.float32)*epsilon/nAA[best_action] += 1-epsilonreturn Areturn epsilon_greedy_policydef Q_learning_with_value_approximation(env,estimator,epoch_num,discount_factor=1.0, epsilon=0.1, epsilon_decay=1.0):# stats = plotting.EpisodeStats(#     episode_lengths=np.zeros(epoch_num),#     episode_rewards=np.zeros(epoch_num))for i_epoch_num in range(epoch_num):policy = make_epsilon_greedy_policy\(estimator,env.action_space.n,epsilon*epsilon_decay**i_epoch_num)state = env.reset()for it in itertools.count():action_probs = policy(state)action = np.random.choice(np.arange(len(action_probs)), p=action_probs)next_state,reward,done,_=env.step(action)q_values_next = estimator.predict(next_state)td_target = reward + discount_factor * np.max(q_values_next)estimator.update(state, action, td_target)# stats.episode_rewards[i_epoch_num] += reward# stats.episode_lengths[i_epoch_num] = itprint("\rStep {} @ Episode {}/{}".format(it, i_epoch_num + 1, epoch_num))if done:print itbreakstate = next_state

其中,将两个状态参数使用RBF核函数进行转换为一维长度为400的特征向量,使用的普通的SGDRegressor。

结果

运行100代后的函数cost值为
这里写图片描述

代码链接

代码可以在我的GitHub链接里找到

这篇关于Reinforcement Learning强化学习系列之五:值近似方法Value Approximation的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/972816

相关文章

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》:本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法,简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局,详细内容请阅读本文,希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》:本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过

基于Python实现读取嵌套压缩包下文件的方法

《基于Python实现读取嵌套压缩包下文件的方法》工作中遇到的问题,需要用Python实现嵌套压缩包下文件读取,本文给大家介绍了详细的解决方法,并有相关的代码示例供大家参考,需要的朋友可以参考下... 目录思路完整代码代码优化思路打开外层zip压缩包并遍历文件:使用with zipfile.ZipFil

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化

C++中初始化二维数组的几种常见方法

《C++中初始化二维数组的几种常见方法》本文详细介绍了在C++中初始化二维数组的不同方式,包括静态初始化、循环、全部为零、部分初始化、std::array和std::vector,以及std::vec... 目录1. 静态初始化2. 使用循环初始化3. 全部初始化为零4. 部分初始化5. 使用 std::a