强化学习第九章：策略梯度方法

本文主要是介绍强化学习第九章：策略梯度方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

思路

与上一章的思路类似， 状态-动作 对下标索引获取概率π(s, a)的方式转换为状态-动作对 或者状态输入到神经网络中，两种方式，之前DQN实际使用的第二种方式（输出作为状态动作价值）：

同样，这种方式提高了数据的泛化性，存储效率高。

优化函数

接下来考虑基于策略的算法如何设定评价指标即优化函数呢，有两个：

• 平均状态价值 average state value
  
  其实就是求当前策略下 全局状态价值的期望 ，这个值越大，证明策略越好，d代表了 状态的分布 。
  对于d来说，
  • 如果与当前策略无关，那么就是一些 确切 的值，具体是多少呢?
    假如 平等 对待每个状态，那么就是都1/|S|
    假如只关心 一些状态 ，目的是优化策略 增加关心的 状态的价值，那么就赋 予这些状态更大的概率。
    在很多强化学习任务中，只关心从某个状态s0出发的最优策略，那么其实最大化的就是s0出发的 discounted return ，这个时候：
    
  • 如果与当前策略有关，那么d就为dπ，dπ是个啥呢，其实就是马尔科夫链形成的平稳分布，有个性质就是，访问次数多的状态的dπ(s)大，反之小。
• 平均一步奖励(immediately reward) average one-step reward
  
  很好理解，再来看一下，针对一个状态的瞬时奖励的计算：
  
  另一种表达式：
  
  这种表达式的情况，当前策略下，瞬时奖励的期望 = 将一条轨迹的所有 瞬时奖励 求和再求算术平均，而这个 瞬时奖励 是个随机变量，所以有个期望符号。

回过头来，针对这个问题，设计了两个优化函数，那么做过优化的同学肯定知道现在该进行优化函数的相关性分析了，看他俩是否是一回事或者成正比（正相关）
直观上来看是正相关的，那么具体的证明呢，得利用到平稳分布的性质：

实际上就是一回事。

优化函数的梯度

对于上面的优化函数来说，求梯度之后都可以写成(具体赵老师书P206)：

写成期望的形式：

OK，有梯度，开始求解

求解 Monte Carlo policy gradient (REINFORCE)

• Monte Carlo policy gradient (REINFORCE)
  梯度上升迭代式：
  
  这里和上面的梯度的区别在于：去掉了期望的符号，随机梯度下降；qπ变成了qt，熟悉的感觉来了，MC和TD，如果用MC，那么就是REINFORCE，如果是TD，那么请听下回分解。
  

总结

注意最终的优化函数以及梯度的求解。

参考资料

【强化学习的数学原理】课程：从零开始到透彻理解（完结）

这篇关于强化学习第九章：策略梯度方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---