本文主要是介绍GPS Learning Neural Network Policies with Guided Policy Search under Unknown Dynamics,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1. Abstract
该论文[2]承接于[1], 在前一篇博客中整理. 提出一个策略搜索方法, 算法中迭代的拟合局部线性模型去优化大型连续的轨迹分布, 得到的轨迹分布被用在引导策略搜索(GPS)算法中, 学习任意参数的策略. 论文拟合时变线性动态模型去加速局部动态拟合过程, 并不学习一个全局模型. 在全局动态模型复杂并且不连续的情况下, 很难被成功学习. 该算法是model-based和model-free的混合方法, 比model-free方法需求更少的样本, 又能很好的解决model-based方法难以成功学习复杂不连续动态模型的问题. 最后, 在仿真平台上, 针对环境部分可观测的复杂机器人操作任务, 算法能够成功学习到一个复杂的神经网络策略, 并取得一个比较理想的结果.
2. Preliminaries
策略搜索一般分为两类: model-based方法, 需要用到系统的动态模型, 而实际系统往往难以得到精准的系统模型. model-free方法, 仅仅依靠现实世界尝试去寻找最优策略, 不依赖于具体系统模型. model-free方法很好的避免了这个难题, 但是策略往往需要精细的设计, 低维度表示, 否则搜索时间太长, 需求样本过多, 搜索空间过大, 最终导致搜索陷入局部最优并失败.
策略搜索方法, 一般包括: 优化策略 πθ(ut∣xt) 的参数 θ , 代价函数 ℓ(xt,ut) 的期望 Eπθ[∑Tt=1ℓ(xt,ut)] . 该期望是在策略和动态模型 p(ut∣xt) 的条件下求得. 由策略和动态模型可以确定轨迹 ζ 的分布. 代价函数期望也可表示成: Eπθ[ℓ(ζ)] .
论文所述算法, 是学习一个时变线性高斯策略 p(ut∣xt)=N(Ktxt+kt,Ct) . 当初始状态分布是一个比较窄的高斯分布时, 该结构的策略可以使用一些特别有效的优化方法来求解. 而任意参数的策略 πθ 使用GPS算法来优化, 通过匹配一个或多个高斯策略 p 来训练. 实验论证, 这样的方法比直接学习策略的参数
3. Trajectory Optimization under Unknown Dynamics
在动态模型 N(fxtxt+futut,Ft) 未知的情况下, 我们可以利用前一个的线性高斯控制器 πθ(ut∣xt) 在实际系统中运行, 获取到轨迹, ζi={x1i,u1i,...,x
这篇关于GPS Learning Neural Network Policies with Guided Policy Search under Unknown Dynamics的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!