本文主要是介绍为什么时序差分是动态规划和蒙特卡罗的结合，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
动态规划的优势：在已知状态转换概率和回报函数的情况下，不需要与环境的交互，直接通过策略迭代或值迭代方法得到最优策略。
动态规划的劣势：但实际情况下，环境的状态转换概率通常是未知的，因此该方法并不实际可行。
动态规划分析：虽然动态规划并不实际可行，但重要的是它的思想：用空间换时间，存储每个状态的值函数（也就是Q表），并利用后继状态的值函数估计当前值函数，这样就实现了单步更新，提升了更新的效率，也是时序差分借鉴的地方
蒙特卡洛的优势：在不知道状态转换概率的情况下，通过经验平均去估计状态的期望值函数，经验也即是采样或实验，利用当前策略进行很多次试验，每次试验都是从任意的初始状态开始直到终止状态，当采样的次数足够的多（保证每一个可能的状态-动作都能被采样到）时，就可以最大程度的逼近状态的真实期望值函数。
蒙特卡洛的劣势：因为它用的是值函数的原始定义：即从状态s到终态的累计奖赏，因为它必须到达终态才能得到状态s的值函数，因此更新过程非常缓慢，学习效率不高。
蒙特卡洛分析：因为它是通过采样的方法去估计状态的期望值函数，不需要知道状态转换概率，更符合实际情况，这里的采样其实也就是为什么说强化学习是试错学习，为什么要和环境交互的原因。试错就是采样之后，环境给出奖惩信息，说明在当前状态下执行该动作的好坏，并会在最后的值函数中得到体现。
怎么结合&
这篇关于为什么时序差分是动态规划和蒙特卡罗的结合的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
