策略梯度算法的缺点 这里策略梯度算法特指蒙特卡洛策略梯度算法，即 REINFORCE 算法。 相比于 DQN 之类的基于价值的算法，策略梯度算法有以下优点。 适配连续动作空间。在将策略函数设计的时候我们已经展开过，这里不再赘述。适配随机策略。由于策略梯度算法是基于策略函数的，因此可以适配随机策略，而基于价值的算法则需要一个确定的策略。此外其计算出来的策略梯度是无偏的，而基于价值的算法则是有偏的

note 文章目录 note一、A2C算法二、A3C算法时间安排Reference 一、A2C算法 在强化学习中，有一个智能体（agent）在某种环境中采取行动，根据其行动的效果获得奖励。目标是学习一种策略，即在给定的环境状态下选择最佳行动，以最大化长期累积的奖励。 A2C（Advantage Actor-Critic） Actor-Critic 框架：A2C 基于

1.1为什么要学习强化学习 （1）试错学习一开始是和行为心理学等工作联系在一起的，主要包括以下几个关键部分： 尝试：采取一系列动作或行为来尝试解决问题或实现目标。 错误：在尝试的过程中可能会出现错误，这些错误可能是环境的不确定性导致的，也可能是自身的不当行为导致的。 结果：每次尝试的后果，无论是积极的还是消极的，都会对下一次尝试产生影响。 学习：通过不断地尝试并出现错误，自身会逐渐积累

Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013.   本文的贡献：是深度强化学习算法DQN的开山之作，是第一篇将深度学习DL感知能力与强化学习RL序贯决策能力相结合的论文。本文提出了第一个通