1 组成（Target Network Delayed Training） Actor网络：这个网络负责根据当前的状态输出动作值。在训练过程中，Actor网络会不断地学习和优化，以输出更合适的动作。Critic网络：TD3中有两个Critic网络，也称为Twin Critic。这两个网络的主要功能是评估Q值（action的未来奖励值），也就是根据给定的状态和动作来估计未来的奖励。使用两个Crit

note 文章目录 note一、DDPG算法二、TD3算法时间安排Reference 一、DDPG算法 DDPG（Deep Deterministic Policy Gradient）算法 DDPG算法是一种结合了深度学习和确定性策略梯度的算法。它主要解决的是在连续动作空间中，智能体（agent）如何通过不断尝试来学习到一个最优策略，使得在与环境交互的过程中获得最大的回报。

0、TD3算法原理简介 详见笔者前一篇实践强化学习_06_pytorch-TD3实践(BipedalWalkerHardcore-v3) 1、CarRacing环境观察及调整 Action SpaceBox([-1. 0. 0.], 1.0, (3,), float32)Observation SpaceBox(0, 255, (96, 96, 3), uint8) 动作空间是[-1~1,

1. 强化学习通用参数设置 （1）强化学习算法选用 目前推荐的使用的算法主要是： 离散控制问题建议算法： ①D3QN——D3 指的是 Dueling Double DQN，主要集成了 Double DQN 与 Dueling DQN 的方法架构，另可与 Noisy DQN 来配合γ-greedy 方法来提升探索效率。 ②SAC-Discrete——提出的主要目标是用于解决混合动作空间中的