摘要 ------有效地吸纳外部建议是强化学习中的一个重要问题，尤其是在它进入现实世界的时候。基于势能的奖励塑形是在保证策略不变性的前提下，为agent提供特定形式的额外奖励的一种方式。本文提出了一种新的方法，通过隐含地将任意一个具有相同保证的奖励函数转化为动态建议势能的特定形式，使其保持为一个同时学习的辅助值函数。我们证明了这种方式提供的建议捕获了期望中的输入奖励函数，并通过实证证明了其有效性