揭秘强化学习之谜，图宾根大学和马普所发现策略梯度的低维奥秘，开启高效AI训练新纪元！ 引言：深度强化学习中的梯度子空间探索 深度强化学习（Deep Reinforcement Learning, DRL）在解决复杂的连续控制任务中取得了显著成就，从Atari游戏到各种真实的机器人挑战，DRL的成功案例不胜枚举。然而，由于使用了大量参数的函数逼近器和持续变化的数据分布，深度RL方法往往显得脆弱，

1. 四个子空间 Four subspaces (mxn) 列空间 Column space C(A) in  零空间Nullspace N(A) in  行空间Row space = all combs of rows = all combs of columns of AT= C(AT) in  左零空间Left nullspace = Nullspace of AT = N(AT)