AI 助力双碳目标：让每一度电都是我们优化的

作者：辛焱(悬尘)   达摩院决策智能实验室

双碳下新型电力系统带来的挑战

据统计：调度通过优化计算对新能源消纳能力每增加1%，将会影响1.2GW等效48亿元投资。所以如何做好电网调度将是实现双碳非常重要的一个环节。

“碳达峰、碳中和”被纳入生态文明建设整体布局，“构建以新能源为主体的新型电力系统”的新要求，将使得新型电力系统呈现高比例新能源消纳、源网荷储互动融合、多能互补、电力系统灵活调节、用户用能需求多样化等特征，对传统电网可靠供电、安全稳定和经济运行带来了新的挑战，同时对电网调控工作提出了新的要求。

随着新型电力系统建设的快速推进，电网运行认知方面已经临新的问题：

1）电网调度控制复杂性不断加大，调度运行特性发生了深刻变化，对电网的精细化调控和一体化统筹管理水平提出了更高的要求；

2）由于电力电子装置广泛使用以及新能源渗透率的提高，电力系统表现出越来越强的复杂性和强不确定性，如何保证电网稳定、安全运行，成为电网调控的重大战略问题，而传统基于物理特性的模型驱动方法难以短时间内得到正确结果；

3）由于电源结构转变，系统惯量降低，对于电网调度优化的计算颗粒度要越来越精细，相当于计算的效率要越来越高。

用优化模型来解释下这个变化：从之前的LP要逐步变成MILP甚至MINLP，同时计算的规模与范围会指数增长，但要求计算效率要更快。这个问题是不是看着有点像“既要又要”？是的，这个就是电网调度在新型电力系统面临的挑战。

找到了关键问题与主要矛盾，下面我们来看下我们是怎么一步步来解决这些问题的。

第一阶段：国产化替代

分别与国网两院签订求解器在电力现货经济调度与机组组合验证项目，对比图如下：

国网两院给予的结论是：分别在电力定价，机组组合阶段与国外求解器计算结果一致且计算效率相仿，具备替代国外求解器条件。但仅仅停留在底层优化技术，我们发现无法解决新型电力系统的调度难题，我们还要更深入的去了解这个技术方向。

第二阶段：夺冠

2021年8-10月国网举办了AI调度大赛，达摩院决策智能实验室夺冠：

比赛的内容是在0.1s内在考虑N-1断线与新能源不确定性下做出考虑交流潮流的机组组合问题，问题规模是50机组126节点。目标是在考虑各类网络安全约束下尽量消纳新能源并且保证系统成本最低（是一个鲁棒MINLP优化问题，但计算时间要求很苛刻）

决策智能内部成立了2个技术小组分别从MINLP和强化学习2个方向进行技术探索，在整个比赛过程中我们开发了一套潮流计算工具，尝试针对电力系统的MINLP基于Jacobian Matrix做了线性化，在DDPG里面融合了大量业务知识，最终在决赛阶段通过2个技术方向以松耦合的结合方式取得了冠军。在这个过程中，我们越来越坚信：强化学习和底层优化技术的结合才能解决新型电力系统调度决策问题。

第三阶段：全球第一个云上AI电力调度系统

搞定了比赛之后我们没有停下脚步，在电力行业线帮助下找到了南网的电力调度实验场景，在南网调度云上搭建了总调的实时AI调度决策系统。

挑战是：我们调研了强化学习在国内外的应用都没有超过1000节点以上的系统，南网总调的规模是4000节点、1000多台机组的这样大规模电网结构（是我们参加比赛的40倍），对如此大规模网络结构进行强化学习训练是一项非常大的挑战。我们寻求到蚂蚁RAY团队的帮助，在他们帮助下使用了RAY进行大规模分布式强化学习训练；单次训练潮流计算效率是瓶颈，我们将潮流计算进行了改造结合了我们底层数值计算LU分解能力，将单次计算控制在了0.5s以下。实际的调度系统对于电力调度决策的安全性要求极高，我们在这个问题中采用了SafeRL的方法，将强化与底层优化技术深度耦合在了一起，实现了每一度电都是我们优化的，并且将计算效率提高了100倍以上，具备了秒级调度优化能力。

我们取得的结果：

第四阶段：我们把积累的能力拿出来与大家共享

为了支撑某电网今年举办的强化学习AI调度大赛，我们搭建了无影+强化学习分布式训练云平台，建立了当地电网模拟仿真环境。我们希望降低强化学习使用门槛，赋能电力行业，让大家能更用简单的方式将强化学习应用在电力调度的各个业务。