“双碳”目标下基于机器学习的虚拟电厂运行模式

新能源发电因波动性较大，大规模接入电网后，对电网调节能力要求提高。虚拟电厂能够提高电网的调节能力。《虚拟电厂交易机制与运营策略》一书聚焦于虚拟电厂对电力市场的影响研究，介绍了在虚拟电厂的参与下电力市场的各种运营策略，并给出了典型的虚拟电厂实践案例。

虚拟电厂是指在保留原有分布式能源资源并网的情况下，借助于现代通信、控制、计量等技术对各种分布式能源资源进行聚合，使得分布式能源资源的配置和利用得到最大优化。将虚拟电厂纳入到电力市场的运营中，能够在以下方面提升电网能力：

1）体现电网调节价值。虚拟电厂可针对新能源出力的波动性和随机性提供额外的需求响应，以提高新能源消纳。

2）体现灵活互动价值。虚拟电厂通过聚合需求侧资源，可高效的消纳弃电；虚拟电厂通过资源调度实现与新能源场站的互动，降低新能源场站的考核难度。

3）体现电力电量价值。随着新型电力系统建设的逐渐完善，虚拟电厂能够促进分布式能源和储能的灵活运用，有助于实现兼顾现货的电力中长期交易。

在虚拟电厂参与电力市场的运营过程中，引入强化学习算法能获得事半功倍的效果。该书将强化学习和深度确定性策略梯度（DDPG）相结合，提出多智能体深度确定性策略梯度（MADDPG）算法。MADDPG算法能够实现在博弈环境或者变动环境下多个智能体的同步训练。它无需顾忌智能体之间是否有联系，也不强求环境的变化信息。在训练阶段，每个智能体都能根据局部信息做出决策。将MADDPG算法应用于虚拟电厂的购售电博弈问题中，建立面向虚拟电厂的购售电非合作博弈模型。在该博弈模型中，以新能源发电企业收益、传统火电企业收益、虚拟电厂运营商购电成本为博弈目标，并以绿证的交易量、新能源发电企业的售电量等作为限制条件制定市场出清模型约束，同时给定各种市场参与策略模型假设。为了验证博弈模型的效果，以某虚拟电厂的实际购电需求为基础，模拟估计出火电企业和新能源企业的每月可供电量，设置各自的成本参数，并参考公开的政策信息。共进行3万次迭代仿真实验。由仿真结果可知，随着迭代次数的增加，相比于同类型的算法（TD3算法和BPPSO算法），MADDPG算法得到的政策收益上限最高；在迭代5000次后，虚拟电厂的成本降低均值收敛到大概11%，火电企业和新能源企业的度电收益则慢慢收敛到0.069元和0.065元，可见利用该模型模拟的结果能够体现出各方博弈的合理性。

虚拟电厂在特定时段进行的需求交易能够提高其收益。为了制定合适的电力定价方法，该书提出一种基于深度确定性策略梯度的虚拟电厂动态定价模型，该模型以周期内综合收益为目标函数，以价值函数为基础创建资源弹性系数，并设定4个约束条件以保证动态定价策略的合理性。以某区域内电动汽车的聚合负荷为虚拟电厂，分析其动态定价策略对电动汽车收益的影响。设置充电功率、充电服务费、动态定价区间、峰谷时段及其电价、交易频率等参数，以需求响应市场和现货市场价格出清数据为基础进行仿真，共经历2500次迭代。结果表明，峰谷平定价策略从刚开始就能获得高收益，在经历500次迭代后迅速收敛；96点动态定价策略制定最复杂，在迭代初期收益最低，经历1500次迭代后收敛，此时收益达到最高的231万元，是峰谷平定价策略收益的1.3倍；在总体收益方面，96点动态定价策略相比于其余策略能够提高10%。

该书给出了典型的虚拟电厂运营实践案例。在面向超大城市的上海虚拟电厂实践中，将黄浦区商业楼宇、世博B区作为虚拟电厂，而后又增加了远景能源、蔚来汽车等参与聚合调控，扩充虚拟电厂的范围。在2021年5月6日，利用虚拟电厂进行节能减碳，整个过程消纳清洁能源123.6万kWh，调节电网负荷56.2万kW。此次行动精准调动了多达11种资源，相当于4 h减少碳排放336 t，效果显著。

《虚拟电厂交易机制与运营策略》一书详述了虚拟电厂加入电力市场后对电网能力的影响；给出了面向虚拟电厂的购售电非合作博弈模型和基于深度确定性策略梯度的虚拟电厂动态定价模型，并验证了模型的可靠性；列举了典型的虚拟电厂运营实践案例。