基于SAC算法的含柔性负荷电-气互联系统的频率与气压协调控制策略

张磊光，陈海涛，杨 军

（1.国网河南驻马店供电公司，河南驻马店 463000；
2.武汉大学电气与自动化学院，湖北武汉 430010）

近年，全球开始将建设绿色、低碳和清洁的能源互联网作为目标[1-2]，而电转气（Power to Gas，P2G）技术则是能源互联网中实现能量传输和分配的重要手段[3]。而相比于孤立运行的微电网和天然气网络，电-气耦合系统的结构更加复杂，由此给相关系统的运行控制带来了更大的挑战[4-5]。

天然气管网的结构设计和控制模型是P2G 互联系统的研究基础[6-7]。文献[8]对混氢天然气系统进行了建模，构建出“互联互通”的电-气-氢综合能源系统。文献[9]提出采用状态方程对管道流动特性进行建模分析的想法，在管道流动基本方程的基础上，推导出管道的状态方程表达式。文献[10]应用随机Petri 网方法设计了1 种网络模型，对电-气耦合能源系统开展了供能可靠性评估，大大提高了建模与控制过程的计算效率。然而，随着P2G 互联系统的发展，天然气管网侧的运行状况越发复杂，天然气管网和微电网的负荷扰动均会影响到耦合系统的频率和压力平衡[11]。因此，文献[8-10]中的传统控制方法难以对系统中的各单元实现协调控制，从而实现电-气耦合系统在多种工况下的稳定运行。

当微电网处于孤岛模式时，上级电网不会再提供电力支持。因此，需要分布式电源或储能为微电网继续提供功率支持[12-13]。而在电-气耦合系统中，微型燃气轮机（Micro Gas Turbine，MT），P2G 设备及柔性负荷能够为微电网提供电源支撑。因此，完成系统控制的关键在于控制器的设计，其控制效果影响了微电网系统的频率稳定性与天然气管网的气压稳定性[14]。文献[15]提出了1 种支持电网稳定的电力与天然气系统耦合控制方案，该方案能够协调P2G 系统中的各组件，实现功率平衡。文献[16]提出了1 种电-热-气集成微电网的风电非线性调控模型，该模型能够满足电、热、气负荷的需求以及电-气耦合系统的安全约束。文献[17]提出了1 种用于燃料电池和电解槽的储氢系统频率控制方法，该方法允许初级频率响应和惯性仿真，电-气耦合设施能够有效地支持自主电气系统中的功率调节。在文献[18]中，作者为保证电-气能源互联系统运行的运行可靠性，提出了1 种电-气能源互联微电网运行多代理控制方法，提高了微电网侧的稳定性。然而，文献[15-18]中的研究仅考虑了含天然气系统微电网的频率控制问题，显然无法解决微电网频率与天然气管网气压的协同控制问题；
同时，微电网中的可再生能源与天然气网络中也存在着巨大的随机性问题；
其所提出的传统的控制方法难以应对这种复杂的工程控制任务。

因此，本文提出了面向电-气互联系统的频率-气压协同控制策略。建立了天然气网络模型、电转气系统耦合模型及柔性负荷的频率控制模型，并由此建立了包括MT，P2G、柔性负荷站、WT 和负载的孤岛微电网控制系统；
选择了具有在线学习能力的柔性动作评价（Soft Actor Critic，SAC）算法作为控制算法，由此实现了微电网频率和天然气网络气压的协调控制：根据微网频率和天然气网络气压2 个控制目标，设计了智能控制器的结构，完成状态空间与动作空间的定义，设计出相应的全局和局部奖励函数，使得控制器能够在控制过程中协调考虑2 个控制目标，实现系统的整体稳定性最大化。

电-气耦合模型如图1 所示，包括柔性负荷、分布式电源、微型燃气轮、普通负荷以及天然气网络模型。

图1 P2G互联终端综合能源系统模型Fig.1 Model of P2G interconnected terminal integrated energy system

1.1 天然气网络建模

天然气管道流量模型如图2 所示，其中O，L分别为管道截面积、长度，x为距离。基于质量守恒定律与牛顿第二运动定律，并根据有限元近似的思想，将动态天然气流用常微分方程形式描述[19-20]。

图2 天然气管道中的天然气流量Fig.2 Natural gas flow in natural gas pipeline

式中：pin，pout分别为天然气管道入口、出口处的气压；
Min，Mout分别为管道入口、出口流量；
c为管道的声速；
D，f分别为管道直径、摩擦系数。

进而，可将调压阀的动态特性简化为：

式中：b为调压阀变比；
Kb为调压阀的比例控制系数；
pout_ref为调压阀出口处气压参考值。

1.2 微型燃气轮机建模

微型燃气轮机是电-气耦合系统的关键组成，其控制框图如图3 所示。其中，ΔuMT为输入到微型燃气轮的调控信号，F0为反馈信号，ΔXMT为燃料系统的状态量，Tf和Tt为时间常数，±δmt为MT 的功率增量爬坡边界，±μmt为功率增量边界，s′为拉普拉斯变换中的复变量，ΔPMT为燃气轮机输出功率增量。

图3 微型燃气轮机功率调节框图Fig.3 Power control block diagram of micro gas turbine

本节针对孤岛电-气耦合系统，在考虑P2G 设备耦合作用的情况下，分析电网负荷扰动，搭建孤岛微电网的负荷频率控制模型。

2.1 P2G设备负荷频率控制模型

由于P2G 可视为可控负荷，其具体的频率控制响应模型如图4 所示。其中，ΔuP2G为P2G 设备收到的控制信号，Tele为电解槽时间常数，±δP2G为功率增量爬坡约束，±μP2G为功率增量约束，ΔPP2G为P2G 设备的功率增量。

图4 P2G设备频率控制模型Fig.4 Frequency control model of P2G equipment

2.2 可控负荷频率控制模型

微电网中的可控负荷同样也是1 种具有代表性的灵活储能单元，主要包含冰箱、热泵、空调等器件。这类单元的输出功率主要受负荷计算中心控制[21]。由此，本文设计了可控负荷频率控制模型如图5 所示。控制中心会接收到控制器输出的控制信号，并基于此得到可控负荷群内各单体设备的开关状态，从而得到输出功率的实时边界，并输出可控负荷的功率增量。

图5 可控负荷频率控制模型Fig.5 Frequency control model of controllable load

图5 中，Δucl为柔性负荷（Controllable Load，CL）的调节指令，Tcl为CL 的时间常数，ΔPcl为柔性负荷的功率增量。假设CL 单体单元的上限数量是N，且当时刻t时，有Np个能够输出正功率的CL 单元，并有Nd个能够输出负功率的CL 单元，Np与Nd的数值受各用户行为控制，即具有用户随机性。并设定所有CL 单体的性能与参数保持一致，并设置每一个CL 单体的输出功率上限为，下限为进而，根据CL 单体的功率约束计算出CL 集群的输出功率的边界为：

式中：i为柔性负荷的编号，代表第i台负荷设备。

系统控制器会根据实时运行状态向负荷计算中心发送调节指令，计算中心依据信号及实时输出功率边界计算出正向放电的CL 数量为np，处于用电状态的CL 数量为nd，从而得到实时CL 集群的输出功率增量ΔPcl为：

综上所述，若ΔPcl等于0 代表CL 集群与外界没有发生净功率交换；
若ΔPcl大于0 代表此时有更多的CL 单体处于对外输出功率的状态，因此CL 集群将对外提供正向输出功率；
若ΔPcl小于0 则代表CL集群对外界输出负功率。

2.3 含P2G设备的微电网控制结构

基于所建立的各调控机组模型，本节建立微电网负荷频率控制模型如图6 所示。

图6 微电网频率控制模型Fig.6 Frequency control model of microgrid

其中，LFC 控制器可以向各机组发出调控信号，系统内包含1 台微型燃气轮机、2 组柔性负荷及1 组P2G 设备；
ΔPL和ΔPw分别为负荷、风电扰动，Δf为频率偏差，Δucl1和Δucl2分别为1 号、2 号柔性负荷的调节指令，ΔPcl1和ΔPcl2分别为1 号、2 号柔性负荷的功率增量，D和Ht为微电网系统的惯性常数。

由于风电机组极大的不确定性，因此将其视为随机负荷，并采用微型燃气轮机作为主调频机组，将柔性负荷作为辅助调频单元，以保证微电网系统调节的灵活性[22]。

3.1 SAC算法

SAC 算法的基础是强化学习技术，通过智能体和环境不断交互获取经验由此完成预学习[23-25]。其原理图如图7 所示。

图7 强化学习原理图Fig.7 Principle diagram of reinforcement learning

与最大化奖励回报为目标的传统强化学习算法相比，SAC 算法不仅需要把奖励回报最大化，还需要将动作的熵值最大化。即：

式中：π*为最优策略；
E为数学期望；
st，at分别为智能体在t时刻的状态与采取的动作；
ρπ为策略π下轨迹（st，at）的分布；
R（st，at）为智能体在st采取at获得的回报值；
w为温度系数；
H（·）为计算策略π的熵值。

熵值最大化可以防止智能体过快收敛到局部最优解，增加智能体的探索率，防止遗落任何1 个有用的动作，也因此具有更好的鲁棒性。SAC 算法包含3 个神经网络参数，分别为策略网络参数ϕ、价值网络参数θ、目标价值网络参数θ′。更新参数ϕ需要最小化如下目标：

式中：Jπ(ϕ)为网络参数ϕ的最小化目标函数；
D为用来存放样本的经验回放池；
Qθ(at|st)为价值网络的输出值；
πϕ(at|st)为策略网络在状态st输出动作at的概率。

进而，动作at通过重参数化方法获得：

实际中动作at需要限制在一定范围内，故采用tanh 函数将动作限制在（-1，1）之间，重参数化后得到的优化目标为：

通过（11）式对网络参数ϕ进行更新。

而价值网络参数θ通过最小化贝尔曼误差进行更新。

式中：JQ(θ)和y为网络参数θ的更新函数；
st+1，at+1分别为智能体在t+1 时刻的状态与采取的动作；
r(st,at)为智能体在状态st输出动作at后获得的奖励；
Qθ′at|st)为目标价值网络的输出值。

参数θ′通过式（14）进行更新。

式中：τ为更新系数。

对于w，由于奖励不断变化，所以采用固定的温度系数会使整个训练不稳定。温度系数的损失函数为：

式中：J(w)为温度系数的损失函数；
πt为智能体在t时刻的策略。

3.2 智能体设计

将控制器的状态集设置为电网侧的频率波动值ΔF（t）、天然气管网的气压波动ΔP（t）以及CL 集群的随机功率边界，故状态空间S可定义如下：

SAC 控制器的动作空间可设置为对MT，CL 集群、P2G 设备所发出的输出功率调节指令。因此，可将智能体的联合动作集A定义为：

进而，可设计出智能体的奖励函数：

式中：R为系统中的全局奖励函数；
Rf为电网侧的频率控制奖励；
Rp为天然气网侧的气压控制奖励；
a1，a2，a3，a4为电网侧频率控制奖励的参数；
b1，b2，b3，b4为天然气网侧气压控制奖励的参数。

4.1 预学习训练

为完成智能体的预学习阶段的目标，本文设置了不同幅值、不同类型函数所叠加而成的扰动函数、天然气管网节点气压函数及柔性负荷输出功率边界函数，同时将Q 学习算法的训练过程作为对照组。SAC 算法与Q 学习算法的具体收敛效果如图8所示。由图8 可知，SAC 智能控制器的收敛特性处于较高水平，相比于Q 学习算法，能够更顺利地进行电-气耦合系统在不同场景下的稳定控制。

图8 预训练过程Fig.8 Pre-training process

4.2 微网侧组合扰动的响应（场景1）

本节设置了由风电扰动与负荷阶跃扰动组合形成的复杂扰动如图9 所示。其中，ΔP为扰动功率量，并将其输入到电-气耦合系统中以验证所提出的控制策略的运行效果。在SAC 控制器、Fuzzy控制器及PID 控制器的作用下，微电网侧的频率控制效果如图10 所示。

图9 微电网系统受到的强随机扰动Fig.9 Strong random disturbances experienced by the microgrid system

图10 微电网的负载频率波动情况Fig.10 Frequency fluctuation of microgrid under disturbance

由图10 可知，在图9 所示的组合扰动下，基于SAC 算法的负载频率控制器具有最好的控制效果：频率波动幅度小，频率最大波动值在0.03 Hz 范围内，大部分时间的频率波动接近于0。而在传统PID 与Fuzzy 控制方法下，频率波动的最大值达到0.116 8 Hz与0.082 39 Hz，控制效果远低于SAC 控制器。

4.3 电网-气网组合扰动的响应（场景2）

天然气管网的负荷流量波动会导致管道与负荷交接位置的气压偏差，引起管道进出口的气压差变化。当设备检测到天然气节点气压波动时，MT和P2G 设备会参与气压控制。在这种情况下，相关设备运行在电定气模式，因此无法对微电网的负载频率进行控制，即对于电网侧而言，MT 与P2G 将被视作扰动源，与风电扰动和负荷扰动叠加形成组合扰动。可假设：当t=0 s 时天然气管网正常稳定运行；
当t=20 s 时，系统中管道的天然气流量从20 g/s下降到10 g/s，经过单位转换为从0.027 88 m3/s 降低到0.013 39 m3/s，如图11 所示。

图11 天然气管道流量变化Fig.11 Variation of natural gas pipeline flow

MT 和P2G 设备在SAC 控制器管控下的输出功率变化如图12 所示。

图12 MT和P2G设备的功率输出增量变化Fig.12 Power output increment variation of MT and P2G equipment

在PID，Fuzzy 和SAC 控制器管控下的天然气网络气压波动如图13 所示。不同控制器会对系统进行协调控制，其具体的频率控制效果如表1所示。

表1 场景2下系统的频率控制效果Table 1 Frequency control effect of the system in case 2

图13 天然气网络压力变化Fig.13 Variation of natural gas network pressure

由图13 与表1 可见知，若系统不采取控制手段，天然气管网的气压出现明显上升，将影响系统正常安全稳定运行。PID 控制器能够对气压波动进行控制，但是其控制速度较慢；
而Fuzzy 控制器虽然能够快速响应，但是其控制明显过度，在时间达到400 s 时出现气压低于标准值的情况，从而导致当时间达到700 s 时，天然气管网的气压出现回弹上升。而SAC 控制器依然能够保持极高水平的控制效果，频率偏差极小，最大偏差值可控制在0.03 Hz范围内，大部分时间下的频率偏差接近于0；
同时可保证气压偏差快速恢复到0。因此，SAC 控制器可以协调电网侧的频率恢复和天然气网侧的气压调节，相比于传统控制方法，具有更为优越的动态控制特性。

本文提出了1 种基于SAC 算法的含柔性负荷的电-气互联系统的频率与气压协调控制策略，可保证电-气耦合系统在受到电力负荷扰动与天然气负荷扰动时的系统稳定。具体结论如下：

1）在模型上，计及微电网与天然气网络之间的交互特性，构建了以MT 和P2G 设备为耦合装置的电-气耦合系统。

2）所设计的SAC 控制器与传统控制器相比，具有在线学习和经验回放能力，能够更好地应对电网侧的随机扰动，控制效果优于传统控制器。

3）当天然气管网的节点气压发生变化时，SAC控制器能够确保微电网的最大频率偏差控制在0.03 Hz 以内，并迅速使节点气压偏差恢复至0附近。

猜你喜欢 气压扰动天然气 Bernoulli泛函上典则酉对合的扰动数学物理学报(2022年4期)2022-08-22看不见的气压幼儿画刊(2021年5期)2021-12-02第六章 意外的收获——石油和天然气小学科学(学生版)(2020年5期)2020-05-25石油和天然气小学科学(学生版)(2019年11期)2019-12-09(h)性质及其扰动数学物理学报(2019年4期)2019-10-10压力容器气压端盖注射模设计模具制造(2019年4期)2019-06-24天然气：LNG价格已经开始预热了么？能源(2018年8期)2018-01-15小噪声扰动的二维扩散的极大似然估计贵州师范学院学报(2016年3期)2016-12-01我国天然气真的供大于求吗?石油知识(2016年2期)2016-02-28用于光伏MPPT中的模糊控制占空比扰动法电源技术(2015年11期)2015-08-22