第29卷第7期控制与决策2014年7月文章编号:1001-0920(2014)07-1311-05DOI: ),男,副教授,从事随机动态系统的控制与优化的研究；路改香(1986 ),女,硕士生,从事智能电网的性能分析与优化的研究.
1312控制与决策第29卷分时差异电价,引导用户需求的选择性适时接入,构通过双向通信实时传输需求和控制信息.用户的用电成一个多用户参与的二级决策过程,并提出一种启发需求通过SMD发送给OCC,各类业务请求到达的时式的注水算法求解最优的定价和接入策略.文献[3]间间隔、服务持续时间、最大延迟响应时间具有相互考虑未来一定时间段内分时电价已知情况下,配有再独立的随机性.各类业务的随机特征可以用不同参数生发电装置和储能设备用户的容许延迟响应需求的的概率分布来近似,并由业务服务实测数据的统计分负荷控制,提出一种基于Lyapunov函数的策略优化析获得.算法.文献[4]基于实时电价的预测,运用动态规划方OCC接收SMD传送的用户请求,根据当前电网法求解具有功率可调、时间弹性的电动汽车充放电的的运行情况决定是否即时接入用电需求,或推迟在需用户需求管理问题.动态分时定价引导多用户参与决求的最大容许响应时间之前的某个时刻接入,并通策的DLC受限于不同用户及用户与运行者之间协同过SMD控制用户需求的接入,如图1所示.系统设置的复杂性.智能电网依托集成的高速双向通信网络,一个缓存区用以缓存未被即时接入的请求,当系统中使得集中式的实时DLC成为可能[7].文献[5]中运行有服务完成导致负荷变化时,OCC决定是否接入缓存者通过控制大容量储能设备的充放电,将其作为一个中等待的服务请求.若请求在缓存中等待时间达到其可逆的负荷来平缓业务需求的波动,在稳态性能分析最大延迟响应时间,则自动接入电网服务.的基础上提出一种基于负荷阈值的充放电控制策略.文献[6]考虑具有弹性延迟响应时间用户需求的接入!"控制问题,采用一致化链的方法建立基于离散时间#$%&P(t)Markov决策过程的系统分析模型,提出一种缓存队列长度相关的负荷阈值接入控制策略)*#$λ.该研究仅考虑id=1i#$%&)单种类型业务需求的接入,基于即时接入与缓存请求2#$ I=f1;,具有较快的收敛速度和良好的应用效果2; ;Kg类需求的用电功率为pi,其请求到达OCC.服从参数为 i的Poisson分布,用电持续时间满足均1问题描述值为1= i的指数分布,最大容许延迟响应时间服从均考虑为多类具有弹性响应时间业务需求的用值为1= i的指数分布.户提供服务的智能电网系统,电网运行控制中心以电网中正在服务的各类业务的个数及缓存(OCC)和安装于用户端的智能测量装置(SMD)之间中各类业务请求的个数描述系统状态,即s=(ni;
第7期江琦等:智能电网弹性响应时间业务需求的接入控制1313m1wTi;i2I).其中:ni表示电网中正在接受服务的第i L=limT!1f(XTt)dt=qLf:类业务的个数,mi表示缓存中第i类业务请求的个0数优化目标为寻求最优的控制策略L 2 ,使得.系统的状态空间为nX系统运行的长期平均代价最小,即S=(ni;mi;i2I)jpini6Pmax;XL 2argmin L:oi2IL2 mi6Mmax;3策略优化算法i2I其中Pmax和Mmax分别表示电网的极限负荷和缓存上述策略优化是一个无约束优化问题,其最优策的最大容量略可在确定型策略空间取得,适用于采用策略迭代的.控制行动d=方法进行策略寻优[8].(di;i2I),其中di取0或1:di=1表示接入新到达或缓存的第i类业务请求;di=0表设fXt;Dt;t>0g是策略L驱动下上述连续时示将新到达的第i类业务请求放入缓存中或不接入间Markov控制过程的一条样本轨道,对应于代价函缓存中的第数f.定义状态s2S的性能势[9]为i类业务请求.所有可行的行动构成行动hw∣i集DL1.定义事件ei为一个i类业务新请求到达,事件e0igs=E(f(Xt) ∣ L)dt∣X0=s;(1)为电网中一个i类业务完成服务离开,事件集合0E=性能势向量gL=(gLs;s2S)T满足Poisson方程fei;e0i;i2Ig.控制行动由事件触发.确定型策略L是状态空间 f+ Le=ALgL:(2)S与事件集合E至行动集D的映射由式(2)可得性能势的理论计算公式,L:S E!D,即L=(Li(s;e);i2I;s2S;e2E),其中Li(s;e)表gL= ((AL eq 1) eq)f:(3)示处于状态s发生事件e时选取的控制行动di.确定设AL0为策略L02 诱导的另一个转移速率矩型策略空间记为 .阵;qL0; L0为对应的稳态概率和平均代价测度.将式在策略L2 控制下系统的状态演化可以用一(2)两边同时乘以qL0,并应用qLA0L0=0得到性能差个连续时间Markov控制过程fXt;t>0;S;ALg表示,公式其中AL为状态转移速率矩阵,其元素 L0 L=aL8ss0=qL0((AL0 AL)gL+(fL0 fL)):(4)>>>> >iLi(s;ei);s0=s(ni+1);由性能差公式,基于一个策略下的性能势比较两>>>>>> iI(Li(s;ei)=0);s0=s(mi+1);个策略的优劣,有如下引理.>>>>>引理1比较定理和最优不等式.>n>i iLj(s;e0i);s0=s(ni 1;nj+1;mj 1);>>><ni iI(Lj(s;e0i)=0);s0=s(ni 1)1)如果AL0gL+fL0 ALgL+fL(符号 表示各;分量不大于且至少有一个分量小于),则有 L0< L.>>>mi iI(pi+P(s)6Pmax);s0=s(ni+1;mi 1);>>2)当且仅当8L02 时,策略L是最优策略,有>>>>m>i>>ALgL+fL6AL0gL+fL0:(5)>X iI(pi+P(s)>Pmax);s0=s(mi 1);>>> aL>ss0;s0=s;>基于引理1,有如下策略迭代算法.>>s06=s>:算法1基于数值计算的策略迭代算法.0;others:这里Step1:给定初始策略L0,置k=0.:s;s02S,s( )表示其状态分量相对于s=(n1;Step2(策略评估):根据式(3)计算; ;XnK;m1;m2; ;mK)发生括号标注的变化,KStep3(策略改进):逐个分量选择P(s)=njpj,I( )为示性函数.j=1Lk+1=argmin(ALgLk+fL):(6)L2 在策略8L2 下,该Markov过程不可约,其稳若在状态s2S,行动Lk(s;e)取到式(6)最小,则置态概率qL=(qLs;s2S)存在且唯一,满足平衡方程Lk+1(s;e)=Lk(s;e).qLAL=0;qLe=1;ALe=0;Step4:若Lk+1=Lk,则算法停止;否则,置k=其中e=(1;1; ;1)+1,转入Step2.设代价函数f:S!R,f(s)=C[P(s)],写成向由Step3,如果Lk+16=Lk,则量形式f=(f(s);s2S)T.系统的长期平均代价为fLk+1+ALk+1gLk fLk+ALkgLk:
1314控制与决策第29卷根据引理1,则有 Lk+16 Lk,即每一次策略迭代,代表1仿真参数价都有减少.由于策略空间有限,迭代将在有限步内业务类型ipi i i停止1124.当迭代在第k步停止时,设L =Lk,由式(6)有2238L =argminL(fL+AgL );L2 电网的成本函数C(P)是关于功率负载P的一或者个分段凸函数,表示为AL 8gL +fL 6ALgL +fL:>>由引理<30P+40;06P62;1可知,策略L 是最优策略.C(P)=上述算法中>60(P 2)+100;2<P63;>,策略评估步骤中的性能势数值计算:涉及矩阵求逆运算100(P 3)+160;P>3:.随着系统规模的扩大,转移速率矩阵的阶数急剧增长,求逆运算带来很大的计算负担用不同的业务需求到达率模拟不同的应用环境,,可能由于计算机硬件限制难以得出计算结果.为了解评估算法1和算法2的收敛情况.实验中,基于理论计决系统大状态空间导致的维数灾问题,可设计基于仿算的策略迭代算法以较快的速度收敛到最优控制策真的策略迭代算法,其主要思想是:在每次迭代的策略(通常k<10).而基于仿真的策略迭代由于样本略评估步骤轨道N的有限取值(实验中取N=10000),性能势的,仿真系统在当前策略Lk下运行一条样本轨道,并基于样本轨道的状态转移信息计算性能估计存在一定的随机误差,表现在算法2以较快速度势收敛于最优策略附近之后有一个小幅振荡过程.这时gLk的估计值g^Lk;在策略改进步骤中,以g^Lk替代gLk来计算改进策略.具体算法如下可以通过附加一个停止准则,使得算法产生一个具:算法有满意性能的近似最优策略.也可以通过增大N的2基于仿真的策略迭代算法.取值来提高性能势估计的精度,以抑制振荡使得算Step1:选择一个较大的整数N和初始策略L0,置法收敛到最优策略,这会增加仿真计算量.实际应用k=0.中,N值需权衡计算代价与优化性能进行折中选取.Step2(策略评估):仿真在策略Lk控制下的系统运行,得到一条具有N次状态转移的样本轨道图3和图4为在两种不同的需求到达率下,算法1和fXt;算法2的收敛过程.06t6TN8g,根据式(7)计算性能势估计值190>><kwTg^Ls=N(f(Xt) ^LkOA1)dt;tOA2s>(7)>: ^Lk=1wTN180f(XTt)dt:N0其中:TN是样本轨道第N状态转移的时间,ts是样本170轨道第一次转移到状态s的时间.048Step3(策略改进):逐个分量选择IterationstepsLk+1=图3算法1(OA1)和算法2(OA2)的执行情况argmin(fL+ALg^Lk):(8)L2 ( 若在状态1=5; 2=3)s2S,行动Lk(s;e);e2E取到式(8)最小,则置225Lk+1(s;e)=Lk(s;e);:若Lk+1=Lk,则算法停止;否则,置k=k+1,转入基于仿真的策略迭代的收敛性既依赖于性能势的估计误差,又依赖于应用于估计的样本轨道长度.算法2采用固定数量N次的状态转移来估计性能势185,048当IterationstepsN足够大时,性能势的估计值与真值间的误差满足一定的条件图4算法1(OA1)和算法2(OA2)的执行情况,可以保证该算法是收敛的.( 1=8; 2=6)4仿真结果通过比较实验评估算法的有效性.图5为在不通过数值仿真实验评估算法的收敛性和有效性.同业务需求到达率下( = 1+ 2; 1= 2=4=3),仿真参数选取如下:电网的极限负荷Pmax=4,最大算法2产生的最优策略(OA2)、即时接入控制策略缓存容量Mmax=4,为两种类型的业务需求提供服(AAI)和基于阈值控制策略(SHB)[6]的应用效果.即时务(K=2),各类业务需求的具体参数如表1所示.接入控制策略是当业务需求到达时即予以接入.基于AveragecostAveragecost
第7期江琦等:智能电网弹性响应时间业务需求的接入控制1315阈值策略是设定一个与缓存队列长度相关的负荷阈参考文献(References)值,当电网实际负荷大于此阈值时,不接入到达的业[1]MoslehiK,务需求;反之则接入一个新的业务需求或激活一个缓grid[J].IEEETransonSmartGrid,2010,1(1):57-64.存的业务请求.通过比较表明,算法2产生策略的应[2]GkatzikisL,SalonidisT,HegdeN,用效果优于基于阈值的接入策略,而即时接入策略的marketsmeetthehomethroughdemandresponse[C].Proc性能最低.这是由于算法2产生的是一种状态相关的ofthe51stIEEEConfonDecision&,最优策略,基于阈值的策略在多类型业务的应用中不2012:5846-5851.再等同于基于状态的策略(此时相同的缓存队列长度[3]ChenS,SinhaP,和电网负荷可对应多个不同的系统状态),而即时接delaytoleranttasksinsmartgridwithrenewableenergy[C].入策略实质上不具有利用响应时间弹性进行电网负Procofthe51stIEEEConfonDecision&荷调节的功能HI,2012:1130-1135..[4]RoteringN,-230inhybridelectricvehiclesinderegulatedelectricitySHBAAImarkets[J].IEEETransonPowerSystems,2011,26(3):[5]KoutsopoulosI,HatziV,[C].,2011:图5应用效果比较[6]KoutsopoulosI,[J].IEEEJon5结论SelectedAreasinCommunications,2012,30(6):1049-本文考虑智能电网多种类型业务需求的接入控1060.制问题[7]GungorVC,SahinD,,利用延迟响应时间的弹性来平缓需求负荷的高波动,以达成电网的业务需求与电能供应的有效匹potentialapplicationsandcommunicationrequirements[J].配IEEETransonIndustrialInformatics,2013,9(1):28-42..针对业务需求和用户行为的随机分布特性,建立基于连续时间Mark[8]:Discreteov控制过程的系统性能分析模型,进而提出基于仿真的策略迭代优化算法stochasticdynamicprogramming[M].NewYork:John.该算法有效Wiley&Sons,1994:377-385.地缓解了系统大状态空间带来的维数灾问题,能以较[9]快速度收敛到近似理论最优值.后续工作将进一步考performancesensitivitiesofMarkovsystems[J].IEEE虑在系统参数未知情况下接入控制策略的在线自适TransonAutomaticControl,2004,49(12):2129-2142.应优化问题.(责任编辑：齐霁)Averagecost
