2010年11月 电 工 技 术 学 报 No. 11 第25卷第11期 TRANSACTIONS OF CHINA ELECTROTECHNICAL SOCIETY Nov. 2010 电力系统二维重组法数据压缩算法 1223王 超 张东来 张 斌 李 悦 （1. 深圳航天科技创新研究院 深圳 518057 2. 哈尔滨工业大学深圳研究生院 深圳 518055 3. 北京市电力公司变电公司 北京 100054） 摘要 提出了一种新的数据压缩与解压缩算法，针对周期性数据循环内与循环间信息不均衡性，能够在电网频率波动的情况下，通过自动调整采样频率，消除周期性数据循环内与循环间信息耦合，更有效地去除循环间数据冗余性，实现电力系统周期性数据大比率数据压缩。采用了二元线性回归算法对电网频率进行实时预测，提出同步数字倍频法用来产生同步采样脉冲，进而实现等相位同步采样，利用基于提升格式的小波分解对数据等相位点序列分别进行分解与重构，实现数据压缩与解压缩。利用实际测取的电力生产过程中的周期性数据对算法进行验证，试验结果表明，在相同的压缩比下，基于等相位采样的重构效果优于基于等间隔采样的重构效果。 关键词：数据压缩 小波变换 回归分析 算术编码 中图分类号：TM933；TP274 A 2-D Information Reordering Data Compression Method for Power System 1223Wang Chao Zhang Donglai Zhang Bin Li Yue （1. Shenzhen Academy of Aerospace Technology Shenzhen 518057 China 2. Harbin Institute of Technology Shenzhen Graduate School Shenzhen 518055 China 3. Beijing Electric Power Company Beijing 100054 China） Abstract A novel data compression method was developed for periodical data in power system. Based on the unbalanced nature of information in cycles and between cycles, it can eliminates the coupling of information through automatic adjustment of sampling frequency and achieve large compression ratio. In order to reduce the redundancy more efficiently, a 2 variable linear regression system is developed to predict the frequency of the power system and to realize synchronous sampling. After that, the data is compressed based on lifting wavelet decomposition method. The real-life periodical data are used to test this method. The result indicates that the proposed method can achieve better performance comparing to the method based on asynchronous sampling. For the same compression ratio, the synchronous sampling can achieve much higher signal-to-noise ratio than asynchronous sampling method. Keywords：Data compression, wavelet transform, regression analysis, arithmetic coding 究适合工程实际的数据压缩方法降低海量数据中存1 引言 在的冗余已成为电力行业的迫切需求，如以色列ELSPEC公司开发的电能质量数据中心实现了不需电力系统海量过程数据蕴藏着丰富的信息，其要触发阈值，全年进行连续记录的电力系统录波装对于分析电网运行状态、提供控制和优化策略、故[1]置。 障诊断以及知识发现和数据挖掘具有重要意义，研一维小波变换在电力行业中的应用得到了广泛 [2-8]收稿日期 2009-07-14 改稿日期 2010-04-21 研究，但电力系统运行数据中存在大量的周期性
178 电 工 技 术 学 报2010年11月 信号，此类信号的冗余分为两类，即循环内的冗余压缩与解压缩策略，图中，X=x,x,⋅,x为压缩()12L和循环间的冗余，对于数据压缩技术来讲，如果只ˆ输入序列，X=ˆˆˆx,x,⋅,x为解压缩输出序列，设 ()12L在一维空间对原始信号进行压缩处理，循环内的冗L=M×N，其中M为每个周期的采样点数，N为余可以被高效降低，而对于循环间的冗余则不是很总周期数。则具体过程如图1所示。 [8]有效，文献[9-11]为了提高数据的压缩比和压缩算法的效率，研究了基于二维提升格式小波变换的数据压缩算法。基本思想是首先将待压缩的周期信号从一维空间转换到二维空间，然后进行二维小波分解。由于二维小波分解的行列变换可以同时降低信 号循环内和循环间的冗余，因此可以提高压缩效率。 图1 数据压缩与解压缩过程图 Data compression and decompression process 2 电力系统周期性信号超长采样序列二 压缩算法实现过程 维压缩算法 （1）数据处理。首先将输入序列从一维空间 分析文献[2-4]提到的方法，对循环内和循环间转换到二维空间，组成一个M×N大小的矩阵；然的冗余进行二维等效压缩，而没有考虑到循环内和后计算每一行的平均值；最后用矩阵中每个元素减循环间的信息冗余是不一样的，循环内数据变化快，去其所在行对应的平均值。 信息冗余少，循环间数据变化慢，信息冗余多，在（2）循环间小波分解。利用整数提升小波变 有损压缩的情况下，如果采用相同的压缩算法更容换对步骤（1）中所得矩阵的每一行（循环间序列）易造成信息的失真，或者达不到最好的压缩效果；进行K次一维小波分解，只保留第K次小波分解的另外，由于电网频率的波动和非整周期采样，循环低频系数，得到一个M×A大小的系数矩阵，其中内和循环间数据存在耦合，循环间数值大小也呈现A为第K层小波分解的低频系数的个数。 波动性，限制了压缩比的提高。 （3）编码。把步骤（1）得到的M个平均值和上述算法在数据压缩之前需要先把信号从一维对步骤（2）得到的M×A大小的系数矩阵进行熵编空间转换到二维空间的具体过程如下：对于周期性码形成压缩文件。 信号，将多个周期的采样数据作为二维矩阵中列， 解压缩算法实现过程 按照采样的先后顺序排列，所形成矩阵的每一行就（1）解码。对文件进行熵解码，得到M个平是一个等相位点序列。二维转换之后，称二维矩阵均值和一个M×A系数矩阵。 列矢量为循环内序列，而称二维矩阵行矢量为循环（2）循环间小波重构。用系数矩阵中各行重 间序列，即如果设 构本行数据（循环间序列），得到M×N重构矩阵。 X=x,x,⋅⋅⋅,x L=M×N （3）数据处理。首先，重构矩阵的每个元素加()1D12L上所在行对应的平均值；然后，把重构矩阵进行二为信号一维输入序列，则对应的二维表示形式为 维到一维转换，产生输出序列。 xx"x⎛⎞11121N⎜⎟本文上述算法小波变换采用Haar小波基，而熵xx"x21222NX= 2D编码采用算术编码方式；只在横轴方向进行小波分###解，大大降低了循环间数据冗余，而完整保留了循xx"x⎝M1M2MN⎠环内数据的信息量，而且在横轴方向可以压缩任意式中X与X之间元素的对应关系为 1D2D长度的数据；压缩文件只保存最后一级小波分解的Xij=X⎡j−1×M+i⎤[][]()2D1D⎣⎦低频系数，大大减少了存储量，小波分解之前在横 （1） 1≤i≤M ≤j≤N轴方向进行直流平移，形成残差矩阵，可以大大减记X少了存储所需要的比特数。 [k][*]为数组X的第k行（循环间序列），2D2DX[*][k]为数组X的第k列（循环内序列）。 2D2D3 自适应等相位数据采集方法对数据压缩对于周期性信号长期稳态录波，循环间数值变算法的改进 化缓慢，而循环内数值变化较快，循环内数据冗余远远小于循环间冗余。本文制定如图1所示的数据 上文提出的电力系统数据压缩算法实际是基于
第25卷第11期 王 超等 电力系统二维重组法数据压缩算法 179 无失真信息重组思想，经过数据的重新排列与组合，为过零点时间测量值，u(1)，u(2)，…，u(m) 为真使原有的数据集合的统计特性得到改变，从而改进实值，ε(1)，ε(2)，…，ε(m) 为测量误差，它们与传 数据压缩品质，但电力系统频率特性是由电力系统感器噪声、时钟噪声、比较器精度有关；T,…,T-1m1内所有发电厂与负荷共同决定的，在功率扰动和设为电网电压信号周期。 备故障等作用之下，实际电网信号的频率通常会在额定频率附近波动。这些都会导致循环间数值大小的波动，另外，非整周期采样也使得循环间数值呈现周期性变化，这些都会限制数据压缩的倍数。同步采样技术是上述问题的一种解决方法，利用同步采样法实现整周期采样，可以产生等相位采样序 [1,12] 列。文献[1]利用同步采样法实现电力系统周波信息动态记录，本文借鉴文献[1]思想利用同步采样图3 过零点脉冲测量时标与准确时标关系图 法减弱循环间数值与循环内数值之间的信息耦合， Relationship between the measured time and the 使得循环间冗余更容易消除，改进上文提出的数据accurate time of the zero-crossing points 压缩算法从而实现大的压缩比。 取y(1)，y(2)，…，y(m) 作为研究对象，由图本文提出一种新的同步采样方法（本文称之为3所示可得 等相位同步采样），基本结构如图2所示。图2中，yx=ux+εx （2） ()()()原始信号经过50Hz带通滤波器，消除了谐波干扰，x−1又经过比较器，产生了过零点脉冲信号，采样脉冲ux=u1+T （3） ()()∑ii=1产生单元记录每个过零点脉冲的上升沿时刻，产生2式中，x∈N,εx~N(0,σ)，x为样本序号。 ()过零点时间序列，并根据这些过零点时间序列进行数理统计，消除测量随机误差，预测下一个过零点对电网信号周期进行局部线性化得 脉冲的时刻，并根据预测值确定当前周波每个采样T=T+∆Ti−1 （4） ()i1点的采样时刻，实现等相位同步采样。 则把式（4）代入式（3）得 2ux=b+bx+bx （5） ()012式中 b=u1−T+∆T ()013∆Tb=T− 112∆Tb= 2 2图2 同步采样系统功能框图 把式（5）代入式（2），得 Block diagram of the synchronous sampling system 2yx=b+bx+bx+εx （6） ()() 基于二元线性回归法的频率实时预测方法 2令x=x，x=x，代入式（6）得 12电网电压在正常条件下，电网频率存在缓慢的y=b+bx+bx+ε （7） 变化，在局部范围内可以近似为线性变化，但存在01122较大测量误差，用内部时钟计时，实时跟踪过零点式（7）所示的形式符合二元线性回归模型，因此可脉冲信号，采用数理统计的方法估计出准确的过零以对y进行线性回归分析。 点时间，进而实现高精度的等相位同步采样。分别对x、x和y进行观察，第i次观察时它们的12把过零点时间的测量值和准确值分别定义为y(x) 取值分别记为x、x和y，随机误差为ε，则得到1i2iii和u(x)，则y(x) 和u(x) 存在如图3所示的关系。 方程 图3中，坐标轴代表时间，y(1)，y(2)，…，y(m) y=b+bx+bx+ε （8） i011i22ii
180 电 工 技 术 学 报2010年11月 自适应等相位采样对小波重构效果的改进 在式（8）中，共进行m次观察，然后运用最小二本文以电网同一点测得的额定50Hz频率的电乘法对b、b、b进行估计，得到b、b、b的估012012压信号的等间隔采样和等相位采样两组数据作为研ˆˆˆ计值分别为b、b、b，则由式（5）得 012究对象。第一组数据A以10 000点/s的采样频率进2ˆˆˆuˆx=b+bx+bx （9） ()012行等间隔采样，从中取6 553 600个采样点并作标记利用上式外推即可实现频率的预测。 为A，信号额定周期内的采样点数为200，相当于 周期信号自适应同步采样的实现过程 采样32 768个周波；第二组数据B按照上文的方法同步采样脉冲的产生基于两个相互独立的过程进行等相位采样，每周期采样点数为200，从中取实现，回归分析与同步倍频，如图4所示，图4中32 768个周波，采样点也是共6 553 600个，标记上坐标轴表示的是回归分析过程，下坐标轴表示的为B。令M =200、N =32 768，利用式（1）把这两是同步倍频过程。 组数据A、B分别转换为二维矩阵（矩阵大小为200行32 768列）的形式，并以灰度图的方式显示如图5所示，图中每个像素的灰度值对应于相应采样点的采样数值，纵轴方向代表循环内信息，而横轴方向代表了循环间信息。图5a为A效果图，可见由于电网频率波动和非整周期采样，循环间采样序列幅值呈现波动性。图5b为B的效果图，循环间采样序列幅值是平稳的。 图4 同步采样脉冲产生过程 Synchronous sampling pulse generating process 回归分析算法的实现采用滑动窗口方式来实图5 实测周期性数据二维灰度图 现，窗口内始终保存64个（m=64）最新的过零点 2-D view of the real-life periodical signal in 时刻，每当有新的过零点脉冲产生，窗口就前移一grayscale 步，舍弃最旧的数据，添加最新的数据，然后针对为观察压缩算法和解压算法的误差分布，把图这一组新样本计算二元线性回归模型参数。当一个5两组试验原始数据与经过低频小波系数重构之后周波内最后一个同步采样脉冲于U时刻输出之后，1的数据以二维灰度图的形式表示如图6和图7所示。采样脉冲产生单元根据二元线性回归模型的参数预图6表示的是图5a所示等间隔采样原始数据与重构测下一个过零点时间U，由式（9）进行趋势外推2数据对比图，数据0表示的是原始数据，数据1是得 用1次小波分解之后的低频系数重构的数据，数据2ˆˆˆU=uˆm+i=b+bm+i+bm+i （10） ()()()2是用2次小波分解之后的低频系数重构的数据，2012依次类推。同理，图7表示的是图5b所示等间隔采式中，i > 0为u(m)到U的步数，大小由模型参数2样原始数据与重构数据对比图。 更新频率决定，U确定之后，根据线性关系就可以2求得本周波内各采样点的时刻，设每个周波的总采样点数为K，则可以建立各采样点与其对应的采样时刻之间的关系。 U−U21sx=U+(x−1) x=1,2,…, K （11） ()1K周期测量及采样时刻的控制均由FPGA计数器实现，计数器分辨率有限，所以频率测定后，由计数 器给出的采样时刻与理论计算值相比还存在截断误图6 等间隔采样原始数据及小波低频系数重构数据 差，式（11）的优点是只存在单个采样点由计数器二维灰度图 产生的截断误差，而不会由截断误差产生累计误差， Source data and reconstructed data in grayscale by 这种倍频方法称之为同步数字倍频法。 asynchronous sampling
第25卷第11期 王 超等 电力系统二维重组法数据压缩算法 181 熵编码时的压缩比。从表1和表2对比结果又能够看到，等相位采样熵编码压缩比明显高于等间隔采样压缩比。 表1 等间隔采样数据压缩结果 Asynchronous sampling data compression results 压缩后的文件大小/B 压缩比 信噪比编号/dB （有熵编码）无熵编码有熵编码 0 13 107 6007 562 270 +∞ 图7 等相位采样原始数据及小波低频系数重构数据1 6 554 0003 834 850 2 3 277 2001 965 845 二维灰度图 3 1 638 8001 010 342 Source data and reconstructed data in grayscale by 4 819 600 538 437 synchronous sampling 5 410 000 292 425 6 205 200 161 876 从图6和图7可以看出，随着小波分解次数的7 102 800 92 379 增加，等间隔采样低频系数重构数据的失真越来越8 51 600 50 756 严重，而等相位采样失真较小。这说明相同条件下，9 26 000 25 805 等相位采样压缩解压所造成的失真明显小于等间隔10 13 200 8 704 11 6 800 4 614 采样，有利于实现大比例数据压缩。 12 3 600 2 584 4 数据压缩实验结果比较分析 表2 等相位采样数据压缩结果 Synchronous sampling data compression results [9]定义压缩衡量指标压缩比C与信噪比S： RNR压缩后后文件大小/B 压缩比 信噪比H编号 0/dB C=（有熵编码） （12） 无熵编码有熵编码 RHC0 13 107 6006 392 015 +∞ L1 6 554 0003 468 329 2x∑i2 3 277 2001 705 942 i=1S=10lg （13） NR3 1 638 800852 167 L2ˆ4 819 600 431 522 x−x()∑iii=15 410 000 219 616 6 205 200 112 786 式中，H为压缩前文件的大小；H为压缩之后文件0C7 102 800 57 649 大小。 8 51 600 29 554 用图5所示的两组数据分别按照上文所述的压9 26 000 15 436 10 13 200 7 473 缩算法进行数据压缩试验，试验中所用的数/模转换11 6 800 4 060 器的位数为16位，共采集6 553 600个点，压缩前12 3 600 2 451 文件大小均为13 107 200B，用这两组数据分别进行压缩，各得到13个大小不等的压缩文件。两组数据压缩比与信噪比关系分别列表见表1与表2。表1与表2第0组数仅用熵编码进行无损压缩，熵编码之前仅作直流平移处理。为了对两组数据压缩算法进行性能比较与评估，把两组数据有损压缩部分按压缩比与信噪比关系表示为图8所示。从图8可以看到，相同压缩比之下，等相位采样的信噪比明显高于等间隔采样，而且随着压缩比增加，等间隔采样的信噪比迅速减小，而等相位采样的信噪比的减 小相对慢得多。当压缩比达到倍时，信噪比图8 压缩重构效果比较图 仍然达到，这说明等相位采样数据能够 Comparison of the reconstruction results between 实现大压缩比，图8中的虚线部分表示的是不经过the asynchronous sampling and synchronous sampling
182 电 工 技 术 学 报2010年11月 [7] 刘志刚，钱清泉．基于多小波的电力系统故障暂态5 结论 数据压缩研究[J]．中国电机工程学报，2003，23(10)：本文针对电力系统大量周期性实时数据，提出20-26． 了一种数据压缩与解压缩算法，通过自动调整采样Liu Zhigang, Qian Qiongquan. Compression of fault 频率，克服因电网频率波动、非整周期采样等造成transient data in electric power system based on 的周期性数据循环内与循环间信息耦合，更有效地multiwavelet[J]. Proceedings of the CSEE, 2003，去除循环间数据冗余性，实现大压缩比；采用二元23(10)：20-26. 线性回归法频率预测和同步数字倍频产生同步采样[8] 闫常友，杨奇逊，刘万顺．基于提升格式的实时数脉冲，使采样频率同步于电网频率，实现等相位同据压缩和重构算法[J]．中国电机工程学报，2005，步采样；利用基于提升格式的小波分解对数据等相25(9)：6-10． 位点序列分别进行分解与重构，实现数据压缩与解Yan Changyou, Yang Qixun, Liu Wanshun. A 压缩。 real-time data compression&reconstruction method 参考文献based on lifting scheme[J]. Proceedings of the CSEE, 2005，25(9)：6-10. [1] Pol Nisenblat, Mordehay Broshi, Ofir Efrati. Method [9] 鲍文，周瑞，刘金福. 基于二维提升小波的火电厂of compressing values of a monitored electrical power 周期性数据压缩算法[J]．中国电机工程学报，2007, signal: US, 7415370 B2[P]. 2008. 27(29): 96-101. [2] Lee C H，Wang Y J，Huang W L．A literature survey Bao Wen, Zhou Rui, Liu Jinfu. A periodical data of wavelets in power engineering applications[J]. compression method based on 2-D lifting wavelet Physical Science and Engineering，2000，24(4)：transform in thermal power plant[J]. Proceedings of 249-258． the CSEE, 2007, 27(29): 96-101. [3] Santoso S，Powers E J，Grady W M．Power quality [10] Bilgin A，Marcellin M W，Altbach M I．Compression disturbance data compression using wavelet transform of electrocardiogram signals using JPEG2000[J]. methods[J]．IEEE Transactions on Power Delivery，IEEE Transactions on Consumer Electronics，2003，1997，12(3)：1250-1257． 49(4)：833-840． [4] Meher S K，Pradhan A K，Panda G．An integrated data [11] Gerek O N, Ece D G. 2-D analysis and compression compression scheme for power quality events using of power-quality event data[J]. IEEE Transactions on spline wavelet and neural network[J]．Electric Power Power Delivery, 2004, 19(2): 791-798. Systems Research，2004，69(2-3)：213-220． [12] 黄纯, 彭建春, 刘光晔, 等. 周期电气信号测量中[5] 任震，何建军，黄雯莹．基于小波包算法的电机故软件同步采样方法的研究[J]. 电工技术学报, 2004, 障信号的压缩和重构[J]．中国电机工程学报，2001，19(1): 75-79. 21(1)：25-29． Huang Chun, Peng Jianchun, Liu Guanghua, et al. Ren Zheng, He Jianjun, Huang Wenying. Compre- Reaearch on software synchronous sampling in ssion and reconstruction for faults signals of electric measurement of period electric signals[J]. Transac- machines based on wavelet packets[J]. Proceedings of tions of China Electrotechnical Society, 2004, 19(1): the CSEE, 2001，21(1)：25-29． 75-79. [6] 何正友，钱清泉，刘志刚．一种基于优化小波基的 电力系统故障暂态数据压缩方法[J]．中国电机工程作者简介 学报，2002，22(6)：1-5． 王 超 男，1979年生，博士研究生，研究方向为电力系统数字He Zhengyou, Qian Qingquan, Liu Zhigang. An 信号处理。 electric power system fault transient data compression 张东来 男，1973年生，教授，博士生导师，研究方向为电力电method based on optimal wavelet[J]. Proceedings of 子与电力传动、数字信号处理。 the CSEE, 2002，22(6)：1-5．
