一种电力缺失数据补全方法

1.本发明涉及电力技术领域，具体涉及一种电力缺失数据补全方法。

背景技术：

2.随着智能电网的不断建设完善，电力数据呈现用户数量多、覆盖范围广、时间精度高等特点。基于完整的电力数据开展数据分析与数据建模应用，是电力系统开展电力负荷预测、区域性电力调配以及重点用电单位用电监测等诸多领域的重要基础。在电力数据采集过程中，由于智能电表故障、数据传输信道受阻等影响会导致数据产生无规律的缺失现象。其中，电力数据缺失属于随机缺失，表现为缺失的大小程度与缺失发生的时间点均不确定。包含缺失的电力数据集可以采用直接删除和填补的方式处理，当缺失样本量相对数据集而言不可忽略时，直接删除缺失样本会导致大量的信息丢失，进而使得分析结果可能产生结论性误判，相比之下在合理的缺失范围内研究补全方法十分必要。
3.现有的电力数据补全法中主要分为两类。一类是以均值法、差值法和回归法等经典补全方法对电力数据补全，其优点是方法原理简单且使用十分方便，但是此类经典补全方法仅考虑了数据数值分布形式，如果应用在电力数据的补全过程中会直接忽略电力数据的时空分布特性，导致数据补全的效果不理想。另一类是利用深度学习等复杂模型来构建数据补全方法，这种方法能有效的提取电力数据的时空关联性，但是由于模型的复杂性导致时间代价高且不易推广应用。电力序列缺失发生点可能在已知时序的任何一个时间点，可能会包含连续缺失与孤立点缺失等复杂缺失情景，以上两类方法都无法应对复杂缺失情况问题。
4.k-近邻算法(knn)能依据数据是否完整较为简单的划分出完备数据集，从而快速构建足够的完备训练样本，并计算同一用户用电序列的距离自适应地补全自身缺失数据。首先，knn方法可以简单的划分数据集，解决了电力序列缺失场景多的缺陷，但是该直接破坏了数据的时间关联性。其次，knn方法在计算过程中需要计算两条序列的欧式距离，而缺失值的存在影响了距离的直接计算。最后，knn方法可以依据完整数据较为可靠的补全缺失数据，但是在计算过程中需要遍历数据集，时间代价相对较大。

技术实现要素：

5.针对现有技术中的上述不足，本发明提供了一种电力缺失数据补全方法，以准确的将电力数据中的缺失数据补全，通过补全方法对缺失值有效修复能够真实反映用户的真实用电情况，为研究用户相关的用电行为分析提供了完整有效的基础电力数据。
6.为了达到上述发明目的，本发明采用的技术方案为：
7.一种电力缺失数据补全方法，包括以下步骤：
8.s1、获取原始电力数据，并划分为完备数据集和缺失数据集；
9.s2、采用动态时间规整算法确定完备数据集和缺失数据集中电能序列的动态时间规整距离，并采用k-近邻算法根据电能序列的动态时间规整距离构建近邻数据矩阵；
10.s3、对近邻数据矩阵权重进行分配优化，得到第一补全值；
11.s4、根据近邻数据矩阵计算属性相关性影响系数，作为第二补全值；
12.s5、根据第一补全值和第二补全值确定缺失数据集中电能序列的补全值；
13.s6、将补全后的电能序列移出缺失数据集，添加到完备数据集中，并判断缺失数据集是否为空；若是，则将完备数据集和缺失数据集按原电力集合顺序排序；否则从缺失数据集中选取下一条电能序列，并返回步骤s2。
14.可选择地，步骤s2具体包括以下分步骤：
15.s2-1、从缺失数据集中选取一条包含缺失值的电能序列，将该电能序列遍历完备数据集中电能序列计算动态时间规整距离，构建动态时间规整距离矩阵；
16.s2-2、从动态时间规整距离矩阵中选取动态时间规整距离最小的设定数量的完备序列，构建近邻数据矩阵。
17.可选择地，步骤s2-1中计算动态时间规整距离的计算方法为：
18.d
dtw_t
＝dtw(si,s
train_t
)
19.d
dtw
＝{d
dtw_1
,d
dtw_2
,
…
,d
dtw_t
}
20.其中，d
dtw_t
为缺失数据集中包含缺失值的电能序列si与完备数据集s
train_t
中第t个电能序列计算的动态时间规整距离，d
dtw
为动态时间规整距离矩阵。
21.可选择地，步骤s3具体包括以下分步骤：
22.s3-1、根据缺失数据集中包含缺失值的电能序列和近邻数据矩阵计算近邻数据矩阵的权重系数矩阵；
23.s3-2、根据近邻数据矩阵的权重系数矩阵计算对应的权重分配矩阵；
24.s3-3、根据近邻数据矩阵中对应缺失所在列的电力数据和权重分配矩阵计算第一补全值。
25.可选择地，步骤s3-1具体包括：
26.将缺失数据集中包含缺失值的电能序列分别除以近邻数据矩阵的各行近邻数据，得到近邻数据矩阵的权重系数矩阵，表示为
[0027][0028]
其中，si为缺失数据集中包含缺失值的电能序列，s
neighbor
为近邻数据矩阵，wk为近邻数据矩阵第k行的权重系数向量，wk＝{w1,w2,
…
,w
24
}，在缺失点定义wj＝0，当分母为0时，wj＝0。
[0029]
可选择地，步骤s3-2具体包括：
[0030]
将权重系数矩阵中各行权重系数求和取平均，得到近邻数据矩阵的权重分配矩阵，表示为
[0031][0032]
其中，wk为近邻数据矩阵第k行的权重系数向量，wk＝{w1,w2,
…
,w
24
}，在缺失点定义wj＝0，当分母为0时，wj＝0；j为采样时段。
[0033]
可选择地，步骤s3-3具体包括：
[0034]
将近邻数据矩阵中对应缺失所在列的电力数据乘以权重分配矩阵，得到第一补全值，表示为
[0035]
xi＝∑w'yi[0036]
其中，xi为缺失电能序列缺失值，i为电能序列缺失值所在列，w'为近邻矩阵的权重分配矩阵，yi为对应缺失值所在列对应的近邻矩阵数据。
[0037]
可选择地，步骤s4具体包括以下分步骤：
[0038]
s4-1、对近邻数据矩阵计算协方差矩阵；
[0039]
s4-2、计算近邻数据矩阵中每列近邻数据的均值，并将近邻数据矩阵中每列近邻数据减去对应列的均值，得到近邻数据矩阵的中心化矩阵；
[0040]
s4-3、将近邻数据矩阵的中心化矩阵中非缺失值所在列乘以协方差矩阵，得到属性相关性影响系数，作为第二补全值。
[0041]
可选择地，所述第二补全值表示为：
[0042][0043]
其中，r为中心化矩阵中非缺失值所在列的数量，cov(y,y)r为协方差矩阵，y为近邻矩阵的列数据，zr为近邻数据矩阵的中心化矩阵中非缺失值所在列数据。
[0044]
可选择地，步骤s5具体包括：
[0045]
将第一补全值和第二补全值求和，得到缺失数据集中电能序列的补全值，表示为：
[0046]
x
fill
＝xi+x'
[0047]
其中，x
fill
为缺失数据集中电能序列的补全值，xi为第一补全值，x'为第二补全值。
[0048]
本发明具有以下有益效果：
[0049]
(1)本发明提出一种基于dtwknn的电力数据补全方法，在k-近邻(knn)补全方法的基础上，运用dtw作为距离量度解决了数据缺失导致序列长度不等进而无法有效计算距离的难题，同时优化了权重组合方式，进一步提升了数据补全精度。面对knn破坏了数据关联性的问题，本发明改进后的dtwknn方法增加了属性影响关系计算重新建立了数据属性关联影响。
[0050]
(2)本发明对knn进行有效改进，改进后的dtwknn算法在多种情景下补全效果优于
knn补全方法；同时，在一定范围内降低了补全所需时间代价，并且易于推广并广泛应用在企业用户用电数据补全过程中。
附图说明
[0051]
图1为本发明中一种电力缺失数据补全方法的流程示意图；
[0052]
图2为本发明中动态时间规整算法示意图。
具体实施方式
[0053]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0054]
如图1所示，本发明实施例提供了一种电力缺失数据补全方法，包括以下步骤s1至s6：
[0055]
s1、获取原始电力数据，并划分为完备数据集和缺失数据集；
[0056]
在本发明的一个可选实施例中，步骤s1的目的在于接入工业企业用户数据集，明确数据缺失情况。对数据缺失位置统计并加以标记，将依据电表采样频率将数据规整为n维(列)的日电量序列矩阵。通过检测数据标记将数据划分为完备数据集和缺失数据集。
[0057]
具体而言，对电力数据每天以一定采集周期t进行采集，将原始电力数据整理矩阵形式。按日尺度构建用电量时间向量，积累若干天的数据，即可得到原始的用电数据量矩阵，表示为
[0058]
s＝[s1,s2,
…
,sn]'
[0059]
其中，s为电力数据矩阵；n为天数；sn＝{y1,y2,
…
,y
24
}为由每天24个不同时刻的用电量组成的向量，代表当天的用电情况；将原始电力数据依据当日内各时刻是否存在缺失划分为缺失数据集s
miss
，完整数据集s
train
。
[0060]
s2、采用动态时间规整算法确定完备数据集和缺失数据集中电能序列的动态时间规整距离，并采用k-近邻算法根据电能序列的动态时间规整距离构建近邻数据矩阵；
[0061]
在本发明的一个可选实施例中，步骤s2依次取出缺失数据集的一条包含缺失值电能序列，将该电能序列遍历完备数据集计算动态时间规整距离(dtw距离)，从而组成dtw距离矩阵。在knn算法中，需要到k个距离相近的完备数据用来补充缺失值，因此通过预先设定k值，到k个dtw距离最小的完备电能序列，将k个完备电能序列组成近邻数据矩阵。
[0062]
步骤s2具体包括以下分步骤：
[0063]
s2-1、从缺失数据集中选取一条包含缺失值的电能序列si，将该电能序列遍历完备数据集中电能序列计算动态时间规整距离，构建动态时间规整距离矩阵，表示为：
[0064]ddtw_t
＝dtw(si,s
train_t
)
[0065]ddtw
＝{d
dtw_1
,d
dtw_2
,
…
,d
dtw_t
}
[0066]
其中，d
dtw_t
为缺失数据集中包含缺失值的电能序列si与完备数据集s
train_t
中第t个电能序列计算的动态时间规整距离，d
dtw
为动态时间规整距离矩阵。
[0067]
dtw距离的计算规则为：
[0068]
dtw距离本质上是要到序列最短路径，其示意图如图2所示，设有两个电能序列e＝{e1,e2,
…
,en}和u＝{u1,u2,
…
,um}，n和m是各自序列的长度。将电能序列e与u构造距离矩阵为
[0069][0070]
定义,d(i，j)＝|e
i-uj|。寻训练距离，重新计算累加矩阵，表示为
[0071][0072]
其中:i＝1,2,
…
,n；j＝1,2,
…
,m；d(0,0)＝0；d(i,0)＝d(i,0)+d(i-1,0)；d(0,j)＝d(0,j)+d(0,j-1)；
[0073]
累加矩阵d中的右上角元素d(n,m)即为衡量电能序列相关性dtw距离量度，即d(n,m)＝dtw(e,u)。
[0074]
s2-2、从动态时间规整距离矩阵中选取动态时间规整距离最小的设定数量的完备序列，构建近邻数据矩阵。
[0075]
具体而言，计算dtw距离矩阵d
dtw
后，设定knn算法的k值，即寻到与缺失序列最近的k个完整数据，得出近邻矩阵si∈s
train
。
[0076]
s3、对近邻数据矩阵权重进行分配优化，得到第一补全值；
[0077]
在本发明的一个可选实施例中，步骤s3目的在于优化近邻矩阵权重分配，具体地，将缺失值序列除以k行的近邻矩阵，得到k行的权重系数，对每行求和取平均得到k个序列的权重分配矩阵。将近邻矩阵中对应缺失所在列(维度)电量数据乘以对应数据乘以权重并加和得到第一补全值。
[0078]
步骤s3具体包括以下分步骤：
[0079]
s3-1、根据缺失数据集中包含缺失值的电能序列和近邻数据矩阵计算近邻数据矩阵的权重系数矩阵，具体包括：
[0080]
将缺失数据集中包含缺失值的电能序列分别除以近邻数据矩阵的各行近邻数据，得到近邻数据矩阵的权重系数矩阵，表示为
[0081][0082]
其中，si为缺失数据集中包含缺失值的电能序列，s
neighbor
为近邻数据矩阵，wk为近邻数据矩阵第k行的权重系数向量，wk＝{w1,w2,
…
,w
24
}，在缺失点定义wj＝0，当分母为0时，
wj＝0。
[0083]
s3-2、根据近邻数据矩阵的权重系数矩阵计算对应的权重分配矩阵，具体包括：
[0084]
将权重系数矩阵中各行权重系数求和取平均，得到近邻数据矩阵的权重分配矩阵，表示为
[0085][0086]
其中，wk为近邻数据矩阵第k行的权重系数向量，wk＝{w1,w2,
…
,w
24
}，在缺失点定义wj＝0，当分母为0时，wj＝0；j为采样时段。
[0087]
s3-3、根据近邻数据矩阵中对应缺失所在列的电力数据和权重分配矩阵计算第一补全值，具体包括：
[0088]
将近邻数据矩阵中对应缺失所在列的电力数据乘以权重分配矩阵，得到第一补全值，表示为
[0089]
xi＝∑w'yi[0090]
其中，xi为缺失电能序列缺失值，i为电能序列缺失值所在列，w'为近邻矩阵的权重分配矩阵，yi为对应缺失值所在列对应的近邻矩阵数据。
[0091]
s4、根据近邻数据矩阵计算属性相关性影响系数，作为第二补全值；
[0092]
在本发明的一个可选实施例中，步骤s4目的在于计算属性相关性系数。具体地，对近邻数据矩阵求出其协方差得出协方差矩阵，同时计算将在原始数据集中每列减去每一列的均值将原始数据中心化，将近邻矩阵对应中心化矩阵数值中对应非缺失所在列乘以协方差系数，计算出属性相关系数并称为第二补全值。
[0093]
步骤s4具体包括以下分步骤：
[0094]
s4-1、对近邻数据矩阵计算协方差矩阵；
[0095]
具体而言，协方差是一种衡量两个变量关系的量度，设有长度均为l的序列a和b，其协方差计算公式为：
[0096][0097]
实施例中s
neighbor
按列表示为s
neighbor
＝{y1,y2,
…
,y
24
}，每个维度两两之间可以求出一个协方差，将所有相关的协方差计算后可以得到一个24x24的协方差矩阵，表示为
[0098][0099]
s4-2、计算近邻数据矩阵中每列近邻数据的均值，并将近邻数据矩阵中每列近邻
数据减去对应列的均值，得到近邻数据矩阵的中心化矩阵；
[0100]
具体而言，为了消除数据分析的过程中会存在量纲的影响，本发明对近邻数据矩阵进行中心化处理，具体过程为对应数据点减去所在属性所有不为空值的数值平均值，表示为：
[0101][0102]
其中，i为近邻数据矩阵的各列，∑yi为近邻数据矩阵中每列近邻数据的和，m为近邻数据矩阵中每列近邻数据不为零的数据个数。
[0103]
s4-3、将近邻数据矩阵的中心化矩阵中非缺失值所在列乘以协方差矩阵，得到属性相关性影响系数，作为第二补全值。
[0104]
具体而言，本发明采用的属性相关性影响系数的计算公式为：
[0105][0106]
其中，r为中心化矩阵中非缺失值所在列的数量，cov(y,y)r为协方差矩阵，zr为近邻数据矩阵的中心化矩阵中非缺失值所在列。
[0107]
s5、根据第一补全值和第二补全值确定缺失数据集中电能序列的补全值；
[0108]
在本发明的一个可选实施例中，步骤s5具体包括：
[0109]
将第一补全值和第二补全值求和，得到缺失数据集中电能序列的补全值，表示为：
[0110]
x
fill
＝xi+x'
[0111]
其中，x
fill
为缺失数据集中电能序列的补全值，xi为第一补全值，x'为第二补全值。
[0112]
s6、将补全后的电能序列移出缺失数据集，添加到完备数据集中，并判断缺失数据集是否为空；若是，则将完备数据集和缺失数据集按原电力集合顺序排序；否则从缺失数据集中选取下一条电能序列，并返回步骤s2。
[0113]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0114]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0115]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0116]
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，
依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0117]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

技术特征：

1.一种电力缺失数据补全方法，其特征在于，包括以下步骤：s1、获取原始电力数据，并划分为完备数据集和缺失数据集；s2、采用动态时间规整算法确定完备数据集和缺失数据集中电能序列的动态时间规整距离，并采用k-近邻算法根据电能序列的动态时间规整距离构建近邻数据矩阵；s3、对近邻数据矩阵权重进行分配优化，得到第一补全值；s4、根据近邻数据矩阵计算属性相关性影响系数，作为第二补全值；s5、根据第一补全值和第二补全值确定缺失数据集中电能序列的补全值；s6、将补全后的电能序列移出缺失数据集，添加到完备数据集中，并判断缺失数据集是否为空；若是，则将完备数据集和缺失数据集按原电力集合顺序排序；否则从缺失数据集中选取下一条电能序列，并返回步骤s2。2.根据权利要求1所述的一种电力缺失数据补全方法，其特征在于，步骤s2具体包括以下分步骤：s2-1、从缺失数据集中选取一条包含缺失值的电能序列，将该电能序列遍历完备数据集中电能序列计算动态时间规整距离，构建动态时间规整距离矩阵；s2-2、从动态时间规整距离矩阵中选取动态时间规整距离最小的设定数量的完备序列，构建近邻数据矩阵。3.根据权利要求2所述的一种电力缺失数据补全方法，其特征在于，步骤s2-1中计算动态时间规整距离的计算方法为：d
dtw_t
＝dtw(s
i
,s
train_t
)d
dtw
＝{d
dtw_1
,d
dtw_2
,
…
,d
dtw_t
}其中，d
dtw_t
为缺失数据集中包含缺失值的电能序列s
i
与完备数据集s
train_t
中第t个电能序列计算的动态时间规整距离，d
dtw
为动态时间规整距离矩阵。4.根据权利要求1所述的一种电力缺失数据补全方法，其特征在于，步骤s3具体包括以下分步骤：s3-1、根据缺失数据集中包含缺失值的电能序列和近邻数据矩阵计算近邻数据矩阵的权重系数矩阵；s3-2、根据近邻数据矩阵的权重系数矩阵计算对应的权重分配矩阵；s3-3、根据近邻数据矩阵中对应缺失所在列的电力数据和权重分配矩阵计算第一补全值。5.根据权利要求4所述的一种电力缺失数据补全方法，其特征在于，步骤s3-1具体包括：将缺失数据集中包含缺失值的电能序列分别除以近邻数据矩阵的各行近邻数据，得到近邻数据矩阵的权重系数矩阵，表示为其中，s
i
为缺失数据集中包含缺失值的电能序列，s
neighbor
为近邻数据矩阵，w
k
为近邻数
据矩阵第k行的权重系数向量，w
k
＝{w1,w2,
…
,w
24
}，在缺失点定义w
j
＝0，当分母为0时，w
j
＝0。6.根据权利要求4所述的一种电力缺失数据补全方法，其特征在于，步骤s3-2具体包括：将权重系数矩阵中各行权重系数求和取平均，得到近邻数据矩阵的权重分配矩阵，表示为其中，w
k
为近邻数据矩阵第k行的权重系数向量，w
k
＝{w1,w2,
…
,w
24
}，在缺失点定义w
j
＝0，当分母为0时，w
j
＝0；j为采样时段。7.根据权利要求4所述的一种电力缺失数据补全方法，其特征在于，步骤s3-3具体包括：将近邻数据矩阵中对应缺失所在列的电力数据乘以权重分配矩阵，得到第一补全值，表示为x
i
＝∑w'y
i
其中，x
i
为缺失电能序列缺失值，i为电能序列缺失值所在列，w'为近邻矩阵的权重分配矩阵，y
i
为对应缺失值所在列对应的近邻矩阵数据。8.根据权利要求1所述的一种电力缺失数据补全方法，其特征在于，步骤s4具体包括以下分步骤：s4-1、对近邻数据矩阵计算协方差矩阵；s4-2、计算近邻数据矩阵中每列近邻数据的均值，并将近邻数据矩阵中每列近邻数据减去对应列的均值，得到近邻数据矩阵的中心化矩阵；s4-3、将近邻数据矩阵的中心化矩阵中非缺失值所在列乘以协方差矩阵，得到属性相关性影响系数，作为第二补全值。9.根据权利要求8所述的一种电力缺失数据补全方法，其特征在于，所述第二补全值表示为：其中，r为中心化矩阵中非缺失值所在列的数量，cov(y,y)
r
为协方差矩阵，y为近邻矩阵的列数据，z
r
为近邻数据矩阵的中心化矩阵中非缺失值所在列数据。10.根据权利要求1所述的一种电力缺失数据补全方法，其特征在于，步骤s5具体包括：将第一补全值和第二补全值求和，得到缺失数据集中电能序列的补全值，表示为：
x
fill
＝x
i
+x'其中，x
fill
为缺失数据集中电能序列的补全值，x
i
为第一补全值，x'为第二补全值。

技术总结

本发明公开了一种电力缺失数据补全方法，包括获取原始电力数据，并划分为完备数据集和缺失数据集；采用动态时间规整算法确定动态时间规整距离，并采用K-近邻算法根据电能序列的动态时间规整距离构建近邻数据矩阵；对近邻数据矩阵权重进行分配优化，得到第一补全值；根据近邻数据矩阵计算属性相关性影响系数，作为第二补全值；根据第一补全值和第二补全值确定缺失数据集中电能序列的补全值；将补全后的电能序列移出缺失数据集，添加到完备数据集中。本发明能够准确的将电力数据中的缺失数据补全，通过补全方法对缺失值有效修复能够真实反映用户的真实用电情况，为研究用户相关的用电行为分析提供了完整有效的基础电力数据。行为分析提供了完整有效的基础电力数据。行为分析提供了完整有效的基础电力数据。