一种叶片内部状态检测方法及装置

1.本技术涉及风电技术领域，具体而言，涉及一种叶片内部状态检测方法及装置。

背景技术：

2.叶片是海上风电系统中风机的风能捕获装置，其性能的好坏和使用寿命的长短直接影响着风机的正常运行和系统效率。不同于海上风电系统中的发电机和变频器等电气部件可以提供丰富的运行数据用于状态监测和缺陷检测，由于叶片是纯机械部件，其只有转速信号可供采集，因此，这给叶片状态检测带来了极大的不便。
3.在现有技术中，一般采用计算机视觉技术对叶片状态进行检测。但是，采用上述检测方式，仅仅只能对叶片表面的状态进行检测，而无法判别叶片内部的状态。

技术实现要素：

4.本技术实施例的目的在于提供一种叶片内部状态检测方法及装置，用以解决现有技术中无法判别叶片内部状态的技术问题。
5.第一方面，本技术实施例提供一种叶片内部状态检测方法，包括：获取待检测叶片对应的当前运行数据；将所述当前运行数据输入预先训练好的关系网络中，得到所述关系网络输出的所述待检测叶片的预测运动轨迹；其中，所述关系网络用于表征叶片对应的运行数据与叶片的运动轨迹之间的对应关系；根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态；其中，所述实际运动轨迹为根据所述待检测叶片的视觉测量结果确定的。
6.在上述方案中，可以设计关系网络并预先对关系网络进行训练，从而建立叶片的运动轨迹与风机的运行数据之间的联系；通过待检测叶片的当前运行数据以及上述关系网络，可以确定待检测叶片的预测运动轨迹；最后，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。此外，通过视觉测量结果确定叶片的运动轨迹，可以将不同工况下难以进行量化的叶片运动轨迹表示出来。
7.在可选的实施方式中，所述叶片的运动轨迹包括叶尖运动轨迹以及叶尖涂装运动轨迹，所述视觉测量结果包括图像采集装置采集的叶尖图像以及叶尖涂装图像；在所述根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态之前，所述方法还包括：获取所述叶尖图像，并根据所述叶尖图像确定所述叶尖运动轨迹；以及，获取所述叶尖涂装图像，并根据所述叶尖涂装图像确定所述叶尖涂装运动轨迹。在上述方案中，通过采集叶片的叶尖图像以及叶片的叶尖涂装图像，可以将不同工况下难以进行量化的叶片运动轨迹，通过视觉测量结果确定出来，并用于实现对待检测叶片的内部状态进行检测的目的。
8.在可选的实施方式中，在所述获取待检测叶片对应的当前运行数据之前，所述方法还包括：获取标注训练集以及未标注训练集；其中，所述标注训练集包括第一样本运行数
据以及对应的样本运动轨迹，所述未标注训练集包括第二样本运行数据；将所述第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹，并根据所述样本运动轨迹以及所述第一样本预测运动轨迹计算所述生成器的第一损失值；将所述第二样本运行数据输入所述生成器，得到对应的第二样本预测运动轨迹；根据所述第一样本运行数据、所述样本运动轨迹、所述第二样本运行数据以及所述第二样本预测运动轨迹计算所述待训练关系网络中的判别器的第二损失值；根据所述第一损失值以及所述第二损失值对所述生成器以及所述判别器进行优化，得到所述预先训练好的关系网络。在上述方案中，本技术实施例提供的关系网络可以采用生成对抗网络（gan，generative adversarial networks）实现，因此，对关系网络进行训练既相当于对gan进行训练，从而得到预先训练好的关系网络用于实现对待检测叶片的内部状态进行检测的目的。
9.在可选的实施方式中，所述将所述第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹，包括：将所述第一样本运行数据输入所述生成器中的编码器，得到样本运行特征；将所述样本运行特征与时间戳特征进行拼接，得到拼接特征；将所述拼接特征输入所述生成器中的解码器，得到所述第一样本预测运动轨迹。在上述方案中，在训练关系网络的过程中，可以加入时间戳特征作为原始特征的补充，从而提高关系网络的性能。
10.在可选的实施方式中，所述根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态，包括：判断所述预测运动轨迹以及所述实际运动轨迹是否满足多个判定条件中的至少一个；若所述预测运动轨迹以及所述实际运动轨迹满足多个判定条件中的至少一个，则确定所述待检测叶片的内部出现损伤。在上述方案中，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。
11.在可选的实施方式中，所述判定条件包括以下至少一个：所述实际运动轨迹与所述预测运动轨迹之间的差异大于第一轨迹阈值；针对同一个风机上的多个待检测叶片，其实际运动轨迹之间的差异大于第二轨迹阈值；所述实际运动轨迹超过所述预测运动轨迹与所述当前运行数据形成的包络。
12.第二方面，本技术实施例提供一种叶片内部状态检测装置，包括：第一获取模块，用于获取待检测叶片对应的当前运行数据；第一输入模块，用于将所述当前运行数据输入预先训练好的关系网络中，得到所述关系网络输出的所述待检测叶片的预测运动轨迹；其中，所述关系网络用于表征叶片对应的运行数据与叶片的运动轨迹之间的对应关系；确定模块，用于根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态；其中，所述实际运动轨迹为根据所述待检测叶片的视觉测量结果确定的。
13.在上述方案中，可以设计关系网络并预先对关系网络进行训练，从而建立叶片的运动轨迹与风机的运行数据之间的联系；通过待检测叶片的当前运行数据以及上述关系网络，可以确定待检测叶片的预测运动轨迹；最后，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。此外，通过视觉测量结果确定叶片的运动轨迹，可以将不同工况下难以进行量化的叶片运动轨迹表示出来。
14.在可选的实施方式中，所述叶片的运动轨迹包括叶尖运动轨迹以及叶尖涂装运动轨迹，所述视觉测量结果包括图像采集装置采集的叶尖图像以及叶尖涂装图像；所述叶片内部状态检测装置还包括：第二获取模块，用于获取所述叶尖图像，并根据所述叶尖图像确定所述叶尖运动轨迹；以及，获取所述叶尖涂装图像，并根据所述叶尖涂装图像确定所述叶尖涂装运动轨迹。在上述方案中，通过采集叶片的叶尖图像以及叶片的叶尖涂装图像，可以将不同工况下难以进行量化的叶片运动轨迹，通过视觉测量结果确定出来，并用于实现对待检测叶片的内部状态进行检测的目的。
15.在可选的实施方式中，所述叶片内部状态检测装置还包括：第三获取模块，用于获取标注训练集以及未标注训练集；其中，所述标注训练集包括第一样本运行数据以及对应的样本运动轨迹，所述未标注训练集包括第二样本运行数据；第二输入模块，用于将所述第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹，并根据所述样本运动轨迹以及所述第一样本预测运动轨迹计算所述生成器的第一损失值；第三输入模块，用于将所述第二样本运行数据输入所述生成器，得到对应的第二样本预测运动轨迹；计算模块，用于根据所述第一样本运行数据、所述样本运动轨迹、所述第二样本运行数据以及所述第二样本预测运动轨迹计算所述待训练关系网络中的判别器的第二损失值；优化模块，用于根据所述第一损失值以及所述第二损失值对所述生成器以及所述判别器进行优化，得到所述预先训练好的关系网络。在上述方案中，本技术实施例提供的关系网络可以采用gan实现，因此，对关系网络进行训练既相当于对gan进行训练，从而得到预先训练好的关系网络用于实现对待检测叶片的内部状态进行检测的目的。
16.在可选的实施方式中，所述第一输入模块具体用于：将所述第一样本运行数据输入所述生成器中的编码器，得到样本运行特征；将所述样本运行特征与时间戳特征进行拼接，得到拼接特征；将所述拼接特征输入所述生成器中的解码器，得到所述第一样本预测运动轨迹。在上述方案中，在训练关系网络的过程中，可以加入时间戳特征作为原始特征的补充，从而提高关系网络的性能。
17.在可选的实施方式中，所述确定模块具体用于：判断所述预测运动轨迹以及所述实际运动轨迹是否满足多个判定条件中的至少一个；若所述预测运动轨迹以及所述实际运动轨迹满足多个判定条件中的至少一个，则确定所述待检测叶片的内部出现损伤。在上述方案中，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。
18.在可选的实施方式中，所述判定条件包括以下至少一个：所述实际运动轨迹与所述预测运动轨迹之间的差异大于第一轨迹阈值；针对同一个风机上的多个待检测叶片，其实际运动轨迹之间的差异大于第二轨迹阈值；所述实际运动轨迹超过所述预测运动轨迹与所述当前运行数据形成的包络。
19.第三方面，本技术实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的叶片内部状态检测方法。
20.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一
方面所述的叶片内部状态检测方法。
21.为使本技术的上述目的、特征和优点能更明显易懂，下文特举本技术实施例，并配合所附附图，作详细说明如下。
附图说明
22.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
23.图1为本技术实施例提供的一种风机的示意图；图2为本技术实施例提供的风机的俯视图；图3为本技术实施例提供的一种叶片内部状态检测方法的流程图；图4为本技术实施例提供的叶片的运动轨迹的示意图；图5为本技术实施例提供的一种关系网络的结构图；图6为本技术实施例提供的一种叶片内部状态检测装置的结构框图；图7为本技术实施例提供的一种电子设备的结构框图。
具体实施方式
24.我国具有丰富的海上风能资源，离岸距离25km以内海域风能资源开发量为1.9亿kw，离岸距离50km以内海域开发量为3.6亿kw，在发展海上风电方面占有天然优势。其中，我国风电产业自进入高速发展期以来，经历了3个发展阶段：2013年以前，重点开发风资源丰富的三北地区（东北、华北、西北）；2013年至2018年，主要开发中部和西南山地风场以及东南沿海风场；2018年开始，开始规模化开发海上风电。
25.随着投产的海上风机数量不断增加，海上风电系统设备自身运行特点和恶劣环境所造成的故障风险与维护成本控制问题也日益突出。举例来说，2015年11月，丹麦paludansflak海上风场的2.3mw西门子风机出现垮塌事故，整个风场关停检修，造成巨大经济损失；近日，丹麦anholt海上风场一台3.6mw西门子风机的叶轮从机舱分离掉落海中，事故原因还在调查之中。
26.海上风电系统设备结构复杂，失效模式数量庞大，在不利的海洋环境下风机的故障率较高，因此，为了保证海上风电系统的正常使用，需要定期对海上风电系统的运行状态进行检测。但是，由于海上风电场施工和维护受天气、海洋、地质等环境的影响很大，采用大型浮吊进行检测费时费力，并伴有高额的吊装船费用和较大的吊装风险，因此，需要采用更便捷的方式实现对海上风电系统的检测。
27.其中，叶片是海上风电系统中风机的风能捕获装置，其性能的好坏和使用寿命的长短直接影响着风机的正常运行和系统效率。导致叶片出现损伤的主要因素包括：1）风机叶片一般由玻璃纤维复合材料制成，在成型和运输过程中，难免出现缺陷和损伤；2）微观选址导致到达叶轮面的风不均匀，进而使叶片长期承受不平衡载荷；3）盐水腐蚀等环境因素影响；4）雷击或结冰等极端天气破坏叶片内部结构。
28.在生产制造过程中，叶片会出现孔隙、分层和夹杂等典型缺陷。其中，孔隙缺陷主
要是由于树脂与纤维浸润不良，空气排挤不完全等因素造成；分层缺陷主要是因为树脂用量不够，二次成形等；夹杂缺陷的产生主要是由于加工过程中的异物混入。在运行过程中，叶片会出现裂纹、断裂和基体老化等缺陷。其中，外界冲击是产生裂纹的主要原因；断裂通常是由缺陷损伤累积引起的，风机在正常运行情况下叶片不会发生突然断裂；基体老化是由于风机叶片长期工作在沙尘、雨水和盐雾腐蚀的恶劣条件下造成的。
29.不同于海上风电系统中的发电机和变频器等电气部件可以提供丰富的运行数据用于状态监测和缺陷检测，由于叶片是纯机械部件，其只有转速信号可供采集，因此，这给叶片状态检测带来了极大的不便。在现有技术中，一般采用计算机视觉技术对叶片状态进行检测。但是，采用上述检测方式，仅仅只能对叶片表面的状态进行检测，而无法对叶片内部的状态进行检测。
30.基于上述分析，本技术实施例提供一种叶片内部状态检测方法，通过该叶片内部状态检测方法，可以实现对叶片内部的状态进行检测。可以理解的是，本技术实施例提供的叶片内部状态检测方法除了可以应用于海上风电系统中风机上的叶片，还可以应用于其他场景中的叶片，本技术实施例对此不作具体的限定。
31.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
32.在介绍本技术实施例提供的叶片内部状态检测方法之前，首先介绍本技术实施例适用的风机结构。请参照图1，图1为本技术实施例提供的一种风机的示意图，该风机100包括三个叶片101、机舱102以及塔筒103。其中，叶片101设置在机舱102上，机舱102可以控制叶片101的转动以及翻转；机舱102设置在塔筒103的一端，塔筒103的另一端设置在地面上。
33.可以理解的是，本技术实施例对叶片101的数量、风机100设置的具体位置等均不作具体的限定，图1所示的风机100仅为本技术实施例提供的一个示例，本领域技术人员可以根据实际情况，结合图1进行合适调整。
34.进一步的，在上述实施例的基础上，机舱102的底部可以设置有图像采集装置104，用于采集叶片101转动到塔筒103前时的图像。作为一种实施方式，上述图像采集装置104可以成为星光级摄像头，且具有主动云台控制、红外夜视、加热功能和雨刷等功能。
35.进一步的，在上述实施例的基础上，图像采集装置104可以安装在塔筒103和机舱102的对称面上（请参照图2），此时，图像采集装置104获取的图像非常接近风机100在地面的投影。
36.进一步的，在上述实施例的基础上，可以依据风电场的规模来选择计算单元的部署方式。举例来说，对于小规模风电场，环网通讯压力较小，因此，风机100上的图像采集装置104可以直接将数据回传至中控室部署的中央服务器上，由中央服务器对数据进行统一运算，从而降低硬件成本；对于大规模风电场，环网通讯压力较大，因此，可以在风机100上直接部署计算单元，由计算单元对图像采集装置104采集的数据进行处理，再上传至服务器进行存储。
37.进一步的，在上述实施例的基础上，可以在叶片101的叶尖处部署红涂装。可以理解的是，本技术实施例对叶尖涂装的颜、形状均不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。
38.进一步的，在上述实施例的基础上，可以在地面上安装标定板105配合上述叶尖涂装实现叶片101的快速定位。可以理解的是，本技术实施例对标定板105的颜、形状均不作
具体的限定，本领域技术人员可以根据实际情况进行合适的调整。
39.基于上述风机100，下面对本技术实施例提供的叶片内部状态检测方法进行介绍，该叶片内部状态检测方法可以用于对上述风机100中的叶片101的内部状态进行检测。
40.请参照图3，图3为本技术实施例提供的一种叶片内部状态检测方法的流程图，该叶片内部状态检测方法可以包括如下步骤：步骤s301：获取待检测叶片对应的当前运行数据。
41.步骤s302：将当前运行数据输入预先训练好的关系网络中，得到关系网络输出的待检测叶片的预测运动轨迹。
42.步骤s303：根据预测运动轨迹以及待检测叶片的实际运动轨迹确定待检测叶片的叶片内部状态。
43.具体的，在上述步骤s301中，待检测叶片，指当前需要进行状态检测的叶片。可以理解的是，待检测叶片既可以是风机上的一个或者多个叶片，也可以是风机上的所有叶片。
44.叶片的运行数据，包括叶片在运行过程中的环境参数、运动参数等，本技术实施例对此不作具体的限定。举例来说，叶片的运行数据可以包括风速、风向、偏航角度、温度、湿度、海拔、变桨角度、叶轮转速、电磁转矩、发电机功率、机舱振动传感器信息等。
45.可以理解的是，待检测叶片对应的当前运行数据，指当前需要进行状态检测的叶片的运行数据。
46.需要说明的是，本技术实施例对获取待检测叶片对应的当前运行数据的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以从风机可编程逻辑控制器（programmable logic controller，plc）或数据采集与监视控制（supervisory control and data acquisition，scada）系统中读取待检测叶片对应的当前运行数据；或者，接收外部设备发送的待检测叶片对应的当前运行数据等。
47.在上述步骤s302中，关系网络用于表征叶片对应的运行数据与叶片的运动轨迹之间的对应关系。在执行本技术实施例提供的叶片内部状态检测方法之前，可以先对关系网络进行训练，从而得到预先训练好的关系网络；将当前运行数据输入预先训练好的关系网络中，便可以得到上述关系网络输出的待检测叶片的预测运动轨迹。
48.其中，对关系网络进行训练的具体实施方式将在后续实施例中进行详细的说明，此处暂不介绍。
49.在上述步骤s303中，与上述通过关系网络预测得到的预测运动轨迹不同，待检测叶片的实际运动轨迹是根据待检测叶片的视觉测量结果实时确定的。其中，本技术实施例对待检测叶片的视觉测量结果的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，视觉测量结果可以包括叶片图像、叶尖图像、叶尖涂装图像等。
50.可以理解的是，由于当叶片内部出现损伤时，其在转动过程中会发生弯曲，因此，通过观测叶片转动到塔筒时叶尖与塔筒之间的距离（即塔架净空），可以判断叶片内部的状态。在本技术实施例中，可以根据待检测叶片的预测运动轨迹以及待检测叶片的实际运动轨迹来确定待检测叶片的叶片内部状态。
51.其中，本技术实施例对根据预测运动轨迹以及实际运动轨迹来确定叶片内部状态的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举
例来说，可以通过计算预测运动轨迹与实际运动轨迹之间的差距来确定叶片内部状态；或者，可以根据运动轨迹计算叶尖与塔筒之间的距离来确定叶片内部状态等。
52.在上述方案中，可以设计关系网络并预先对关系网络进行训练，从而建立叶片的运动轨迹与风机的运行数据之间的联系；通过待检测叶片的当前运行数据以及上述关系网络，可以确定待检测叶片的预测运动轨迹；最后，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。此外，通过视觉测量结果确定叶片的运动轨迹，可以将不同工况下难以进行量化的叶片运动轨迹表示出来。
53.进一步的，在上述实施例的基础上，叶片的运动轨迹可以包括叶尖运动轨迹以及叶尖涂装运动轨迹，视觉测量结果可以包括图像采集装置采集的叶尖图像以及叶尖涂装图像，此时，在上述步骤s303之前，本技术实施例提供的叶片内部状态检测方法还可以包括如下步骤：获取叶尖图像，并根据叶尖图像确定叶尖运动轨迹；以及，获取叶尖涂装图像，并根据叶尖涂装图像确定叶尖涂装运动轨迹。
54.具体的，请参照图4，图4为本技术实施例提供的叶片的运动轨迹的示意图。可以看出，根据图像采集装置采集的叶尖图像，可以确定叶尖运动轨迹；类似的，根据图像采集装置采集的叶尖涂装图像，可以确定叶尖涂装运动轨迹。
55.举例来说，记风机的第根叶片的方位角为，定义叶片竖直朝下时，叶片经过图像采集装置的区间为，其中，。在上述区间内，叶片对应的运行数据为；叶片运动经过图像采集装置时，叶尖运动轨迹为、叶尖涂装运动轨迹为。
56.需要说明的是，本技术实施例对根据图像确定运动轨迹的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以采用背景差分法或者光流法等传统视觉方法根据图像确定运动轨迹。
57.在上述方案中，通过采集叶片的叶尖图像以及叶片的叶尖涂装图像，可以将不同工况下难以进行量化的叶片运动轨迹，通过视觉测量结果确定出来，并用于实现对待检测叶片的内部状态进行检测的目的。
58.进一步的，在上述实施例的基础上，本技术实施例提供的关系网络可以采用gan实现。其中，关系网络包括生成器以及判别器，而生成器包括编码器以及解码器，编码器以及解码器可以采用unet结构。叶片的运行数据输入生成器后，首先经过编码器转换为样本运行特征，然后经过解码器转换为叶片的运行轨迹；叶片的运行数据以及叶片的运动轨迹共同作为判别器的输入。
59.在上述步骤s301之前，可以先对关系网络进行训练，其中，对关系网络进行训练的过程可以包括如下步骤：步骤1），获取标注训练集以及未标注训练集；其中，标注训练集包括第一样本运行数据以及对应的样本运动轨迹，未标注训练集包括第二样本运行数据。
60.步骤2），将第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹，并根据样本运动轨迹以及第一样本预测运动轨迹计算生成器的第一损
失值。
61.步骤3），将第二样本运行数据输入生成器，得到对应的第二样本预测运动轨迹。
62.步骤4），根据第一样本运行数据、样本运动轨迹、第二样本运行数据以及第二样本预测运动轨迹计算待训练关系网络中的判别器的第二损失值。
63.步骤5），根据第一损失值以及第二损失值对生成器以及判别器进行优化，得到预先训练好的关系网络。
64.具体的，作为一种实施方式，判别器的损失可以采用二值交叉熵损失，生成器的损失可以采用smooth l1损失。
65.在上述方案中，本技术实施例提供的关系网络可以采用gan实现，因此，对关系网络进行训练既相当于对gan进行训练，从而得到预先训练好的关系网络用于实现对待检测叶片的内部状态进行检测的目的。
66.进一步的，在上述实施例的基础上，在样本运行特征的基础上，可以加入时间戳特征。由于时间信息包含了风的季节性变化、温湿度的日夜周期性变化等信息，因此可以作为样本运行特征的补充，引导关系网络的训练，从而提高关系网络的性能。
67.此时，上述将第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹的步骤，具体可以包括如下步骤：步骤1），将第一样本运行数据输入生成器中的编码器，得到样本运行特征。
68.步骤2），将样本运行特征与时间戳特征进行拼接，得到拼接特征。
69.步骤3），将拼接特征输入生成器中的解码器，得到第一样本预测运动轨迹。
70.具体的，请参照图5，图5为本技术实施例提供的一种关系网络的结构图。可以看出，与上一实施例不同，样本运行特征与时间戳特征进行拼接后，将拼接特征作为解码器的输入，而判别器的输入包括叶片的运行数据、叶片的运动轨迹以及时间戳特征。
71.在上述方案中，在训练关系网络的过程中，可以加入时间戳特征作为原始特征的补充，从而提高关系网络的性能。
72.进一步的，在上述实施例的基础上，上述步骤s303具体可以包括如下步骤：步骤1），判断预测运动轨迹以及实际运动轨迹是否满足多个判定条件中的至少一个。
73.步骤2），若预测运动轨迹以及实际运动轨迹满足多个判定条件中的至少一个，则确定待检测叶片的内部出现损伤。
74.具体的，判定条件可以包括以下至少一个：第一，实际运动轨迹与预测运动轨迹之间的差异大于第一轨迹阈值；第二，针对同一个风机上的多个待检测叶片，其实际运动轨迹之间的差异大于第二轨迹阈值；第三，实际运动轨迹超过预测运动轨迹与当前运行数据形成的包络。
75.针对上述第一个判定条件，其是对塔架净空的绝对度量。作为一种实施方式，待检测叶片的预测运动轨迹可以利用bladed等仿真软件对不同工况进行多次计算，得到相对风速、风向和湍流强度等参数的表示；上述第一轨迹阈值可以通过在仿真时引入安装误差、风速风向测量误差等得到。
76.针对上述第二个判定条件，其是对塔架净空的相对度量。作为一种实施方，与上述实施例类似，第二轨迹阈值同样可以通过在仿真时引入安装误差、风速风向测量误差等得
到。
77.针对上述第三个判定条件，其同样是对塔架净空的相对度量。作为一种实施方式，第三个判定条件可以通过关系网络中的判别器进行判断。
78.在上述方案中，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。
79.请参照图6，图6为本技术实施例提供的一种叶片内部状态检测装置的结构框图，该叶片内部状态检测装置600包括：第一获取模块601，用于获取待检测叶片对应的当前运行数据；第一输入模块602，用于将所述当前运行数据输入预先训练好的关系网络中，得到所述关系网络输出的所述待检测叶片的预测运动轨迹；其中，所述关系网络用于表征叶片对应的运行数据与叶片的运动轨迹之间的对应关系；确定模块603，用于根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态；其中，所述实际运动轨迹为根据所述待检测叶片的视觉测量结果确定的。
80.在上述方案中，可以设计关系网络并预先对关系网络进行训练，从而建立叶片的运动轨迹与风机的运行数据之间的联系；通过待检测叶片的当前运行数据以及上述关系网络，可以确定待检测叶片的预测运动轨迹；最后，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。此外，通过视觉测量结果确定叶片的运动轨迹，可以将不同工况下难以进行量化的叶片运动轨迹表示出来。
81.进一步的，在上述实施例的基础上，所述叶片的运动轨迹包括叶尖运动轨迹以及叶尖涂装运动轨迹，所述视觉测量结果包括图像采集装置采集的叶尖图像以及叶尖涂装图像；所述叶片内部状态检测装置600还包括：第二获取模块，用于获取所述叶尖图像，并根据所述叶尖图像确定所述叶尖运动轨迹；以及，获取所述叶尖涂装图像，并根据所述叶尖涂装图像确定所述叶尖涂装运动轨迹。
82.在上述方案中，通过采集叶片的叶尖图像以及叶片的叶尖涂装图像，可以将不同工况下难以进行量化的叶片运动轨迹，通过视觉测量结果确定出来，并用于实现对待检测叶片的内部状态进行检测的目的。
83.进一步的，在上述实施例的基础上，所述叶片内部状态检测装置600还包括：第三获取模块，用于获取标注训练集以及未标注训练集；其中，所述标注训练集包括第一样本运行数据以及对应的样本运动轨迹，所述未标注训练集包括第二样本运行数据；第二输入模块，用于将所述第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹，并根据所述样本运动轨迹以及所述第一样本预测运动轨迹计算所述生成器的第一损失值；第三输入模块，用于将所述第二样本运行数据输入所述生成器，得到对应的第二样本预测运动轨迹；计算模块，用于根据所述第一样本运行数据、所述样本运动轨迹、所述第二样本运行数据以及所述第二样本预测运动轨迹计算所述待训练关系网络中的判别器的第二损失值；优化模块，用于根据所述第一损失值以及所述第二损失值对所述生成器以及所述判别器进行优化，得到所述预先训练好的关系网络。
84.在上述方案中，本技术实施例提供的关系网络可以采用gan实现，因此，对关系网络进行训练既相当于对gan进行训练，从而得到预先训练好的关系网络用于实现对待检测叶片的内部状态进行检测的目的。
85.进一步的，在上述实施例的基础上，所述第一输入模块602具体用于：将所述第一样本运行数据输入所述生成器中的编码器，得到样本运行特征；将所述样本运行特征与时间戳特征进行拼接，得到拼接特征；将所述拼接特征输入所述生成器中的解码器，得到所述第一样本预测运动轨迹。
86.在上述方案中，在训练关系网络的过程中，可以加入时间戳特征作为原始特征的补充，从而提高关系网络的性能。
87.进一步的，在上述实施例的基础上，所述确定模块603具体用于：判断所述预测运动轨迹以及所述实际运动轨迹是否满足多个判定条件中的至少一个；若所述预测运动轨迹以及所述实际运动轨迹满足多个判定条件中的至少一个，则确定所述待检测叶片的内部出现损伤。
88.在上述方案中，根据预测运动轨迹以及根据视觉测量结果确定的实际运动轨迹，可以实现对待检测叶片的内部状态进行检测的目的。
89.进一步的，在上述实施例的基础上，所述判定条件包括以下至少一个：所述实际运动轨迹与所述预测运动轨迹之间的差异大于第一轨迹阈值；针对同一个风机上的多个待检测叶片，其实际运动轨迹之间的差异大于第二轨迹阈值；所述实际运动轨迹超过所述预测运动轨迹与所述当前运行数据形成的包络。
90.请参照图7，图7为本技术实施例提供的一种电子设备的结构框图，该电子设备700包括：至少一个处理器701，至少一个通信接口702，至少一个存储器703和至少一个通信总线704。其中，通信总线704用于实现这些组件直接的连接通信，通信接口702用于与其他节点设备进行信令或数据的通信，存储器703存储有处理器701可执行的机器可读指令。当电子设备700运行时，处理器701与存储器703之间通过通信总线704通信，机器可读指令被处理器701调用时执行上述叶片内部状态检测方法。
91.例如，本技术实施例的处理器701通过通信总线704从存储器703读取计算机程序并执行该计算机程序可以实现如下方法：步骤s301：获取待检测叶片对应的当前运行数据。步骤s302：将当前运行数据输入预先训练好的关系网络中，得到关系网络输出的待检测叶片的预测运动轨迹。步骤s303：根据预测运动轨迹以及待检测叶片的实际运动轨迹确定待检测叶片的叶片内部状态。
92.其中，处理器701包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器701可以是通用处理器，包括中央处理器（central processing unit，简称cpu）、微控制单元（micro controller unit，简称mcu）、网络处理器（network processor，简称np）或者其他常规处理器；还可以是专用处理器，包括神经网络处理器（neural-network processing unit，简称npu）、图形处理器（graphics processing unit，简称gpu）、数字信号处理器（digital signal processor，简称dsp）、专用集成电路（application specific integrated circuits，简称asic）、现场可编程门阵列（field programmable gate array，简称fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器701为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
93.存储器703包括一个或多个，其可以是，但不限于，随机存取存储器（random access memory，简称ram），只读存储器（read only memory，简称rom），可编程只读存储器
（programmable read-only memory，简称prom），可擦除可编程只读存储器（erasable programmable read-only memory，简称eprom），电可擦除可编程只读存储器（electric erasable programmable read-only memory，简称eeprom）等。
94.可以理解，图7所示的结构仅为示意，电子设备700还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。于本技术实施例中，电子设备700可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备700也不一定是单台设备，还可以是多台设备的组合，例如服务器集，等等。
95.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的叶片内部状态检测方法。
96.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
97.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
98.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
99.需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
100.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
101.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：

1.一种叶片内部状态检测方法，其特征在于，包括：获取待检测叶片对应的当前运行数据；将所述当前运行数据输入预先训练好的关系网络中，得到所述关系网络输出的所述待检测叶片的预测运动轨迹；其中，所述关系网络用于表征叶片对应的运行数据与叶片的运动轨迹之间的对应关系；根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态；其中，所述实际运动轨迹为根据所述待检测叶片的视觉测量结果确定的。2.根据权利要求1所述的叶片内部状态检测方法，其特征在于，所述叶片的运动轨迹包括叶尖运动轨迹以及叶尖涂装运动轨迹，所述视觉测量结果包括图像采集装置采集的叶尖图像以及叶尖涂装图像；在所述根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态之前，所述方法还包括：获取所述叶尖图像，并根据所述叶尖图像确定所述叶尖运动轨迹；以及，获取所述叶尖涂装图像，并根据所述叶尖涂装图像确定所述叶尖涂装运动轨迹。3.根据权利要求1或2所述的叶片内部状态检测方法，其特征在于，在所述获取待检测叶片对应的当前运行数据之前，所述方法还包括：获取标注训练集以及未标注训练集；其中，所述标注训练集包括第一样本运行数据以及对应的样本运动轨迹，所述未标注训练集包括第二样本运行数据；将所述第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹，并根据所述样本运动轨迹以及所述第一样本预测运动轨迹计算所述生成器的第一损失值；将所述第二样本运行数据输入所述生成器，得到对应的第二样本预测运动轨迹；根据所述第一样本运行数据、所述样本运动轨迹、所述第二样本运行数据以及所述第二样本预测运动轨迹计算所述待训练关系网络中的判别器的第二损失值；根据所述第一损失值以及所述第二损失值对所述生成器以及所述判别器进行优化，得到所述预先训练好的关系网络。4.根据权利要求3所述的叶片内部状态检测方法，其特征在于，所述将所述第一样本运行数据输入待训练关系网络中的生成器，得到对应的第一样本预测运动轨迹，包括：将所述第一样本运行数据输入所述生成器中的编码器，得到样本运行特征；将所述样本运行特征与时间戳特征进行拼接，得到拼接特征；将所述拼接特征输入所述生成器中的解码器，得到所述第一样本预测运动轨迹。5.根据权利要求1所述的叶片内部状态检测方法，其特征在于，所述根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态，包括：判断所述预测运动轨迹以及所述实际运动轨迹是否满足多个判定条件中的至少一个；若所述预测运动轨迹以及所述实际运动轨迹满足多个判定条件中的至少一个，则确定所述待检测叶片的内部出现损伤。6.根据权利要求5所述的叶片内部状态检测方法，其特征在于，所述判定条件包括以下至少一个：所述实际运动轨迹与所述预测运动轨迹之间的差异大于第一轨迹阈值；
针对同一个风机上的多个待检测叶片，其实际运动轨迹之间的差异大于第二轨迹阈值；所述实际运动轨迹超过所述预测运动轨迹与所述当前运行数据形成的包络。7.一种叶片内部状态检测装置，其特征在于，包括：第一获取模块，用于获取待检测叶片对应的当前运行数据；第一输入模块，用于将所述当前运行数据输入预先训练好的关系网络中，得到所述关系网络输出的所述待检测叶片的预测运动轨迹；其中，所述关系网络用于表征叶片对应的运行数据与叶片的运动轨迹之间的对应关系；确定模块，用于根据所述预测运动轨迹以及所述待检测叶片的实际运动轨迹确定所述待检测叶片的叶片内部状态；其中，所述实际运动轨迹为根据所述待检测叶片的视觉测量结果确定的。8.一种电子设备，其特征在于，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-5任一项所述的方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-5任一项所述的方法。

技术总结

本申请提供一种叶片内部状态检测方法及装置，应用于风电技术领域，其中，叶片内部状态检测方法包括：获取待检测叶片对应的当前运行数据；将当前运行数据输入预先训练好的关系网络中，得到关系网络输出的待检测叶片的预测运动轨迹；其中，关系网络用于表征叶片对应的运行数据与叶片的运动轨迹之间的对应关系；根据预测运动轨迹以及待检测叶片的实际运动轨迹确定待检测叶片的叶片内部状态；其中，实际运动轨迹为根据待检测叶片的视觉测量结果确定的。在上述方案中，可以设计关系网络并预先对关系网络进行训练，从而建立叶片的运动轨迹与风机的运行数据之间的联系，可以实现对待检测叶片的内部状态进行检测的目的。叶片的内部状态进行检测的目的。叶片的内部状态进行检测的目的。