为提升输电线路无人机巡检图像智能处理实用化水平,国网设备部决定开展无人机巡检图像智能识别算法技术测试,制定工作方案如下: 一、工作目的
掌握各单位无人机巡检图像智能识别算法效果和技术水平,择优推广应用。暖脐贴
二、工作原则
遵循公平、公正、公开原则,统一提供技术测试平台,在相同的硬件配置环境下开展算法识别效果验证工作。算法识别结果由专家组统一尺度、量化评价,结果公开通报,作为后续推广应用依据。
三、验证内容
参与算法验证单位为国内外具备相关图像智能识别技术的单位。
算法效果验证为按照《架空输电线路多旋翼无人机巡检影像拍摄指导手册(试行)》拍摄的无人机巡检图像进行识别分析,算法效果评价方法详见附件1o有意向的单位可自愿参与采用计算机模拟缺陷样本的算法训练和识别效果验证工作。
四、工作安排
(一)报名阶段(2月13日-2月17日)
各相关图像智能识别技术研发单位自愿报名,填写附件2并加盖本单位公章,发送至中国电科院指定联系人邮箱,中国电科院向各报名单位发送《技术测试接口规则》、《技术测试操作手册》。
报名截止时间为2月17日17:00,逾期不予接收。
多媒体调度台报名后,参与计算机模拟缺陷样本验证的单位需自带服务器等硬件,在现场开展算法训练,中国电科院统一提供模拟缺陷样本训练集。
(二)准备阶段(2月18日-2月20日)
twamp1)2月18日9:00前,中国电科院向各报名单位确认现场调试安排。
2)2月18日-2月20日,各参与单位将算法模型按《技术测试接口规则》进行封装,在技术测试平台上进行部署并确认运行正常,逾期不再提供调试。
3)2月20日前,国网设备部从各省电力公司抽取6人组成专家组。
(三)验证阶段(2月21日-2月28日)
1)2月21日,通过抽签方式或程序摇号方式,确定各参与单位算法测试顺序;从中国电科院无人机巡检样本库中抽取未公开过的图像样本,由专家组对测试集中样本的正确性和规范性进行审核后,形成本次测试集。
测试集中包含各个设备类型的图像样本,样本数量、“正样本”(图像中有设备缺陷)与,负样本”(图像中设备无缺陷)比例由专家组现场指定.专家组将测试集导入技术测试平台。
2)2月21日-2月23日,根据测试计划依次对各参与单位算法进行测试。在每个算法测试完毕后,专家组利用技术测试平台分析该算法的发现率、误检比和识别效率等指标。
每个算法测试限时为48小时。超过限时仍未运行完毕或没有按规定格式输出结果的算法,立即终止测试,各项指标均不得分。
算法测试时,提供该算法的单位可安排1~2人在测试现场。
32月24日,专家组对技术测试过程和结果进行分析,编制总结报告,在中国电科院公告本次测试结果。
4)2月25文具盒生产过程日-2月28日,中国电科院牵头开展计算机模拟缺陷样本算法训练和识别效果的验证评估工作。
五、工作要求
1.各单位应严格按照文件要求在中国电科院测试平台开展测试工作,在准备阶段可中国电科院测试平台调试接口。
2.各单位需按照接口规则提供算法模型包,接口规则不符、测试过程中误操作等异常将导致没有成绩。
3.测试期间,各参与单位须签署保密协议,禁止设备联网、复制或传播数据资料,服从现场工作安排,全程禁止拍照。
六、其它说明
1.联系人及测试地址
测试工作联系人:谈家英
测试地址号特高压交流试验基地培训楼5楼测试室。
无人机巡检图像智能识别算法
效果评价方法
一、评价方法
算法按单项识别效果和整体识别效果进行评价。
二、算法评价细则
瑞利信道(一)单项识别效果
单项识别效果为单个设备类型的算法识别效果,得分根据发现率得分、误报率得分、输出质量得分和识别效率得分四项进行加权计算,满分为100分。计算公式如下:
单项识别效果得分=发现率得分(满分60分)+误检比得分(满分30分)+识别效率得分(满分10分)
各项指标计算方法如下:
1)发现率得分=发现率χ60车载数字电视
发现率=MI/Mχ100%
其中,Mι为识别算法输出正确框总数;M为该算法对应的测试图像中标准框总数。