一种数据集多尺度评估方法、系统、设备和存储介质

1.本发明属于数据集质量评估领域，具体涉及一种数据集多尺度评估方法、系统、设备和存储介质，尤其是涉及一种自动驾驶数据集多尺度评估方法、系统、设备和存储介质。

背景技术：

2.根据市场调查显示，中国60％以上的机构存在数据重复、数据不完整等问题。需要明确的是，利用数据进行一系列后续操作的前提是数据是准确、可靠的，只有这样才能从庞大的数据集中抽取出关键信息。智能系统的发展为社会带来巨大变革的同时，也对数据集质量提出了新的要求。数据质量是首要考虑的因素，应作为最基本的需求考虑。如果数据质量不能得到良好的评估、进行及时的相应处理，带来的不仅仅是信息误判的误差，还可能会出现对后期发展的判断失误，从而导致经济、时间上的损失，因此评估数据质量有着重要意义，这决定着后续企业、机构能否准确地利用传感等数据获得决策信息。因此，数据集质量评估是必不可少的环节，应到一种合适的数据质量评估方法，对数据质量进行评估，让后续的分析、预测等操作有一个良好的数据质量保障。
3.智能系统的数据集质量对于智能系统的研究具有十分重要的意义，其在一定程度上决定了智能系统研究结果的质量，因此对数据集进行多尺度评估显得至关重要。当前国内外对于数据集质量评估的方法侧重点有所不同，国外主要研究当前数据集中存在的问题并提出相应的解决方案，国内主要是在现有的数据质量评估框架的基础上进行分析与总结。也有一些学者在分析研究当前国际上较为成熟的数据集质量评估框架后，结合实际项目构建更加准确的数据集质量评估框架。
4.面对体量庞大，类型多样的数据集，数据的质量评估工作还面临很多尚未解决的问题。首先，当对某种特定类型的数据集进行多维度的质量评估时，当前主要研究对象为结构化数据，但是对于大量的非结构化数据，如图像文本等，目前很多的质量评估方法仍采用定性分析，而缺少具体的量化模型以及对应的方法，因此量化数据集内容的质量依旧是一项十分具有挑战性的工作。此外，现有工作评估数据质量时一般针对单个数据单元，缺乏对数据集合整体质量的评估方法。而实际任务中所采用的多维数据集，若直接将单个数据单元的质量通过统计计算得到数据集整体的质量，如统计所有数据单元质量的最大值或平均值，则忽略了数据单元之间的关系对数据集整体质量造成的影响。
5.数据价值的判断取决于数据质量的高低，依赖于科学完整的数据集评估模型的建立。由于数据的形式多种多样，并且应用场景不尽相同，导致对数据集的要求存在多样化。当前，还没有一套通用的数据集质量评估指标体系来适用于所有的数据应用领域，需要根据具体应用场景来设计对应的质量评估体系。
6.目前国内的数据集质量评估体系的研究还不够成熟，能够有效投入使用的数据集质量评估框架存在较少，并且应用范围十分有限，因此需要结合实际需求研究相应的数据集质量评估体系。尽管许多学者都在数据集质量评估方面进行了研究，但是对于智能系统数据集方面的研究相对较少，因此对智能系统数据集进行多尺度质量评估具有重要意义。

技术实现要素：

7.针对上述问题，本发明的目的是提供一种数据集多尺度评估方法、系统、设备和存储介质，能够从多个角度对自动驾驶数据集进行评估。
8.为实现上述目的，本发明采取以下技术方案：
9.第一方面，本发明提供一种数据集多尺度评估方法，其包括以下步骤：
10.基于建立的自动驾驶数据集多尺度评估体系，计算待评估数据集的各指标得分；
11.绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构，并使用网络层次分析法，计算各个指标权重；
12.基于各指标权重与指标得分，计算待评估数据集的评估总得分；
13.将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的得到待评估数据集的多尺度评估结果。
14.进一步，所述自动驾驶数据集多尺度评估体系，包括形式质量、内容质量和效用质量3个一级指标；
15.所述形式质量指标包括准确性、有效性、可理解性、连贯性和可获得性5个二级指标；所述准确性指标包括文件标注准确率，时间匹配度与客观事实匹配度指标；所述连贯性指标包括数据中断情况、数据缺失比例和连续缺失情况指标；所述可获得性指标包括数据采集、数据处理指标；
16.所述内容质量指标包括要素完备度、覆盖度、平衡度和冗余度4个二级指标；所述要素完备度包括静态要素完备性和动态要素完备性；所述覆盖度包括场景覆盖度和功能覆盖度指标；所述平衡度指标包括场景平衡性和天气平衡性指标；所述冗余度包括数据冗余度和要素冗余度指标；
17.所述效用质量指标包括相关性和自适应性2个二级指标；所述自适应指标包括可编辑性、可扩展性和可重构性指标。
18.进一步，所述文件标注准确率指标的计算公式为：
[0019][0020]
式中，λ
taagging
为文件标注准确率，n
correct
为标注与内容相符合的文件的个数，n
total
数据集中总的文件个数；
[0021]
所述时间匹配度指标的计算公式为：
[0022][0023]
式中，λ
matching
为时间匹配度，n
matching
为各个传感器采集信息互相匹配文件的个数，n
total
为数据集中总的文件个数；
[0024]
所述有效性指标的计算公式为：
[0025][0026]
式中，λ
validity
为有效率，t
validity
为有效数据占用的时间，t
total
为数据集的总时间；
[0027]
所述数据缺失比例指标的计算公式为：
[0028][0029]
式中，dmm
dataset
为数据集整体的缺失比例指标，n为数据集中包含的总的数据条数；dmr
item
为该条视频中的帧数缺失比例，md
item
为该条视频中缺失的数据数量，ad
item
为该条视频包含的全部数据数量。
[0030]
进一步，所述绘制各个指标之间的相互关系并建立网络结构，使用网络层次分析法，计算各个指标权重的方法，包括：
[0031]
根据建立的自动驾驶数据集多尺度评估体系中的各项指标，建立指标之间的相互关系；
[0032]
基于各指标之间的相互关系，使用网络层次分析法，计算各个指标权重。
[0033]
进一步，所述指标权重包括综合权重和全局权重；所述综合权重表征的是单个一级指标下的若干二级指标各自的分配权重；所述全局权重表征每个二级指标在所有11个二级指标中分配的权重，且所有二级指标的全局权重之和为1。
[0034]
进一步，所述将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的优势指标和不足指标的方法，包括以下步骤：
[0035]
根据实际情况，选择基准数据集，并计算得到基准数据集的各指标得分和评估总得分，作为指标阈值；
[0036]
将待评估数据集的各指标得分以及评估总得分与指标阈值进行比对，得到待评估数据集的多尺度评估结果。
[0037]
进一步，将待评估数据集的各指标得分以及评估总得分与指标阈值进行比对时：对于每一个评价指标，若待评估数据集的指标得分不小于指标阈值，则判定待评估数据集的该项指标为合格，否则为不合格，需要待评估数据集在该指标方向进行完善。
[0038]
第二方面，本发明提供一种数据集多尺度评估系统，包括：
[0039]
指标得分计算模块，用于基于建立的自动驾驶数据集多尺度评估体系，计算待评估数据集的各指标得分；
[0040]
指标权重计算模块，用于绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构，并使用网络层次分析法，计算各个指标权重；
[0041]
评估总得分计算模块，用于基于各指标权重与指标得分，计算待评估数据集的评估总得分；
[0042]
评估模块，用于将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的得到待评估数据集的多尺度评估结果。
[0043]
第三方面，本发明提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行所述计算机程序时执行以实现所述数据集多尺度评估方法的步骤。
[0044]
第四方面，本发明提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现所述数据集多尺度评估方法的步骤。
[0045]
本发明由于采取以上技术方案，其具有以下优点：
[0046]
1、本发明通过建立的自动驾驶数据集多尺度评估体系对智能系统的测试数据集进行多尺度质量评估，可以全方位地了解数据集的质量状况，将含有结构化与非结构化的
数据转化为对应的评分，可以直观地了解数据集中存在的不足之处，将数据集的质量直观地展现了出来。
[0047]
2、本发明通过建立量化的多尺度评价体系，可以对数据集的评价更为客观。当直接评价数据集时，会或多或少地带有主观判断，从而干扰对于数据集的评估；而当建立数据集评估体系后，则能够较为客观地评价数据集的质量，降低主观判断影响。
[0048]
3、本发明通过建立数据集多尺度评估体系框架，可以提高低算法的研究效率与测试数据集的潜在价值，具有重要的理论与指导意义，同时也为数据集多尺度质量评估的新指标体系，具有重要研究意义。
[0049]
4、本发明在对数据集进行多尺度评估后，可以根据评估结果为数据集的改善提供方向。通过研究数据集中存在的问题并进行分析，可在后续的数据生成过程中进行注意与调整，从而获得质量更好的数据，提升研究的结果质量。
[0050]
因此，本发明可以广泛应用于数据集质量评估领域。
附图说明
[0051]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
[0052]
图1是本发明实施例提供的数据集多尺度评估方法流程图；
[0053]
图2是本发明实施例提供的自动驾驶数据集多尺度评估体系；
[0054]
图3是本发明实施例提供的数据集多尺度评估指标相互关系图。
具体实施方式
[0055]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0057]
本发明的一些实施例中，提供一种数据集多尺度评估方法，首先从形式质量、内容质量与效用质量三个方面制定一个自动驾驶数据集多尺度评估体系，并对自动驾驶数据集多尺度评估体系中的指标给予明确定义；然后，使用网络层次分析法(anp)确定权重，对待评估数据集进行评估与打分；最后，根据评估总得分得到评估结果，根据待评估数据集的优势指标和不足指标，为待评估数据集的完善和改进提出指导意见。本发明可以对自动驾驶数据集进行多尺度评估，提高了评估客观性和准确性。
[0058]
与之相对应地，本发明的另一些实施例中提供一种数据集多尺度评估系统、设备和存储介质。
[0059]
实施例1
[0060]
如图1所示，本实施例提供一种数据集多尺度评估方法，包括以下步骤：
[0061]
1)基于建立的自动驾驶数据集多尺度评估体系，计算待评估数据集的各指标得分；
[0062]
2)绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构，使用网络层次分析法，通过super decision(sd)软件计算各个指标权重；
[0063]
3)基于各指标权重与指标得分，计算待评估数据集的评估总得分；
[0064]
4)将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的得到待评估数据集的多尺度评估结果，包括待评估数据集的优势指标和不足指标，便于为待评估数据集的完善和改进提出指导意见。
[0065]
优选地，上述步骤1)中，如图2所示，建立的自动驾驶数据集多尺度评估体系包括形式质量、内容质量和效用质量评估三个一级指标，下面进行详细介绍。
[0066]
1.1)形式质量
[0067]
形式质量顾名思义，主要是以数据形式制定相应标准，从数据本身的角度出发，对其固有属性进行评判。需要说明的是，形式质量仅依照数据格式制定标准并进行评估，是最为基本的数据质量评估角度。
[0068]
对于不同格式的数据集，评估角度和标准也不尽相同。考虑到目标数据集是视频和点云形式数据，故本实施例中，将形式质量评估标准具体细化为：准确性、有效性、可理解性、连贯性和可获得性这五个角度。
[0069]
1.1.1)准确性
[0070]
准确性是对数据形式质量最基本的评估。例如，文件标注与文件内容是否相符合，同一时间段内不同设备采集的信息是否相互匹配，数据集信息是否与客观现实相匹配等。准确性是对文件和数据的基础筛选，挑选出符合格式的文件，避免出现信息偏差、为后续的工作造成不便和误差。根据对准确性自身的描述可以将其分为文件标注准确率，时间匹配度与客观事实匹配度。
[0071]
1.1.1.1)文件标注准确率
[0072]
文件标注准确率是对数据集中各个传感器采集的数据文件的名称、格式以及对应关系是否准确的评价标准，其计算公式为：
[0073][0074]
式中，λ
tagging
为文件标注准确率，n
correct
为标注与内容相符合的文件的个数，n
total
数据集中总的文件个数。
[0075]
1.1.1.2)时间匹配度
[0076]
时间匹配度是用来判断同一时间，不同传感器设备采集的信息相互匹配的一项指标。如天气、道路状况，周边车辆、行人姿态与运动状态,传感器运动情况等。其计算公式为：
[0077][0078]
式中，λ
matching
为时间匹配度，n
matchnig
为各个传感器采集信息互相匹配文件的个数，n
total
为数据集中总的文件个数。
[0079]
1.1.1.2)客观事实匹配度
[0080]
客观事实匹配度是描述数据集中出现违背客观事实现象的一项指标，判断数据集中物体是否符合运行原理，避免出现gps位置信息突然大幅度变化，视频中车辆出现突然消失或者出现等现象。其评分方式如下表1所示：
[0081]
表1 客观事实匹配度评价标准
[0082]
出现次数01-55-1010-2020以上分数54321
[0083]
1.1.2)有效性
[0084]
有效性基于准确性筛选的完备的文件，对数据的形式质量进行进一步考量，主要为数据本身与其定义的吻合程度，以及数据中是否存在、存在多少无效部分。前者从数据的类型、格式、取值范围等部分进行评判，后者主要从是否符合取值范围、与其他部分的关联性等角度来评估数据。特别需要注意的是，本处的有效性仅针对数据本身的形式，暂不对数据实质内容进行考察。其计算公式为：
[0085][0086]
式中，λ
validity
为有效率，t
validity
为有效数据占用的时间，t
total
为数据集的总时间。
[0087]
1.1.3)可理解性
[0088]
可理解性，也是数据形式质量衡量的一个重要标准。可理解性可以从主观和客观两个角度来评估。主观角度一般是寻不同年龄、性别、职业的观众进行观看并给出评判，但考虑到数据集实际情况难以实现，故主要从客观角度进行评估。客观角度具体而言，指视频质量的客观评估，主要包含：视频的分辨率数据，帧率数据，画质清晰程度等。视频质量评估的方法主要有：全参考视频质量评估方法、部分参考视频质量评估方法以及无参考视频质量评估方法。后续依照数据集的实际情况，适当选择评估方法对数据集进行评价。
[0089]
在本实施例中，根据数据集的具体情况，从图像质量、数据范围两方面对数据集的可理解性进行客观评估。图像质量方面，通过判断是否含有模糊画面、是否出现与现实不符合的画面来得到数据集的可理解性。数据范围方面，检测数据是否都在合理的范围内，是否存在过小、过大、乱码等不合理的数值,从而判断数据集的可理解性。
[0090]
1.1.4)连贯性
[0091]
连贯性，也是需要关注的评价角度。之所以提出这一点，在于数据集主要包含视频数据和点云数据，而这两种数据均是按照时间轴顺序分布的。基于此，对于数据集进行连贯性分析，具体来说就是要求数据没有中断或尽量避免中断；数据缺失比例、位置是重要的关注点，如果出现连续的数据缺失，则要进一步关注缺失数据的时间长度。此外，在相关的(可对准的)不同数据集之间的横向连贯性也是一个评估要点，目标数据集需要达到选定的参考标准(即baseline)。
[0092]
1.1.4.1)数据中断情况
[0093]
在拿到一个数据集之后，首先对数据的连贯性中的中断情况进行分析。正常来说，一个良好的数据集，每条数据应该是在时间轴上连续的，不应该存在中断。因此在中断情况的衡量上，可以对数据集数据条目是否存在中断进行分类统计。可以将数据集中不含缺失
的数据称为完全数据，含有缺失的数据称为不完全数据，于是可以通过计算存在中断的不完全数据与不存在中断的完全数据的数量和比例来反映数据集在数据条目质量上的表现，评价标准如下表2所示。
[0094]
表2 数据中断情况评价标准
[0095][0096]
1.1.4.2)数据缺失比例
[0097]
在判断数据条目存在中断的基础之上，可以进一步对存在中断的数据进行中断情况的分析。可以用每条数据中缺失数量占该条数据总数量的比例来表示每条数据中的帧数缺失比例dmr(data missing ratio)，计算公式如下：
[0098][0099]
式中，dmr
item
为该条视频中的帧数缺失比例，md
item
为该条视频中缺失的数据数量，ad
item
为该条视频包含的全部数据数量。
[0100]
对于数据集而言，可以定义数据集整体缺失比例指标dmm(dataset missing metric)：将逐条数据的数据缺失比例dmr取平均，来衡量数据集缺失情况。可以用下式表示：
[0101][0102]
式中，dmm
dataset
为数据集整体的缺失指标，n为数据集中包含的总的数据条数。
[0103]
对于有明显时间连续性的数据集而言，数据的缺失会直接影响到数据集的质量，进而影响后续对数据集的使用，可以通过上述定义的数据集整体缺失指标dmm来进行评估，评估方式如下表3所示。
[0104]
表3 数据缺失比例评价准则
[0105][0106]
1.1.4.3)连续缺失情况
[0107]
在存在中断的数据中，对数据缺失的位置进行进一步分析。从数据缺失的分布来看，可以将数据的缺失分为“随机位置缺失”和“连续位置缺失”两种情况；连续位置缺失又会对数据的使用造成较大影响，可以将连续3、5、7、9帧及以上存在缺失的情况认为是出现了连续位置的数据缺失，统计出缺失数据中随机位置缺失和连续位置缺失所占的比例，来反映数据的可用程度。此外，对于连续位置缺失，可以进一步利用缺失帧数来衡量其缺失的时间长度。根据不同缺失帧数所对应的数据条数，按照0～5分的分数区间进行打分，并最终按照相应的权重计算总得分，评分准则见下表4。
[0108]
表4 数据连续缺失评价准则
[0109][0110]
数据连续缺失情况得分可以按照下式，对不同缺失帧数得分进行加权计算得出,以i表示上表中缺失帧数分段情况，如下式：
[0111][0112]
式中，ωi表示不同帧数所对应的权重，si表示确实不同帧数数据质量得分。
[0113]
1.1.5)可获得性
[0114]
可获得性，则是从另一个角度对数据集进行了评估，这一角度的引入使得评价体系更加完整。可获得性主要是考察数据集获取的难易程度，包括数据采集、清理、转化等步骤的难易程度，以及所用方法的可实现程度。具体而言，首先是数据获取方式要常规化、合理化、合法化，避免出现非常规的获取手段和原则上不可使用的数据；其次，数据要具有普适性，即要尽量避免出现过于极端化、难以复现的数据。
[0115]
1.1.5.1)数据采集
[0116]
测试车辆的传感器设备为激光雷达、雷达、gps、imu和相机，收集到的数据也主要为这五类传感器数据。从采集角度考察数据可获得性，主要从数据采集的代价入手，如设备成本、获取数据过程中设备消耗代价，以及数据获取的时间代价、空间消耗等。
[0117]
设备成本可以直接从硬件本身获取信息。获取数据过程中设备消耗代价一般依照设备本身情况而定，但实际上上文提到的五种传感器获取数据时本身损耗很小。几乎可以忽略不计。数据获取的时间代价主要关注获取数据的时间消耗，这一指标可以与后续数据处理的时间代价一并考察；空间代价则可以通过获得数据对存储空间的占用进行量化，数据存储占用越大表示数据采集代价越大。
[0118]
1.1.5.2)数据处理
[0119]
在获得数据之后，需要进行一系列数据处理。处理步骤的代价重要从时间消耗和空间消耗进行衡量。
[0120]
时间消耗角度，拟与数据采集部分的时间代价一并考察，即统计每种传感器的数据从收集到处理完成所消耗的总时间，进而依照总时间消耗梯度赋分。
[0121]
空间消耗角度，拟记录每种传感器数据处理所占用的内存、处理后数据占用的存储空间等，并进行比较、按梯度进行赋分。
[0122]
综上所述，拟为可获得性设计三个评分标准：基础成本，时间代价以及空间代价。基础成本包含设备成本和获取数据过程中设备消耗代价两个指标。计算设备成本和消耗代价为总基础成本，进而按照成本高低设定五分档标准，如下表5所示：
[0123]
表5 可获得性基础成本得分原则表
[0124]
总基础成本《aa～bb～cc～d》d得分54321
[0125]
1.2)内容质量
[0126]
在考察了数据的形式质量后，需要进一步对数据本身的质量进行多角度的评估。换言之，需要对数据内容质量进行评估。质量评估角度多样，具体实现可以按照数据粒度有小到大的顺序来考察，即依次考察要素、场景、数据集。基于这一思路，本发明考虑选取要素完备性、覆盖度、平衡性、冗余度这四个角度来对目标数据集进行多尺度质量评估。
[0127]
1.2.1)要素完备性
[0128]
要素完备性，是对场景中所有要素的整体情况进行分析和评估。要素完备性主要分为静态要素完备性和动态要素完备性，即分别考察同一场景中要求种类的静态要素和动态要素是否完备。
[0129]
1.2.1.1)静态要素完备性
[0130]
静态要素完备性，指场景应包含所需种类的静态要素。基本要素，如静止的人、机动车辆、非机动车辆、建筑、道路等；场景要素，如树木、路边标识、障碍物(路障、杂物)等。此外，针对路面要素，铺装路面、非铺装路面以及特殊路面(路面起伏损坏、存在打开的井盖)等也是应当考虑的因素。
[0131]
1.2.1.2)动态要素完备性
[0132]
动态要素完备性，主要考察场景中应当存在的各种动态要素，主要是移动的行人和车辆。移动的行人包含路边行走的行人，走斑马线的行人、横穿路面的行人等。移动的车辆包含非机动车和机动车，如倒车的车辆、直线行驶的车辆、变道的车辆、转弯的车辆、近距离突然出现的车辆、走斑马线或横越马路的非机动车辆等。
[0133]
需要说明的是，要素完备性只是从所需或要求出现的要素角度对数据进行评估，并不是要求每一条数据中都包含所有要素。具体实现过程中，也会将不同的要素赋以不同的权重，以保证评估的准确性和有效性。
[0134]
1.2.2)覆盖度
[0135]
如前所述，从细粒度的要素角度对数据集进行评估后，可以进一步从更宏观的角度来评价数据集。覆盖度主要从场景及更宏观的角度来评估数据集的种类完备性，具体来说分场景覆盖度、数据集覆盖度和功能覆盖度三个分析角度。
[0136]
1.2.2.1)场景覆盖度
[0137]
良好数据集应该具有较高的场景覆盖度，其所包括的场景应该是全面，从而使得数据集能够包括可能遇到的各种场景，涵盖绝大多数可能发生的情况，与现实情况相匹配。
[0138]
将智能系统测试数据集按照场景特性进行分解与重构，分为要素、基元场景、场景和测试场景。
[0139]
要素是场景中最小的不可拆分的基本物理实体，例如一辆车、一条路、一棵树等。要素具有一定的属性，可以由多个状态参数描述，例如用颜、几何特征等描述一辆车。场景中需要包含各个道路上的常见要素，包括：行人、机动车、非机动车、道路、建筑、红绿灯、斑马线、路边标识、路侧绿植、道路障碍物、各个天气情况等。其中道路应包括各种路面种类，如沥青路面、土路等；天气包括晴天、阴天、朝阳、夕阳、下雨、下雪、大雾、雾霾、大风等天气情况。
[0140]
基元场景是某一时刻的快照，由一些要素组成，而场景是基元场景的时间序列组合。基元场景和场景应包括道路上常见的情况，包括行人在路边行走、行人走斑马线、行人横穿路面、周围车辆直线行驶、周围车辆变道、车辆转弯、近距离突然出现车辆等。
[0141]
测试用场景是一些极限场景和典型场景的组合，极限场景指有极大可能发生冲突最终导致出现问题的场景，包括数值极限和耦合极限两种；以及极端恶劣环境下，例如没有道路或道路遭到严重破坏，智能体因周围的强对抗性而处于显著劣势的场景。典型场景指自然场景数据集中的高频场景。如路面坎坷不平，天气较差导致能见度大幅度降低、行人或车辆突然出现等。测试用场景应包括这些极限情况，来应对各种不利的突发事件。
[0142]
1.2.2.2)功能覆盖度
[0143]
数据集应该能够满足以下功能，分别为信息不完整性，环境复杂性和高实时性。
[0144]
首先数据集应能够存在一定的数据，来满足信息不完整性。传感器可能会因为各种原因出现问题，导致采集到的数据是不完整的。在实际情况下，几乎所有的ai系统所使用的数据，无论是训练数据还是测试数据，都来自安装在平台上的各个感知传感器，感知传感器的任务就是收集环境中的数据，传递给ai系统，然后由系统再分析处理从传感器中获取到的原始数据，最后完成所预期的目标。但是很多时候并不能够保证所有的传感器都是正常运行的，如遇到极端的环境，高温高湿度高气压导致传感器失效；或者是遇到了很大的噪声干扰，大雨大雪天气下即使摄像机能够正常工作，但是这些数据是ai系统所不能够处理的。除此以外还有可能受到外部恶意的攻击，如对激光雷达的攻击就会导致ai系统若仅用激光雷达感知决策会误判或漏判物体的位置。
[0145]
因此测试ai系统在面对信息不完整的情况下是否能够正常工作是十分重要的，来判断ai系统是否足够的鲁棒来应对信息不完整的情况。因此应该存在一定的不完整的数据，来测试系统能否在信息不完整的情况下满足一定的鲁棒性，从而避免出现意外时系统不能够正常运行。因此这部分数据中应有一部分数据被掩盖掉，如用数值为0的mask来随机地掩盖掉部分传感器收集到的数据；或者数据集中存在强噪声干扰，如大雨、大雪、雾天等，从而对数据的采集产生较大干扰。
[0146]
然后数据集应满足环境复杂性，即环境中应该存在较多的影响系统决策的要素。仿真平台中的测试环境相比于真实情况是有很多的简化，许多ai系统在面对简单情况能够处理得很好，但是在面对复杂情况就不能很好地解决问题，即使这些复杂的情况中的大部分的要素对于ai系统来说都不是关键要素。以自动驾驶为例，一辆自动驾驶的车辆是避让行人，如果前方只有一个行人，那么自动驾驶系统能够很容易地处理。而此时如果前方有多个行人时，系统又该如何处理碰撞风险问题，这些是需要进行测试与讨论的。
[0147]
因此数据集中，应该存在复杂的环境场景，来测试系统是否能够正确地应对并做出决策。如存在较多数量的行人与车辆，道路环境复杂，存在较多的交通标志，增加行人和行车轨迹的不确定性等。
[0148]
最后，数据集应该满足高实时性。高实时性是指，传感器捕捉测试数据的时间要与其时间戳高度一致，或者具有尽可能小的延迟。如果数据集真实捕获时间与时间戳不一致，尤其对于一些采样频率较高的数据集，数据集质量将会受到影响。
[0149]
1.2.3)平衡度
[0150]
平衡度与覆盖度两个角度相辅相成，平衡度基于覆盖度对“存在”的要求，进一步提出了对“比例”的要求。平衡度的核心思路是要求评价指标的比例保持平衡，这一角度是在覆盖度的基础上提出的，即先“存在”，而后讨论比例“平衡”。平衡度主要分为场景平衡度和环境平衡度，分别针对不同指标讨论比例平衡问题，本处主要分为场景平衡度和天气平
衡度两方面。
[0151]
1.2.3.1)场景平衡性
[0152]
数据场景的平衡对于一个数据集来说是非常重要的，在场景的分类上，可以分为动态场景和静态场景：静态场景是指数据中的元素由静态元素构成，即各种常见的路面上静止不动的要素，如路侧的绿植、建筑、路边标识、障碍物、静止不动的人、机动车和非机动车等；与之对应的动态场景则包含各种常见的路面上运动的要素，如路边行走的行人，走斑马线的行人、横穿路面的行人、周围直线行驶的车辆、变道的车辆、转弯的车辆、近距离突然出现的车辆、非机动车辆等。
[0153]
数据集一方面应该尽可能全面地包含两种场景，另一方面又应尽可能保持静态场景和动态场景的平衡，即尽可能使得数据集内两者数据量保持相当。按照场景数量占比情况在0～5的分数区间进行评分。场景平衡性得分可以按照下式以对静态场景和动态场景加权的方式计算得到：
[0154]
score
balance
＝0.5
×
score
static
+0.5
×
score
dynamic
[0155]
式中，score
balance
为场景平衡性得分，score
static
为静态场景平衡性得分，score
dynamic
为动态场景平衡性得分。
[0156]
1.2.3.2)天气平衡性
[0157]
在场景平衡的基础之上，每条数据都带有自己的天气背景，不同的天气情况对于数据也有着很大的影响，因此保持一个良好的天气平衡对于一个数据集来说也是很有意义的。在每天的时间段上，数据集应该包含各种常见的日夜时段，比如早晨、白天、存在太阳直射的朝阳和黄昏、以及阳光不足的夜晚等。在各类天气情况上，则需要涵盖各种天气环境，比如晴天、阴天、下雨、下雪、大雾、雾霾、大风等天气情况，按照天气情况的场景数量占比以0～5分的分数进行打分。总的天气平衡性得分由所有天气加权计算得到，如式，以i表示所有的天气情况。
[0158][0159]
式中，ωj表示不同的天气情况所对应的得分、sj表示不同天气的平衡度得分。
[0160]
1.2.4)冗余度
[0161]
除了上述的存在和比例的要求，还要进一步从数据是否存在冗余的角度来考察数据内容质量。冗余度主要分为数据冗余度和要素冗余度，分别从动态(行为)和静态(要素)两个角度来考察数据的冗余问题。
[0162]
1.2.4.1)数据冗余度
[0163]
数据冗余度主要表征数据的重复度，这一指标着眼于动态(即要素的行为)重复。以视频数据为例，在数据集的数据中，如果某一个或几个要素长时间共现且重复相同行为，则视其为数据冗余，需要对类似数据进行筛选和截取。
[0164]
由于同一个数据中可能出现多处数据冗余，需要设定相应的标准以衡量数据冗余度。设置数据冗余时间阈值td，如果某一段动态重复现象时长超过这一值则认为属于数据冗余；设置数据冗余次数nd，记录每一组数据中数据冗余出现的次数。
[0165]
到一系列数据冗余的数据位置，记录每一次数据冗余段的总时间tdri，其中i＝1，2，...，nd。记录数据总时长t，则时间冗余度可以表示为下式：
[0166][0167]
进一步地，记录每组数据的时间冗余度，与后续的要素冗余度加权求得冗余度综合得分。
[0168]
1.2.4.2)要素冗余度
[0169]
相比于数据冗余度，要素冗余度更注重静态要素的冗余。仍然以视频数据为例，视频数据应当包含各个类别要素，即各种常见的路面上静止不动的物体，如静止的人、车辆、障碍物(路障、杂物)、不平整的路面(路面起伏、打开的井盖)。如果数据集的某个数据中，长时间仅存在某一个或几个静止要素，则认为是要素冗余，需要对类似数据进行筛选和截取。
[0170]
同样考虑到数据中可能出现多处要素冗余，拟设定标准以衡量要素的时间冗余度，如果某一段静态重复现象时长超过这一值则认为属于要素冗余，其计算公式为：
[0171][0172]
式中，tfri为每一次要素冗余段的总时间，其中，i＝1，2，...，nf，nf为要素冗余次数；t为记录数据总时长；tf为要素冗余时间阈值。
[0173]
1.3)效用质量
[0174]
在对数据集完成形式和内容质量上的考察后，我们已经对目标数据集质量有了较为详尽的了解。但是，对于数据集的推广能力，以及是否能较好地应用于目标智能体的测试，我们还掌握甚少。因此，进一步选择相关性和自适应性两个角度，对数据集的效用质量进行评估。
[0175]
1.3.1)相关性
[0176]
相关性是指数据集描述的概念对象和实际目标之间的相关程度，即数据集是否与实际目标相吻合，是否能尽量有效地用在实际目标上。
[0177]
由于评估领域的相关性没有绝对的定义，不同研究对相关性的界定有所差距。基于数据集的实际情况，可以考虑使用原有研究的标准数据集与目标数据集进行对比，或者考虑从智能体测试任务的具体要求方面考察数据集的应用价值。
[0178]
因此该数据集若要与实际目标相关，则需要满足以下条件。首先该数据集应是自动驾驶数据集，且该传感器载体应是低速前行。该数据集的时长应为48小时以上，并且数据集应为多种感知信号数据组成，包括激光雷达、视觉成像、微波雷达、卫星导航定位等数据，而不应该为单一的数据组成。该数据集的目的为能够测试无人车在典型场景和极限场景下的避险情况，因此数据应包含一定比例的典型场景与极限场景。
[0179]
因此以百分比的形式分别计算这些项目在数据集中的相关性程度后，按照0-5分分别来进行打分，最后得到该数据集的总相关性得分
[0180]
1.3.2)自适应性
[0181]
数据集除了应用于目标智能体测试外，还需要具备一定的迁移能力。如果智能体相关任务产生变化，便需要对数据集进行修改，以满足任务的动态需求。此处，考察数据集的迁移能力，即自适应性。
[0182]
自适应性主要用于评估数据的可扩展、场景的可编辑和重组能力，具体可分为可
编辑性、可扩展性和可重构性。
[0183]
1.3.2.1)可编辑性
[0184]
可编辑性的一般定义为：软件、数据或计算机语言可控制变化的性质，即保持某些部分或方面不变，只改变其他部分或方面，从而得到预期结果的性质。
[0185]
对于数据集而言，可以考察其编辑的难易程度，以及面对新的测试任务时，是否可通过小部分调整达到新要求，以量化其可编辑性。
[0186]
一个数据集的数据存储结构及组成格式是根据当前任务的需求和目标来确定的，也就是说在进行任务拓展应用时，当前数据集的格式可能并不适用于新增的任务。因此数据集应该具备这样的特性：一旦需要拓展建立在该数据集上的任务的时候，数据集可以经过一系列的改动、新增、删除或者重组以适配新的任务需求。
[0187]
我们用数据集的可编辑性来表示数据集的这种被改动、新增、删除或者重组的能力；我们希望数据集具有较强的可编辑性，这也就意味着数据集在未来任务的拓展上具有更大的潜力。要具备这种强大的可编辑性，需要数据集的文件存储结构清晰明确，以便于方便地对文件进行提取和编辑；需要文件具有较为丰富的标注信息，以便于在拓展任务的过程中减少对标签信息的重复标注。数据集的可编辑性和可修改比例打分标准如下表6和表7所示。
[0188]
表6 可编辑性打分准则
[0189]
多源数据完备比例单一数据三成数据五成数据五成及以上得分2345
ꢀꢀꢀꢀꢀ
[0190]
表7 可修改比例打分准则
[0191][0192]
1.3.2.2)可扩展性
[0193]
数据集的可扩展性与一般计算机系统可扩展性的定义有所差异。对于数据集而言，可扩展性意味着面对新的任务需求，能否通过一定手段从现有数据派生出可供使用的新数据。
[0194]
对于数据集而言，可以考察其扩展的难易程度，以及面对新的测试任务时，是否可通过已有数据进行扩展并达到新要求，以量化其可扩展性。
[0195]
大规模数据集是成功应用深度神经网络的前提。数据增广技术通过对训练数据做一系列的随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。对于图像数据而言，目前存在大量的方法对图像进行数据增广。镜像操作对图像进行水平和垂直的翻转；旋转操作就是对图像进行简单的旋转，不过在旋转之后要根据图像尺寸以及旋转角度进行后续处理；缩放操作是将图像向外缩放即放大或者向内缩放即缩小；剪裁操作则与缩放不同，从图像中随机抽样一个区域，然后将这个区域大小调整到原始图像大小；平移操作是将图像中物体沿着横向或纵向进行移动；高斯噪声被添加到图像中，以生成极为有用的图像，增强学习能力。对于点云数据来说，目前的点云数据集所包含的种类较少，而且训练集、测试
集的数据量也不如图像数据集丰富，因此在这个条件下，处理点云数据对于数据增广的要求就更高，但是目前对点云数据的增广方式没有像图像那么多。点云数据的传统数据增广方式包括与上述图像处理方式类似的防缩、加噪声等；但是传统的点云数据增强方法并没有很好地发挥出训练网络的潜能，一些较为新颖的做法是在训练网络的基础上增加一个分支来训练一个增广器(augmentor)：通过增广器可以针对原点云样本考虑到一些特殊的本身独有属性，此外生成增广点云样本的网络和训练网络是联合训练优化的。联合训练的好处是可以动态调整增广点云样本的困难度，可以学习越来越复杂难度更大的点云样本。数据集可增广性和协同比例评分标准如下表8和表9所示。
[0196]
表8 多源数据可增广性打分准则
[0197][0198]
表9 多源数据协同比例打分准则
[0199][0200]
1.3.2.3)可重构性
[0201]
对于数据集而言，可以考察其内部结构调整的难易程度，以及面对新的测试任务时，是否可通过调整结构达到新要求，以量化其可重构性。
[0202]
优选地，上述步骤2)中，计算各个指标权重的方法，包括以下步骤：
[0203]
2.1)根据建立的自动驾驶数据集多尺度评估体系中的各项指标，建立指标之间的相互关系。
[0204]
如图3所示，为自动驾驶数据集多尺度评估体系中各项指标的相互关系图，其中，指标之间的关系有三种，为相互依存、某一指标影响另一指标以及内部相互依存，得到各指标相互关系如表10所示。
[0205]
表10 各评价指标相互关系
[0206][0207][0208]
2.2)基于各指标之间的相互关系，使用网络层次分析法，通过super decision软件计算各个指标权重，得到各指标权重如表11所示。
[0209]
其中，综合权重表征的是单个一级指标下的若干二级指标各自的分配权重；对每一个一级指标而言，其下的各个二级指标的综合权重之和为1。而相比之下，全局权重指的是每个二级指标在所有11个二级指标中分配的权重，所有二级指标的全局权重之和为1。
[0210]
表11 各指标权重
[0211][0212][0213]
优选地，上述步骤4)中，将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的优势指标和不足指标的方法，包括以下步骤：
[0214]
4.1)根据实际情况，选择基准数据集，并采用步骤1)～步骤3)计算得到基准数据集的各指标得分和评估总得分，作为指标阈值；
[0215]
4.2)将待评估数据集的各指标得分以及评估总得分与指标阈值进行比对，得到待评估数据集的多尺度评估结果。
[0216]
具体地，对于每一个评价指标，若待评估数据集的指标得分不小于指标阈值，则判定待评估数据集为合格，否则为不合格，需要待评估数据集在该指标方向进行完善。
[0217]
实施例2
[0218]
本实施例以对低速自主无人车系统避险任务数字模拟测试集进行多尺度质量评估，对本发明做进一步说明。
[0219]
该数据集具体分为3种典型场景，分别为静态障碍避险、动态障碍避险和特殊天气避险。因此本研究通过定义了形式质量评估指标、内容质量评估指标与效用质量评估指标，构建了自动驾驶数据集多尺度评估体系，从而对多源数据集进行多尺度评估。
[0220]
kitti数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院合作完成，是目前最大、最完善的自动驾驶场景下计算机视觉算法评测的公开数据集。我们对kitti数据集进行了多尺度评估，得到结果如表12所示。
[0221]
表12 kitti数据集评分结果
[0222][0223][0224]
从表12可知，该数据集具有较好的形式质量，在准确性、有效性、可理解性及连贯性上均具有优良的性能，其标注正确且均为有效数据，能够清晰明了地体现场景，易于理解，且数据集无缺失数据，具有较强的连贯性。同时数据集的内容质量较高，包括了常见的静态要素和动态要素，完备性较强，在场景和功能上的覆盖也较为全面，保持了各要素之间良好的平衡度，并具有较低的冗余度。在效用质量方面，kitti数据集中概念对象与实际对象之间的相关性较高、自适应能力较强，具有优秀的效用质量。
[0225]
总的来说，通过在kitti数据集上进行评估的等效横向对比情况，可以认为本发明构建的自动驾驶数据集多尺度评估体系是相对完善的，包含了多样化的评估指标，可以良好地对一个多尺度数据集进行评价，从而反映出数据集在各个评价准则下的表现情况。通过在构建的质量评估体系下的评估，低速自主无人车系统避险任务数字模拟测试集的整体表现出，具备多尺度数据集的基本特征，可以被用于构建多样化的应用中，能够为上层应用提供坚实的底层数据基础。
[0226]
实施例3
[0227]
上述实施例1提供了一种数据集多尺度评估方法，与之相对应地，本实施例提供一种数据集多尺度评估系统。本实施例提供的系统可以实施实施例1的一种数据集多尺度评估方法，该系统可以通过软件、硬件或软硬结合的方式来实现。例如，该系统可以包括集成的或分开的功能模块或功能单元来执行实施例1各方法中的对应步骤。由于本实施例的系统基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例1的部分说明即可，本实施例提供的系统的实施例仅仅是示意性的。
[0228]
本实施例提供的一种数据集多尺度评估系统，包括：
[0229]
指标得分计算模块，用于基于建立的自动驾驶数据集多尺度评估体系，计算待评估数据集的各指标得分；
[0230]
指标权重计算模块，用于绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构，并使用网络层次分析法，计算各个指标权重；
[0231]
评估总得分计算模块，用于基于各指标权重与指标得分，计算待评估数据集的评估总得分；
[0232]
评估模块，用于将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的得到待评估数据集的多尺度评估结果。
[0233]
实施例4
[0234]
本实施例提供一种与本实施例1所提供的数据集多尺度评估方法对应的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的方法。
[0235]
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例1所提供的数据集多尺度评估方法。
[0236]
在一些实施例中，存储器可以是高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0237]
在另一些实施例中，处理器可以为中央处理器(cpu)、数字信号处理器(dsp)等各种类型通用处理器，在此不做限定。
[0238]
实施例5
[0239]
本实施例1的一种数据集多尺度评估方法可被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的数据集多尺度评估方法的计算机可读程序指令。
[0240]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
[0241]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种数据集多尺度评估方法，其特征在于，包括以下步骤：基于建立的自动驾驶数据集多尺度评估体系，计算待评估数据集的各指标得分；绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构，并使用网络层次分析法，计算各个指标权重；基于各指标权重与指标得分，计算待评估数据集的评估总得分；将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的得到待评估数据集的多尺度评估结果。2.如权利要求1所述的一种数据集多尺度评估方法，其特征在于，所述自动驾驶数据集多尺度评估体系，包括形式质量、内容质量和效用质量3个一级指标；所述形式质量指标包括准确性、有效性、可理解性、连贯性和可获得性5个二级指标；所述准确性指标包括文件标注准确率，时间匹配度与客观事实匹配度指标；所述连贯性指标包括数据中断情况、数据缺失比例和连续缺失情况指标；所述可获得性指标包括数据采集、数据处理指标；所述内容质量指标包括要素完备度、覆盖度、平衡度和冗余度4个二级指标；所述要素完备度包括静态要素完备性和动态要素完备性；所述覆盖度包括场景覆盖度和功能覆盖度指标；所述平衡度指标包括场景平衡性和天气平衡性指标；所述冗余度包括数据冗余度和要素冗余度指标；所述效用质量指标包括相关性和自适应性2个二级指标；所述自适应指标包括可编辑性、可扩展性和可重构性指标。3.如权利要求2所述的一种数据集多尺度评估方法，其特征在于，所述文件标注准确率指标的计算公式为：式中，λ
tagging
为文件标注准确率，n
correct
为标注与内容相符合的文件的个数，n
total
数据集中总的文件个数；所述时间匹配度指标的计算公式为：式中，λ
matching
为时间匹配度，n
matchnig
为各个传感器采集信息互相匹配文件的个数，n
total
为数据集中总的文件个数；所述有效性指标的计算公式为：式中，λ
validity
为有效率，t
validity
为有效数据占用的时间，t
total
为数据集的总时间；所述数据缺失比例指标的计算公式为：
式中，dmm
dataset
为数据集整体的缺失比例指标，n为数据集中包含的总的数据条数；dmr
item
为该条视频中的帧数缺失比例，md
item
为该条视频中缺失的数据数量，ad
item
为该条视频包含的全部数据数量。4.如权利要求2所述的一种数据集多尺度评估方法，其特征在于，所述绘制各个指标之间的相互关系并建立网络结构，使用网络层次分析法，计算各个指标权重的方法，包括：根据建立的自动驾驶数据集多尺度评估体系中的各项指标，建立指标之间的相互关系；基于各指标之间的相互关系，使用网络层次分析法，计算各个指标权重。5.如权利要求4所述的一种数据集多尺度评估方法，其特征在于，所述指标权重包括综合权重和全局权重；所述综合权重表征的是单个一级指标下的若干二级指标各自的分配权重；所述全局权重表征每个二级指标在所有11个二级指标中分配的权重，且所有二级指标的全局权重之和为1。6.如权利要求1所述的一种数据集多尺度评估方法，其特征在于，所述将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的优势指标和不足指标的方法，包括以下步骤：根据实际情况，选择基准数据集，并计算得到基准数据集的各指标得分和评估总得分，作为指标阈值；将待评估数据集的各指标得分以及评估总得分与指标阈值进行比对，得到待评估数据集的多尺度评估结果。7.如权利要求6所述的一种数据集多尺度评估方法，其特征在于，将待评估数据集的各指标得分以及评估总得分与指标阈值进行比对时：对于每一个评价指标，若待评估数据集的指标得分不小于指标阈值，则判定待评估数据集的该项指标为合格，否则为不合格，需要待评估数据集在该指标方向进行完善。8.一种数据集多尺度评估系统，其特征在于，包括：指标得分计算模块，用于基于建立的自动驾驶数据集多尺度评估体系，计算待评估数据集的各指标得分；指标权重计算模块，用于绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构，并使用网络层次分析法，计算各个指标权重；评估总得分计算模块，用于基于各指标权重与指标得分，计算待评估数据集的评估总得分；评估模块，用于将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的得到待评估数据集的多尺度评估结果。9.一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现权利要求1到7任一项所述数据集多尺度评估方法的步骤。10.一种计算机存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现根据权利要求1到7任一项所述数据集多尺度评估方法的步骤。

技术总结

本发明涉及一种数据集多尺度评估方法、系统、设备和存储介质，包括以下步骤：基于建立的自动驾驶数据集多尺度评估体系，计算待评估数据集的各指标得分；绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构，并使用网络层次分析法，计算各个指标权重；基于各指标权重与指标得分，计算待评估数据集的评估总得分；将待评估数据集的多尺度评估结果与指标阈值进行对比，得到待评估数据集的得到待评估数据集的多尺度评估结果。本发明可以广泛应用于数据集评估领域。数据集评估领域。数据集评估领域。