用于对多个视频样本进行故事线布局可视化的方法和系统

1.本发明涉及数据的可视化，特别地，本发明涉及一种用于对多个视频样本进行故事线布局可视化的方法、系统以及计算机可读存储介质。

背景技术：

2.视频事件的检测，尤其是对视频中事件的定位在很多领域都有着广泛的运用，如安全监控、视频审核、野生动物监测等。视频事件定位模型需要大量人力在视频中标注事件，需要标注视频中事件的精确起始位置和终止位置，才能获得高质量的训练样本，从而训练高性能的视频事件定位模型。常用的视频事件标注方法是让人观看视频，然后标注出视频中事件的精确起始位置和终止位置。然而，这种标注方法十分费时。据调研显示，使用该方法标注一个视频需要花费5倍于该视频时长的时间。为此，需要一种有效的方法辅助人标注视频事件的精确起始位置和终止位置，提高标注效率。

技术实现要素：

3.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
4.根据本发明的一个方面，提出了一种用于对多个视频样本进行故事线布局可视化的方法，包括：多个视频样本，其中，所述多个视频样本的每个视频样本对应一个事件，所述多个视频样本对应同一事件类型，并且所述多个视频样本的每个视频样本包含多个帧；获得所述多个视频样本中任意两个视频样本的帧之间的对应关系；根据所述获得的任意两个视频样本的帧之间的对应关系，确定所述多个视频样本的帧在故事线的时间轴上的位置；以及对所述多个视频样本的帧进行可视化展示。
5.根据本发明的另一个方面，提出了一种用于对多个视频样本进行故事线布局可视化的系统，包括：一个或多个处理器；一个或多个存储装置，所述一个或多个存储装置存储有计算机代码指令，所述计算机代码指令由所述一个或多个处理器执行时，实现如上方面提出的用于视频事件定位模型的学习样本选择的方法。
6.根据本发明的另一个方面，提出了一种计算机可读存储介质，其上存储有计算机可读代码，当所述计算机可读代码被处理器执行时，执行如本发明的如上方面提出的用于视频事件定位模型的学习样本选择的方法。
7.根据本发明的又一个方面，提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本发明的如上方面提出的用于视频事件定位模型的学习样本选择的方法。
8.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
9.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得
明显和容易理解，其中：
10.图1示出了一个常用的视频事件标注软件示例；
11.图2示出了根据本发明的一个或多个实施例的同一事件类型的三个视频样本中对应的帧对齐摆放并进行可视化的示例；
12.图3示出了根据本发明的一个或多个实施例的一种用于对多个视频样本进行故事线布局可视化的方法的流程图；
13.图4示出了利用现有技术从视频得到的一个举重事件的多个帧的示例；
14.图5示出了根据本发明的一个或多个实施例的获得两个视频样本的帧之间的对应关系的一种实现方法的流程图；
15.图6a示出了根据本发明的一个或多个实施例的获得任意两个视频样本的第一视频包含的每个帧在任意两个视频样本的第二视频中的对应帧的示例；
16.图6b示出了根据本发明的一个或多个实施例的从第一视频和第二视频确定满足时序约束的最大对应关系集合的示例；
17.图6c示出了根据本发明的一个或多个实施例的确定两个举重视频样本的帧在故事线上的位置的示例；
18.图6d示出了根据本发明的一个或多个实施例的确定两个举重视频样本的帧在故事线上的位置的另一个示例；
19.图7示出了根据本发明的一个或多个实施例的图5的步骤530的一种实现方法的流程图；
20.图8示出了根据本发明的一个或多个实施例的图3的步骤330的一种实现方法的流程图；
21.图9示出了根据本发明的一个或多个实施例的获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本相似度的第一排序的示例；
22.图10示出了根据本发明的一个或多个实施例的图3的步骤330的另一种实现方法的流程图；
23.图11示出了根据本发明的一个或多个实施例的获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本相似度的第一排序的另一示例；以及
24.图12示出了根据本发明的一个或多个实施例的一种对多个视频样本进行故事线布局可视化系统的结构框图。
具体实施方式
25.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
26.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
27.如背景技术所述，视频事件的检测，尤其是对视频中事件的定位在很多领域都有着广泛的运用，如安全监控、视频审核、野生动物监测等。视频事件定位模型需要大量人力在视频中标注事件，需要标注视频中事件的精确起始位置和终止位置，才能获得高质量的训练样本，从而训练高性能的视频事件定位模型。常用的视频事件标注方法是让人观看视频，然后可以标注出视频中事件的精确起始位置和终止位置。图1示出了一个常用的视频事件标注软件示例，包括视频播放器110、播放的多帧120以及标注的结果页面130，其中帧102-104是对多帧120标注的结果140。例如，针对图1，标注者可以通过视频播放器110观看视频，在发现视频事件时，标注者控制视频播放器110暂停，暂停的位置就是视频103的位置。标注软件的标注系统显示播放的多帧120(包括帧101-105)。标注者手工标注帧102-104，在标注系统的标注结果页面130中，帧102-104对应标注结果140。
28.然而，这种标注方法十分费时。据调研显示，使用该方法标注一个视频需要花费5倍于该视频时长的时间。为此，需要一种有效的方法辅助人标注视频事件的精确起始位置和终止位置，提高标注效率。
29.本发明通过将同一事件类型的多个视频样本中对应的帧对齐摆放并进行可视化，让标注者可以一次标注多个事件的起始位置和终止位置，从而提高标注效率。图2示出了根据本发明的一个或多个实施例的同一事件类型(事件类型为举重事件类型)的三个视频样本210-230中对应的帧对齐摆放并进行可视化的示例。通过本发明的方法，可以可视化地对三个视频样本210-230中对应的帧进行对齐摆放，这样标注者可以确定位置240-260对应的帧对应这三个视频事件的起始位置和终止位置。位置240-260前后的帧属于举重的预备动作和结束动作，在我们的定义中不属于举重事件，因此标注者可以在可视化系统中将帧201-203在最后的标注结果中去除。这样，标注者就可以一次性标注3个视频事件的起始位置和终止位置，提高了标注效率。
30.图3示出了根据本发明的一个或多个实施例的一种用于对多个视频样本进行故事线布局可视化的方法300的流程图。根据图3，在步骤310，可以接收多个视频样本，其中，多个视频样本的每个视频样本对应一个事件，多个视频样本对应同一事件类型，并且多个视频样本的每个视频样本包含多个帧。例如，接收图2所示的视频样本210-230，视频样本210-230分别对应一个事件类型为举重的事件，视频样本210-230的每个视频样本都包含多个帧。
31.每个视频样本的获得可以采用多种方法。例如，可以人工进行粗略标注。在一种实施方式中，每个视频样本对应的多个帧可以利用现有技术训练的视频事件定位模型得到，现有技术方法可以是sfnet方法或soda方法等等。现有方法得到的视频事件对应的多个帧可能是不精确的。图4示出了利用现有技术从视频410-450得到的一个举重事件的多个帧420-450的示例。在一种现有技术方法中，可以首先利用已经训练好的视频事件定位模型获得视频中每个帧属于事件的置信度。然后将置信度高于第一阈值的多个帧组成的连续帧作为学习样本。例如，在图4中，通过已经训练好的视频事件定位模型获得帧410-450属于该举重事件的置信度分别为0.5，0.8，0.9，0.8，0.8。假设第一阈值设为0.7。则置信度高于阈值的帧的连续帧为帧420-450。这4帧组成的视频为该举重事件对应的视频样本。
32.回到图3，在步骤320，可以获得多个视频样本中任意两个视频样本的帧之间的对应关系。获得两个视频样本的帧之间的对应关系可以采用多种方法，例如lamv方法。在一种
实施方式中，图5示出了根据本发明的一个或多个实施例的获得两个视频样本的帧之间的对应关系的一种实现方法500的流程图。根据图5，在步骤510，可以获得任意两个视频样本的第一视频包含的每个帧在任意两个视频样本的第二视频中的对应帧，所述对应帧为零个、一个或多个帧。在一个实施例中，一种获得方法可以是先计算第一视频中的每一帧和第二视频中的每一帧之间的帧相似度，然后根据计算的帧之间的帧相似度，获得第一视频包含的每个帧在第二视频中帧相似度大于第二阈值(称为预设阈值)的对应帧，该对应帧为零个、一个或多个帧。帧之间的帧相似度可以使用常用的任何相似度度量方法获得。在一种实施方式中，可以使用余弦相似度度量。在另外一种实施方式中，还可以使用jaccard相关系数度量。图6a示出了根据本发明的一个或多个实施例的获得任意两个视频样本的第一视频包含的每个帧在任意两个视频样本的第二视频中的对应帧的示例，其中，第一视频包含帧610-640，第二视频包含帧650-670。根据图6a，假设预设阈值为0.8，帧610和帧650-670之间的帧相似度分别为0.7，0.9，0.91，其中0.9和0.91大于0.8，也就是说帧610在第二视频中的对应帧为帧660和670，对应帧为两个。帧630和帧650-670之间的帧相似度分别为0.5，0.6，0.92，其中0.92大于0.8，也就是说帧630在第二视频中的对应帧为帧670，对应帧为一个。帧640和帧650-670之间的帧相似度分别为0.2，0.1，0.3，均小于0.8，也就是说帧630在第二视频中的对应帧为零个。
33.在步骤520，可以通过将第一视频中的一个帧与其在第二视频中的一个对应帧表示为一个对应关系，记录第一视频中的帧与第二视频中的帧的全部对应关系集合，其中，全部对应关系集合的每个元素为一个对应关系。例如，图6a还示出了用连线表示的对应关系。第一视频中的帧610-640与第二视频中的帧650-670的全部对应关系集合为{对应关系1，对应关系2，对应关系3，对应关系4}。其中每个对应关系包含第一视频中的一帧和第二视频中的一帧。例如，图6a中对应关系1包含第一视频的帧610和第二视频的帧660。
34.在步骤530，可以选择全部对应关系集合中满足时序约束的最大对应关系集合，其中，最大对应关系集合为全部对应关系集合的子集，最大对应关系集合中的对应关系为第一视频和第二视频之间的对应关系。其中时序约束要求任意第一视频中的具有前后时序关系的两帧在第二视频中的对应帧也具有前后时序关系。例如，图6a中，对应关系2包含第一视频的帧620和第二视频的帧660，对应关系4包含第一视频的帧630和第二视频的帧670，帧620不晚于帧630且帧660不晚于帧670，因此对应关系2和对应关系4满足时序约束。另外，对应关系2包含第一视频的帧620和第二视频的帧660，对应关系3包含第一视频的帧610和第二视频的帧670，帧660不晚于帧670，但是帧620晚于帧610，因此对应关系2和对应关系3不满足时序约束。
35.在一种实施方式中，图7示出了根据本发明的一个或多个实施例的图5的步骤530的一种实现方法700的流程图。根据图7，在步骤710，可以记录全部对应关系集合中的任意两个不满足时序约束的对应关系。例如在图6a中，不满足时序约束的对应关系是对应关系2和对应关系3，实际上就是图6a中线有交叉的对应关系。
36.在步骤720，可以得到全部对应关系集合的所有子集。例如，在图6a中，一共有15个子集。15个子集中单个子集包含元素数量最少为1个，最多为4个。
37.在步骤730，可以从所有子集中选择最大对应关系集合，其中，最大对应关系集合包含最大数量的对应关系并且不包含记录的任意两个不满足时序约束的对应关系。在15个
子集中，包含4个元素的子集{对应关系1，对应关系2，对应关系3，对应关系4}中包含不满足时序约束的对应关系2和3，因此，包含4个元素的子集不是上述最大对应关系集合。包含3个元素的子集有{对应关系2，对应关系3，对应关系4}，{对应关系1，对应关系3，对应关系4}，{对应关系1，对应关系2，对应关系4}，{对应关系1，对应关系2，对应关系3}。其中{对应关系2，对应关系3，对应关系4}和{对应关系1，对应关系2，对应关系3}包含不满足时序约束的对应关系2和3，因此不是上述最大对应关系集合。这样，上述最大对应关系集合可以是{对应关系1，对应关系3，对应关系4}或{对应关系1，对应关系2，对应关系4}。二者可以任选其一，作为后续使用的最大对应关系集合。
38.在上述例子中，全部对应关系集合包含的对应关系比较少。在实际的例子中，全部对应关系集合包含的对应关系会比较多，不满足时序约束的对应关系也比较多，枚举和搜索都较为困难。在一种实施方式中，从全部对应关系集合的所有子集中选择最大对应关系集合可以使用最长路径算法。本领域技术人员可以知道，从全部对应关系集合的所有子集中选择最大对应关系集合也可以使用其他方法来进行，例如搜索剪枝法、深度优先搜索方法等等。这些方法能够大大减少搜索空间，从而减少计算量。两个视频样本的帧之间的最大对应关系集合中包含的对应关系就是两个视频样本的帧之间的对应关系。例如，图6b示出了根据本发明的一个或多个实施例的从第一视频和第二视频确定满足时序约束的最大对应关系集合的示例。在图6b中，最大对应关系集合为{对应关系1，对应关系2，对应关系4}，这两个视频的帧之间的对应关系的数量为3。
39.回到图3，在步骤330，可以根据获得的任意两个视频样本的帧之间的对应关系，确定多个视频样本的帧在故事线的时间轴上的位置。在一种实施方式中，根据获得的多个视频样本中任意两个视频样本的帧之间的对应关系，确定任意两个视频样本之间的样本第一相似度。两个视频样本之间的样本第一相似度可以为两个视频样本的帧之间的对应关系的数量。例如，在图6b中，两个视频样本之间的样本第一相似度为3。在另一种实施方式中，两个视频样本之间的样本第一相似度可以为两个视频样本的帧之间的对应关系的帧相似度之和。例如，在图6b中，其中帧610和660之间的帧相似度为0.9，帧630和670之间的帧相似度为0.8，帧620和660之间的帧相似度为0.85，两个视频样本之间的样本第一相似度为0.9+0.8+0.85＝2.55。
40.在一种实施方式中，图8示出了根据本发明的一个或多个实施例的图3的步骤330的一种实现方法800的流程图。根据图8，在步骤810，可以对多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧在故事线上的位置的确定。第一视频样本和第二视频样本的帧在故事线上的位置可以通过最小化未被放置在同一故事线上位置的对应帧的数量来实现。图6c示出了根据本发明的一个或多个实施例的确定两个举重视频样本的帧在故事线上的位置的示例。其中对应帧610和660未放置在同一故事线上位置，对应帧620和660放置在同一故事线上位置，对应帧630和670放置在同一故事线上位置，未被放置在同一故事线上位置的对应帧的数量为1，是数量最少的一个结果。图6d示出了根据本发明的一个或多个实施例的确定两个举重视频样本的帧在故事线上的位置的另一个示例。其中对应帧620和660未放置在同一故事线上位置，对应帧610和660放置在同一故事线上位置，对应帧630和670放置在同一故事线上位置，未被放置在同一故事线上位置的对应帧的数量为1，也是数量最少的一个结果。所以图6c和图6d都是两个举重视频样本的帧在故事线上的
位置的结果，可以在图6c和图6d所示的两个举重视频样本的帧在故事线上的位置的结果中任选一个。
41.在步骤820，可以获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本第二相似度以及样本第二相似度的第一排序。其中未确定帧在故事线上的位置的视频样本中每个视频样本与第一视频样本和第二视频样本之间的样本第二相似度可以为每个视频样本和第一视频样本和第二视频样本之间样本第一相似度之和。图9示出了根据本发明的一个或多个实施例的获得未确定帧在故事线上的位置的视频样本930-940与第一视频样本910和第二视频样本920之间的样本相似度的第一排序的示例。第一视频样本910包含帧911-914，第二视频样本920包含帧921-924，视频样本930包含帧931-933，视频样本940包含帧941-943。视频样本930与第一视频样本910之间的样本相似度为2，也就是视频样本930和第一视频样本910之间的虚线个数，与第二视频样本920之间的样本相似度为1，因此其与第一视频样本910和第二视频样本920之间的样本相似度为3。视频样本940与第一视频样本910之间的样本相似度为3，与第二视频样本920之间的样本相似度为1，因此其与第一视频样本910和第二视频样本920之间的样本相似度为4。因此在第一排序中视频样本940排第一，视频样本930排第二。
42.在步骤830，可以根据第一排序以及所述获得的任意两个视频样本的帧之间的对应关系，依次对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本进行帧在故事线上的位置的确定。例如，在图9中，在第一排序中视频样本940排第一，视频样本930排第二，需要先确定视频样本940的帧在故事线上的位置，再确定视频样本930的帧在故事线上的位置。对于确定视频样本940的帧在故事线上的位置，要根据未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本与第一视频样本和第二视频样本的帧之间的对应关系以及第一视频样本和第二视频样本的帧在故事线上的位置，确定未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本的帧在故事线上的位置。具体来说，在图9中，先确定第一视频样本910和第二视频样本920的帧在故事线上的位置，然后将第一视频样本910和第二视频样本920作为一个整体视频样本950。视频样本950包含帧951-954，其中每一帧都是第一视频样本910和第二视频样本920中在故事线上对应位置的帧的集合。例如，帧951是帧911和921的集合，帧952是帧912和922的集合，帧953是帧913和923的集合，帧954是帧914和924的集合。视频样本930-940的帧和视频样本950的帧之间的对应关系可以通过聚合视频样本930-940的帧和视频样本910-920得到。例如，视频样本930的帧931和视频样本950的帧952是对应的，因为视频样本930的帧931和视频样本910的帧912是对应的。视频样本930的帧933和视频样本950的帧954是不对应的，因为视频样本930的帧933和视频样本910的帧914是不对应的，而且视频样本930的帧933和视频样本920的帧924是不对应的。根据第一视频样本910和第二视频样本920的帧在故事线上的位置，确定视频样本940的帧在故事线上的位置可以利用和图8的步骤810一样的方法，根据视频样本950在故事线上的位置，确定视频样本940的帧在故事线上的位置。
43.在另一种实施方式中，图10示出了根据本发明的一个或多个实施例的图3的步骤330的另一种实现方法1000的流程图。根据图10，在步骤1010，可以对多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧在故事线上的位置的确定。该步骤与图8的步骤810是一样的。
44.在步骤1020，可以获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本第二相似度以及样本第二相似度的第一排序。步骤1020与图8的步骤820是一样的。图11示出了根据本发明的一个或多个实施例的获得未确定帧在故事线上的位置的视频样本1130-1140与第一视频样本1110和第二视频样本1120之间的样本相似度的第一排序的示例。利用和图8的步骤820一样的方法，得到第一排序中视频样本1140排第一，视频样本1130排第二。
45.在步骤1030，可以根据样本第二相似度的第一排序以及获得的任意两个视频样本的帧之间的对应关系，对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的第三视频样本进行帧在故事线上的位置的确定。步骤1030和步骤830是一样的，就可以得到第一视频样本1110、第二视频样本1120和视频样本1140的帧在故事线上的位置1101。
46.在步骤1040，可以获得未确定帧在故事线上的位置的视频样本与第一视频样本、第二视频样本和第三视频样本之间的样本第三相似度以及样本第三相似度的第二排序。步骤1040和步骤820是类似的，步骤820是获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本相似度，步骤1040是获得未确定帧在故事线上的位置的视频样本与第一视频样本、第二视频样本和第三视频样本之间的样本相似度，使用方法是一样的。在图11中，得到视频样本1130在第二排序中排序第一。
47.在步骤1050，可以根据第二排序以及获得的任意两个视频样本的帧之间的对应关系，对未确定帧在故事线上的位置的视频样本中样本第三相似度最大的第四视频样本进行帧在故事线的时间轴上的位置的确定。如果还有更多的视频，可以利用上述的方法迭代处理，获得视频的样本第四相似度、视频的样本第五相似度，等等。步骤1050和步骤830是类似的。实现中，根据第四视频样本与第一视频样本、第二视频样本和第三视频样本的帧之间的对应关系以及第一视频样本、第二视频样本和第三视频样本的帧在故事线上的位置，确定第四视频样本的帧在故事线上的位置。步骤830是将第一视频样本和第二视频样本作为一个整体，确定未确定帧在故事线上的位置的视频样本的帧在故事线上的位置，步骤1050是将第一视频样本、第二视频样本和第三视频样本作为一个整体，确定未确定帧在故事线上的位置的视频样本的帧在故事线上的位置，使用方法是一样的。例如，在图11中，可以进一步获得视频样本1130的帧在故事线上的位置1102。
48.在一种实施方式中，图3的方法300的步骤340可以对多个视频样本的帧进行可视化展示可以在可视化展示的xy平面中进行展示。一种实施方式中，可以按照多个视频样本中视频之间的视频第一、第二相似度依次排列多个视频。例如，在图2中，视频样本210和视频样本220之间的样本第一相似度是最高的，因此将视频样本210和视频样本220放在最上方(或最下方)。然后再将视频样本230排在下方(或上方)。在图9中，根据视频第一相似度将视频样本910和视频样本920排完后，根据视频第二相似度依次排视频样本940和视频样本930。
49.然后在可视化展示的xy平面中，可以将时间轴作为x轴，根据多个视频样本的帧在故事线上的位置确定其在x轴上的位置，就可以得到图2所示的可视化展示的xy平面中多个视频样本故事线布局可视化结果。这样，标注者可以在可视化系统中将帧201-203在最后的标注结果中去除。这样，就可以一次性标注3个视频事件的起始位置和终止位置，提高了标注效率。
50.在一种实施方式中，图12示出了根据本发明的一个或多个实施例的一种对多个视频样本进行故事线布局可视化系统1200的结构框图。根据图12，对多个视频样本进行故事线布局可视化系统1200包括接收模块1210、获得模块1220、确定模块1230和可视化模块1240。其中，接收模块1210被配置为接收多个视频样本1201，其中，多个视频样本的每个视频样本对应一个事件，多个视频样本对应同一事件类型，并且多个视频样本的每个视频样本包含多个帧。获得模块1220被配置为获得多个视频样本中任意两个视频样本的帧之间的对应关系。确定模块1230被配置为根据获得的任意两个视频样本的帧之间的对应关系，确定多个视频样本的帧在故事线的时间轴上的位置。可视化模块1240被配置为对多个视频样本的帧进行可视化展示。
51.在一种实施方式中，确定模块1230被进一步配置为根据获得的多个视频样本中任意两个视频样本的帧之间的对应关系，确定任意两个视频样本之间的样本第一相似度。
52.在一种实施方式中，确定模块1230被进一步配置为对多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧在故事线上的位置的确定；获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本第二相似度以及样本第二相似度的第一排序；以及根据第一排序以及获得的任意两个视频样本的帧之间的对应关系，依次对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本进行帧在故事线上的位置的确定。在一种实施方式中，确定模块1230被进一步配置为根据未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本与第一视频样本和第二视频样本的帧之间的对应关系以及第一视频样本和第二视频样本的帧在故事线上的位置，对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本进行帧在故事线上的位置的确定。
53.在一种实施方式中，确定模块1230被进一步配置为对多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧在故事线上的位置的确定；获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本第二相似度以及样本第二相似度的第一排序；根据第一排序以及获得的任意两个视频样本的帧之间的对应关系，对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的第三视频样本进行帧在故事线上的位置的确定；获得未确定帧在故事线上的位置的视频样本与第一视频样本、第二视频样本和第三视频样本之间的样本第三相似度以及样本第三相似度的第二排序；以及根据第二排序以及获得的任意两个视频样本的帧之间的对应关系，对未确定帧在故事线上的位置的视频样本中样本第三相似度最大的第四视频样本进行帧在故事线的时间轴上的位置的确定。在一种实施方式中，确定模块1230被进一步配置为根据第四视频样本与第一视频样本、第二视频样本和第三视频样本的帧之间的对应关系以及第一视频样本、第二视频样本和第三视频样本的帧在故事线上的位置，对第四视频样本进行帧在故事线上的位置的确定。
54.在一种实施方式中，可视化模块1240被进一步配置为在可视化展示的xy平面中，在y轴上，按照多个视频样本中视频之间的第一、第二视频相似度依次排列多个视频。在一种实施方式中，可视化模块1240被进一步配置为在可视化展示的xy平面中，将时间轴作为x轴，根据多个视频样本的帧在故事线上的位置确定其在x轴上的位置。
55.在一种实施方式中，获得模块1220被进一步配置为获得任意两个视频样本的第一
视频包含的每个帧在任意两个视频样本的第二视频中的对应帧，对应帧为零个、一个或多个帧；通过将第一视频中的一个帧与其在第二视频中的一个对应帧表示为一个对应关系，记录第一视频中的帧与第二视频中的帧的全部对应关系集合，其中，全部对应关系集合的每个元素为一个对应关系；以及选择全部对应关系集合中满足时序约束的最大对应关系集合，其中，最大对应关系集合为全部对应关系集合的子集，最大对应关系集合中的对应关系为第一视频和第二视频之间的对应关系。
56.在一种实施方式中，获得任意两个视频样本的第一视频包含的每个帧在任意两个视频样本的第二视频中的对应帧，对应帧为零个、一个或多个帧包括计算第一视频中的每一帧和第二视频中的每一帧之间的帧相似度；以及根据计算的帧之间的帧相似度，获得第一视频包含的每个帧在第二视频中帧相似度大于预设阈值的对应帧，对应帧为零个、一个或多个帧。其中时序约束要求任意第一视频中的具有前后时序关系的两帧在第二视频中的对应帧也具有前后时序关系。
57.在一种实施方式中，其中选择全部对应关系集合中满足时序约束的最大对应关系集合，最大对应关系集为全部对应关系集合的子集包括记录全部对应关系集合中的任意两个不满足时序约束的对应关系；得到全部对应关系集合的所有子集；以及从所有子集中选择最大对应关系集合，其中，最大对应关系集合包含最大数量的对应关系并且不包含记录的任意两个不满足时序约束的对应关系。
58.本发明可以是系统、方法和/或计算机可读存储介质。计算机可读存储介质上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。本发明的方法可以在独立的计算机系统上执行，也可以在分布式计算系统上执行，甚至可以在云平台上执行。
59.这里参照根据本发明实施例的方法、装置(系统)和计算机可读存储介质的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
60.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机可读存储介质的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
61.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

技术特征：

1.一种用于对多个视频样本进行故事线布局可视化的方法，包括：接收多个视频样本，其中，所述多个视频样本的每个视频样本对应一个事件，所述多个视频样本对应同一事件类型，并且所述多个视频样本的每个视频样本包含多个帧；获得所述多个视频样本中任意两个视频样本的帧之间的对应关系；根据所述获得的任意两个视频样本的帧之间的对应关系，确定所述多个视频样本的帧在故事线的时间轴上的位置；以及对所述多个视频样本的帧进行可视化展示。2.根据权利要求1所述的方法，其中，所述根据所述获得的任意两个视频样本的帧之间的对应关系，确定所述多个视频样本的帧在故事线的时间轴上的位置包括：根据获得的所述多个视频样本中任意两个视频样本的帧之间的对应关系，确定任意两个视频样本之间的样本第一相似度。3.根据权利要求2所述的方法，其中，所述根据所述获得的任意两个视频样本的帧之间的对应关系，确定所述多个视频样本的帧在故事线的时间轴上的位置包括：对所述多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧在故事线上的位置的确定；获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本第二相似度以及样本第二相似度的第一排序；以及根据所述第一排序以及所述获得的任意两个视频样本的帧之间的对应关系，依次对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本进行帧在故事线上的位置的确定。4.根据权利要求3所述的方法，其中所述对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本进行帧在故事线上的位置的确定包括：根据未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本与第一视频样本和第二视频样本的帧之间的对应关系以及第一视频样本和第二视频样本的帧在故事线上的位置，对所述未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本进行帧在故事线上的位置的确定。5.根据权利要求2所述的方法，其中，所述根据所述获得的任意两个视频样本的帧之间的对应关系，对所述多个视频样本进行帧在故事线的时间轴上的位置的确定包括：对所述多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧在故事线上的位置的确定；获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的样本第二相似度以及样本第二相似度的第一排序；根据所述第一排序以及所述获得的任意两个视频样本的帧之间的对应关系，对未确定帧在故事线上的位置的视频样本中样本第二相似度最大的第三视频样本进行帧在故事线上的位置的确定；获得未确定帧在故事线上的位置的视频样本与第一视频样本、第二视频样本和第三视频样本之间的样本第三相似度以及样本第三相似度的第二排序；以及根据所述第二排序以及所述获得的任意两个视频样本的帧之间的对应关系，对未确定帧在故事线上的位置的视频样本中样本第三相似度最大的第四视频样本进行帧在故事线
的时间轴上的位置的确定。6.根据权利要求5所述的方法，其中对所述第四视频样本进行帧在故事线上的位置的确定包括：根据所述第四视频样本与第一视频样本、第二视频样本和第三视频样本的帧之间的对应关系以及第一视频样本、第二视频样本和第三视频样本的帧在故事线上的位置，对所述第四视频样本进行帧在故事线上的位置的确定。7.根据权利要求3-6之一所述的方法，其中对所述多个视频样本的帧进行可视化展示包括：在可视化展示的xy平面中，在y轴上，按照所述多个视频样本中视频之间的视频第一、第二相似度依次排列所述多个视频。8.根据权利要求7所述的方法，其中还包括：在所述可视化展示的xy平面中，将时间轴作为x轴，根据所述多个视频样本的帧在故事线上的位置确定其在x轴上的位置。9.根据权利要求1-7之一所述的方法，其中，获得所述多个视频样本中任意两个视频样本的帧之间的对应关系包括：获得所述任意两个视频样本的第一视频包含的每个帧在所述任意两个视频样本的第二视频中的对应帧，所述对应帧为零个、一个或多个帧；通过将所述第一视频中的一个帧与其在所述第二视频中的一个对应帧表示为一个对应关系，记录所述第一视频中的帧与所述第二视频中的帧的全部对应关系集合，其中，所述全部对应关系集合的每个元素为一个对应关系；以及选择所述全部对应关系集合中满足时序约束的最大对应关系集合，其中，所述最大对应关系集合为所述全部对应关系集合的子集，所述最大对应关系集合中的对应关系为所述第一视频和所述第二视频之间的对应关系。10.根据权利要求9所述的方法，其中获得所述任意两个视频样本的第一视频包含的每个帧在所述任意两个视频样本的第二视频中的对应帧，所述对应帧为零个、一个或多个帧包括：计算所述第一视频中的每一帧和所述第二视频中的每一帧之间的帧相似度；以及根据计算的帧之间的帧相似度，获得所述第一视频包含的每个帧在所述第二视频中帧相似度大于预设阈值的对应帧，所述对应帧为零个、一个或多个帧。11.根据权利要求10所述方法，其中所述时序约束要求任意第一视频中的具有前后时序关系的两帧在第二视频中的对应帧也具有前后时序关系。12.根据权利要求11所述方法，其中所述选择所述全部对应关系集合中满足时序约束的最大对应关系集合，所述最大对应关系集为所述全部对应关系集合的子集包括：记录所述全部对应关系集合中的任意两个不满足时序约束的对应关系；得到所述全部对应关系集合的所有子集；以及从所述所有子集中选择所述最大对应关系集合，其中，所述最大对应关系集合包含最大数量的对应关系并且不包含记录的任意两个不满足时序约束的对应关系。13.一种用于对多个样本进行网格布局可视化的计算机可读存储介质，所述计算机可读存储介质具有存储其中的程序指令，所述程序指令可由计算设备执行以使得计算设备执
行如权利要求1-12中任意一项所述的方法。14.一种用于对多个样本进行网格布局可视化的系统，包括：存储器；以及至少一个处理器，可操作地耦合到存储器并配置用于执行如权利要求1-12中任意一项所述的方法。15.一种用于对多个样本进行网格布局可视化的计算机系统，所述系统包括分别用于执行权利要求1-12中任一项的方法的各个步骤的模块。

技术总结

本发明公开了用于对多个视频样本进行故事线布局可视化的方法和系统，该方法包括接收多个视频样本，其中，多个视频样本的每个视频样本对应一个事件，多个视频样本对应同一事件类型，并且多个视频样本的每个视频样本包含多个帧；获得多个视频样本中任意两个视频样本的帧之间的对应关系；根据获得的任意两个视频样本的帧之间的对应关系，确定多个视频样本的帧在故事线的时间轴上的位置；以及对多个视频样本的帧进行可视化展示。本发明的方法可以对多个视频样本提高标注效率。个视频样本提高标注效率。个视频样本提高标注效率。