基于视频控制的视频融合方法、电子设备及存储介质与流程

1.本发明实施例涉及计算机技术领域，具体涉及一种基于视频控制的视频融合方法、电子设备及存储介质。

背景技术：

2.与图片相比，视频包含了更加丰富的信息，通过视频可以看到被拍摄空间的发展变化。现有技术中的视频控制，大多只是针对单个视频，比如控制单个视频的播放、暂停、进度改变等。
3.视频融合算法通过将视频和三维空间模型融合，以提供更直观的视频体验以及更真实的3d交互感受。现有的视频融合算法也只是涉及单个视频和对应的三维空间模型的融合。

技术实现要素：

4.针对现有技术存在的缺陷，本发明实施例提供一种基于视频控制的视频融合方法、电子设备及存储介质。
5.本发明实施例提供一种基于视频控制的视频融合方法，包括：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到；根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对象。
6.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应，包括：响应于接收到用于控制所述目标空间的视频融合对象的视频播放控制指令，分别调用所述多个视频对象的播放方法，控制所述多个视频对象进行播放，将视频控制状态置为控制播放状态；响应于接收到用于控制所述目标空间的视频融合对象的视频暂停播放控制指令，分别调用所述多个视频对象的暂停播放方法，控制所述多个视频对象暂停播放，将所述视频控制状态置为控制暂停播放状态。
7.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应，还包括：响应于接收到用于控制所述目标空间的视频融合对象的视频播放进度改变控制指令，根据所述视频播放进度改变控制指令获取目标播放时间；控制所述多个视频对象抛出播放时间更新事件并根据所述目标播放时间进行播放。
8.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述方法还包括：响应于监听到所述多个视频对象中预设视频对象的所述播放时间更新事件，根据所述播放
时间更新事件获取当前播放时间；根据所述当前播放时间计算并更新进度条的播放进度指示位置。
9.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述方法还包括：响应于监听到任一视频对象卡顿后抛出的等待事件，将所述任一视频对象的视频状态置为等待状态；将所述多个视频对象中处于播放状态的视频对象的视频状态置为暂停状态，并暂停播放；响应于所述视频控制状态为所述控制播放状态，在视频播放界面显示视频加载提示信息。
10.根据本发明实施例提供的一种基于视频控制的视频融合方法，在所述响应于监听到任一视频对象卡顿后抛出的等待事件之后，所述方法还包括：监听所述任一视频对象的所述播放时间更新事件；响应于监听到所述任一视频对象的所述播放时间更新事件，移除对于所述任一视频对象的所述播放时间更新事件的监听，判断是否有其他视频对象的视频状态为等待状态；响应于存在其他视频对象的视频状态为等待状态，将所述任一视频对象的视频状态置为暂停状态并暂停播放；响应于不存在其他视频对象的视频状态为等待状态，判断所述视频控制状态是否为所述控制播放状态；若是，将所述多个视频对象的视频状态置为播放状态，隐藏所述视频加载提示信息并开始播放；若否，将所述多个视频对象的状态置为播放状态，隐藏所述视频加载提示信息，但不开始播放。
11.根据本发明实施例提供的一种基于视频控制的视频融合方法，在监听到所述任一视频对象的所述播放时间更新事件之后、所述判断是否有其他视频对象的视频状态为等待状态之前，所述方法还包括：将所述任一视频对象的视频状态置为临时状态。
12.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述方法还包括：隐藏用于播放所述视频对象的视频播放器的进度条和边界框。
13.本发明实施例还提供一种基于视频控制的视频融合装置，包括：视频对象控制模块，用于：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到；视频融合模块，用于：根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对象。
14.本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于视频控制的视频融合方法的步骤。
15.本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于视频控制的视频融合方法的步骤。
16.本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于视频控制的视频融合方法的步骤。
17.本发明实施例提供的基于视频控制的视频融合方法、电子设备及存储介质，通过响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据视频控制指令控制
基于目标空间中的各个分间拍摄的多个视频对象进行统一响应，根据播放进度，将视频对象中的视频图像贴合到对应分间的三维空间模型上，得到目标空间的视频融合对象，实现了多视频统一控制的视频融合。
附图说明
18.为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明实施例提供的基于视频控制的视频融合方法的流程图；
20.图2是本发明实施例提供的基于视频控制的视频融合方法中多视频统一控制的流程示意图之一；
21.图3是本发明实施例提供的基于视频控制的视频融合方法中多视频控制的流程示意图之二；
22.图4是本发明实施例提供的基于视频控制的视频融合方法中多视频控制的流程示意图之三；
23.图5是本发明实施例提供的基于视频控制的视频融合装置的结构示意图；
24.图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
25.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.图1是本发明实施例提供的基于视频控制的视频融合方法的流程图。如图1所示，所述方法包括：
27.步骤s1、响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到。
28.在家装等场景，可以分别在目标空间的不同分间拍摄视频，如利用鱼眼摄像头拍摄视频，然后将拍摄到的视频中的视频图像贴合到相应分间的三维空间模型上，实现视频融合，从而可以实现更直观的视频体验和更真实的3d交互感受。视频融合时，需要将多个视频同时融入三维场景各个分间进行显示。视频融合可以随着视频播放的过程进行。用户观看目标空间如某个房源的视频融合对象时，对于各个分间的视频内容需要保证是在同一时间点，因此需要对多个视频进行统一控制。
29.本发明实施例提供的基于视频控制的视频融合方法，提供一种对于多视频对象进行统一控制的方法，可以用于web端多视频对象统一控制。其中，多个视频对象是基于目标空间中的各个分间拍摄的，视频对象可以理解为用于播放的视频流，可以是原始拍摄的视频，也可以是经过处理后得到的视频，如对原始拍摄的视频抽帧后得到的视频。
30.控制目标空间的视频融合对象的视频控制指令实质上是用于控制形成视频融合对象的多个视频。可以设置用于控制多个视频对象的视频控制指令的触发方式，如设置用于控制多个视频对象的操作界面，这个操作界面可以设置在前端展示界面的预设位置。在用于控制多个视频对象的操作界面中，可以设置操作按钮，以触发用于控制多个视频对象的视频控制指令。当然，本发明实施例并不限于只是采用操作界面来触发视频控制指令，比如还可以是通过自动化软件流程触发。
31.若接收到用于控制目标空间的视频融合对象的视频控制指令，根据视频控制指令控制多个视频对象进行统一响应，也即视频控制指令控制的对象是多个视频，多个视频对象分别与目标空间的分间对应，视频对象和对应分间的三维空间模型形成该分间的视频融合对象。视频控制指令控制的多个视频可以预先根据视频链接数据(视频地址)设置好。
32.步骤s2、根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对象。
33.各个视频对象分别利用视频播放器进行播放，并与对应分间的三维空间模型融合显示。视频融合的具体方法可以是：根据播放进度，分别将多个视频对象中的视频图像贴合到对应分间的三维空间模型上，得到目标空间的视频融合对象。可以根据摄像头的外参数据、内参数据及深度图数据将视频对象中的视频图像贴合到对应分间的三维空间模型上。根据播放进度，边播放边进行视频融合，实现在三维空间模型中观看视频。并且，由于视频控制指令实现了对于多个视频的统一控制，这样多个视频可以实现播放的画面基于同一时间点。
34.视频控制指令有可能会改变播放进度，或也可能不改变播放进度。在接收到视频控制指令后，判断播放进度是否改变。若播放进度改变，则根据新的播放进度分别将多个视频对象中的视频图像贴合到对应分间的三维空间模型上，更新目标空间的视频融合对象。
35.用户在观察目标空间时，根据目标空间的三维空间模型(包括各个分间的三维空间模型)的展示情况，可以观看所有分间或个别分间的视频对象和对应分间的三维空间模型的视频融合对象。目标空间的三维空间模型在展示上可以保留原有功能，比如从一个点位漫游到另一个点位，从一个分间切换到另一个分间。对于未展示的分间或分间部分信息，对应的视频画面仍然处于统一控制下，只是未在前端进行展示而已。
36.本发明实施例提供的基于视频控制的视频融合方法，通过响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据视频控制指令控制基于目标空间中的各个分间拍摄的多个视频对象进行统一响应，根据播放进度，将视频对象中的视频图像贴合到对应分间的三维空间模型上，得到目标空间的视频融合对象，实现了多视频统一控制的视频融合。
37.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应，包括：响应于接收到用于控制所述目标空间的视频融合对象的视频播放控制指令，分别调用所述多个视频对象的播放方法，控制所述多个视频对象进行播放，将视频控制状态置为控制播放状态；响应于接收到用于控制所述目标空间的视频融合对象的视频暂停播放控制指令，分别调用所述多个视频对象的暂停播放方法，控制所述多个视频
对象暂停播放，将所述视频控制状态置为控制暂停播放状态。
38.视频控制指令包括用于控制多视频对象进行统一播放、暂停播放的指令。
39.若接收到用于控制目标空间的视频融合对象的视频播放控制指令，分别调用用于控制各个分间的视频对象播放的播放方法，分别控制相应分间的视频对象进行播放，并将视频控制状态置为控制播放状态。视频控制状态表示对于多个视频的控制状态。控制播放状态表示控制多个视频进行播放的状态。视频播放控制指令可以是由第一触发操作触发的，比如设置播放/暂停按钮，在按钮为暂停的状态下点击时则触发用于控制多视频播放的视频播放控制指令。
40.若接收到用于控制目标空间的视频融合对象的视频暂停播放控制指令，分别调用用于控制各个分间的视频对象的暂停播放方法，分别控制相应分间的视频对象暂停播放，将视频控制状态置为控制暂停播放状态。控制暂停播放状态表示控制多个视频暂停播放的状态。视频暂停播放控制指令可以是由第二触发操作触发的，比如设置播放/暂停按钮，在按钮为播放的状态下点击时则触发用于控制多视频暂停播放的视频暂停播放控制指令。
41.视频播放控制指令和视频暂停播放控制指令可以由用户触发，可以通过一个变量标识用户操作，同时标识视频控制状态。如采用变量useraction标识用户操作，比如当useraction＝play时，表示视频控制状态为控制多视频进行播放的状态；当useraction＝pause时，表示视频控制状态为控制多视频暂停播放的状态。视频控制状态的初始状态可以设置为pause。
42.本发明实施例提供的基于视频控制的视频融合方法，通过响应于接收到用于控制目标空间的视频融合对象的视频播放控制指令，分别调用多个视频对象的播放方法，控制多个视频对象进行播放，将视频控制状态置为控制播放状态，响应于接收到用于控制目标空间的视频融合对象的视频暂停播放控制指令，分别调用多个视频对象的暂停播放方法，控制多个视频对象暂停播放，将视频控制状态置为控制暂停播放状态，实现了播放/暂停的多视频统一控制。
43.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应，还包括：响应于接收到用于控制所述目标空间的视频融合对象的视频播放进度改变控制指令，根据所述视频播放进度改变控制指令获取目标播放时间；控制所述多个视频对象抛出播放时间更新事件并根据所述目标播放时间进行播放。
44.视频控制指令还包括用于控制多个视频对象改变播放进度的指令。
45.若接收到用于控制目标空间的视频融合对象的视频播放进度改变控制指令，根据视频播放进度改变控制指令获取目标播放时间。目标播放时间为待调整到的播放时间。视频播放进度改变控制指令可以是由第三触发操作触发的，比如进度条拖动的操作、进度条点击的操作等。此时，可以根据视频播放进度改变控制指令获得目标播放时间。比如根据进度条的点击位置及视频的总播放时长获取目标播放时间。视频播放进度改变控制指令还可以是在正常播放的过程中触发的，可以设置正常播放时触发视频播放进度改变控制指令的时间间隔，比如1秒钟触发四次。
46.接收到用于控制目标空间的视频融合对象的视频播放进度改变控制指令，根据视频播放进度改变控制指令获取目标播放时间，控制视频对象抛出播放时间更新事件并根据
目标播放时间进行播放。播放时间更新事件用于表示播放时间进行了更新，根据播放时间更新事件可以获取到播放时间更新后的当前播放时间。控制多个视频对象根据目标播放时间进行播放，实现了多视频统一的进度改变控制。可以理解的，改变播放进度并不改变视频控制状态。
47.本发明实施例提供的基于视频控制的视频融合方法，通过响应于接收到用于控制目标空间的视频融合对象的视频播放进度改变控制指令，根据视频播放进度改变控制指令获取目标播放时间，控制多个视频对象抛出播放时间更新事件并根据目标播放时间进行播放，实现了多视频统一的进度改变控制。
48.根据本发明实施例提供的一种基于视频控制的视频融合方法，所述方法还包括：响应于监听到所述多个视频对象中预设视频对象的所述播放时间更新事件，根据所述播放时间更新事件获取当前播放时间；根据所述当前播放时间计算并更新进度条的播放进度指示位置。
49.设置一个进度条用于表示所控制的多个视频对象的播放进度。由于网络等原因，各个视频对象的实际播放进度可能存在误差。因此，进度条的更新显示可以根据多个视频对象中的其中一个视频对象进行更新。用于进度条更新的视频对象可以是预先设置好的。比如，可以将多个视频对象用数组表示，以便对于视频对象的管理，这个数组可以称为视频对象数组，每个数组元素对应一个视频对象。比如，视频对象数组可以表示为videoelements＝[video1,video2,
……
videon]。可以利用视频对象数组中的预设视频对象进行进度条更新，比如利用视频对象数组中的第一个视频对象进行进度条更新。
[0050]
因此，若监听到多个视频对象中预设视频对象的播放时间更新事件，根据播放时间更新事件获取当前播放时间，根据当前播放时间计算并更新进度条的播放进度指示位置。根据当前播放时间计算并更新进度条的播放进度指示位置可以根据当前播放时间在视频对象的总播放时长中的占比确定。
[0051]
本发明实施例提供的基于视频控制的视频融合方法，通过响应于监听到多个视频对象中预设视频对象的播放时间更新事件，根据播放时间更新事件获取当前播放时间，根据当前播放时间计算并更新进度条的播放进度指示位置，实现了进度条的播放进度指示位置随视频播放进行更新，同时，只监听预设视频对象的播放时间更新事件而非所有视频对象的播放时间更新事件避免了实际进度误差造成的进度混乱问题。
[0052]
根据本发明实施例提供的一种基于视频控制的视频融合方法，所述方法还包括：响应于监听到任一视频对象卡顿后抛出的等待事件，将所述任一视频对象的视频状态置为等待状态；将所述多个视频对象中处于播放状态的视频对象的视频状态置为暂停状态，并暂停播放；响应于所述视频控制状态为所述控制播放状态，在视频播放界面显示视频加载提示信息。
[0053]
在弱网环境下，多个视频对象同时播放，可能会遇到视频数据加载速度不一致导致的非同时的卡顿问题，当某个或某些视频卡顿但其他视频正常播放时，会导致视频播放进度不一致。
[0054]
可以设置视频状态集，视频状态集中的每个状态位对应一个视频对象。视频状态集也可以用数组表示，可以称为视频状态数组，视频状态数组中的每个数组元素表示视频对象的视频状态。视频状态可以包括：
[0055]
play——表示可正常的进行播放，不会发生卡顿的状态。
[0056]
wait——等待，卡顿后立即进入的状态。
[0057]
pause——暂停播放。
[0058]
若某个或某些视频对象卡顿，其余视频对象的视频状态应调整为暂停，以等待卡顿的视频对象正常播放后同时再次启动播放。任一视频对象卡顿后抛出等待事件，并将发生卡顿的视频对象的视频状态置为等待状态。将多个视频对象中处于播放状态的视频对象的视频状态置为暂停状态，并停止播放。视频控制状态包括控制播放状态和控制暂停播放状态。判断当前的视频控制状态是否为控制播放状态，若当前的视频控制状态为控制播放状态，在视频播放界面显示视频加载提示信息，如loading。若当前的视频控制状态为控制暂停播放状态，则在视频播放界面不显示视频加载提示信息。
[0059]
本发明实施例提供的基于视频控制的视频融合方法，通过响应于监听到任一视频对象卡顿后抛出的等待事件，将任一视频对象的视频状态置为等待状态，将多个视频对象中处于播放状态的视频对象的视频状态置为暂停状态，并暂停播放，响应于视频控制状态为控制播放状态，在视频播放界面显示视频加载提示信息，实现了某个或某些视频对象发生卡顿时的多视频同步暂停播放。
[0060]
根据本发明实施例提供的一种基于视频控制的视频融合方法，在所述响应于监听到任一视频对象卡顿后抛出的等待事件之后，所述方法还包括：监听所述任一视频对象的所述播放时间更新事件；响应于监听到所述任一视频对象的所述播放时间更新事件，移除对于所述任一视频对象的所述播放时间更新事件的监听，判断是否有其他视频对象的视频状态为等待状态；响应于存在其他视频对象的视频状态为等待状态，将所述任一视频对象的视频状态置为暂停状态并暂停播放；响应于不存在其他视频对象的视频状态为等待状态，判断所述视频控制状态是否为所述控制播放状态；若是，将所述多个视频对象的视频状态置为播放状态，隐藏所述视频加载提示信息并开始播放；若否，将所述多个视频对象的状态置为播放状态，隐藏所述视频加载提示信息，但不开始播放。
[0061]
监听到任一视频对象卡顿后抛出的等待事件后，在将任一视频对象的视频状态置为等待状态的同时或之后，监听发生卡顿的任一视频对象的播放时间更新事件，即监听发生卡顿的视频对象什么时候开始重新播放。
[0062]
若监听到发生卡顿的任一视频对象的播放时间更新事件，即该视频对象加载到数据可以重新播放，移除对于该视频对象的播放时间更新时间的监听，判断是否有其他视频对象的视频状态为等待状态，即判断是否有其他视频对象处于卡顿中。
[0063]
若存在其他视频对象的视频状态为等待状态，则此时还不能控制多视频对象重新开始播放，还需要等待发生卡顿的其他视频对象恢复。因此，将抛出播放时间更新事件的视频对象的视频状态置为暂停状态。
[0064]
若没有其他视频对象的视频状态为等待状态，则进一步判断当前的视频控制状态是否为控制播放状态；若当前的视频控制状态为控制播放状态，则将多个视频对象的视频状态置为播放状态，隐藏视频加载提示信息并开始播放。若当前的视频控制状态为控制暂停播放状态，将多个视频对象的状态置为播放状态，隐藏视频加载提示信息，但不开始播放。
[0065]
本发明实施例提供的基于视频控制的视频融合方法，通过监听处于等待状态的视
频对象的播放时间更新事件，获取卡顿视频恢复的时间点，根据其他视频对象的视频状态进行暂停播放或统一开始播放，实现了发生视频卡顿后的多视频统一控制。
[0066]
根据本发明实施例提供的一种基于视频控制的视频融合方法，在所述移除对于所述任一视频对象的所述播放时间更新事件的监听之后、所述判断是否有其他视频对象的视频状态为等待状态之前，所述方法还包括：将所述任一视频对象的视频状态置为临时状态。
[0067]
如前所述，发生卡顿的视频恢复后，即加载到视频数据可以重新播放时会抛出播放时间更新事件，移除对于该视频对象的播放时间更新事件的监听，并根据是否存在处于等待状态的其他视频对象进行多视频对象的暂停播放或播放重启的统一控制。
[0068]
由于发生卡顿的视频对象不一定只有一个，因此，若该视频对象恢复待播放，可能存在其他视频对象也恢复待播放，这两个视频对象都会去判断是否存在处于等待状态的其他视频对象。因此，如果发生卡顿的视频对象恢复后不进行视频状态的更改，而是保持等待状态的话，则恢复的视频对象判断获知还存在视频状态为等待状态的视频对象，则将自身视频状态置为暂停状态。而由于这两个视频对象均已加载到数据，此时实际是无需暂停的(假设发生卡顿的只有这两个视频对象)，因此，在发生卡顿的视频对象恢复后，即监听到任一视频对象的播放时间更新事件之后，可以将抛出播放时间更新事件的视频对象的视频状态置为一个中间状态，如临时状态temporary。视频状态集中各个视频对象的视频状态还可以包括这个临时状态。
[0069]
将等待状态改为临时状态，则恢复的视频对象再进行判断是否存在处于等待状态的其他视频对象时，则发现不存在处于等待状态的其他视频对象，则根据当前的视频控制状态，判断是否开启多视频对象的统一播放重启。
[0070]
其中，对于恢复的视频对象，移除对于该视频对象的播放时间更新事件的监听和将该视频对象的视频状态改为临时状态可以同时进行或先后进行，执行次序无需限定。
[0071]
本发明实施例提供的基于视频控制的视频融合方法，通过在监听到任一视频对象的播放时间更新事件之后，将任一视频对象的视频状态置为临时状态，提高了多视频统一控制的可靠性。
[0072]
根据本发明实施例提供的一种基于视频控制的视频融合方法，所述方法还包括：隐藏用于播放所述视频对象的视频播放器的进度条和边界框。
[0073]
多个视频对象通过多个视频播放器进行播放，为尽可能降低干扰，以便更好地观察目标空间的视频融合对象，将隐藏用于播放视频对象的视频播放器的进度条和边界框，可以只保留视频画面和三维空间模型的信息。
[0074]
本发明实施例提供的基于视频控制的视频融合方法，通过隐藏用于播放视频对象的视频播放器的进度条和边界框，提高了交互体验。
[0075]
图2是本发明实施例提供的基于视频控制的视频融合方法中多视频统一控制的流程示意图之一。如图2所示，该方法包括：
[0076]
(1)初始化用于多视频对象控制的相关数据，如视频链接数据，同时需要一个变量useraction标识用户操作(标识视频控制状态)，用于后续多视频对象统一控制方法判断应做何种操作，初始状态为暂停pause；
[0077]
(2)初始化视频对象数组、视频状态集。视频对象通过数组videoelements进行统一操作，同时建立对应的视频状态集videostate，视频状态集中各个视频对象的初始状态
设为wait(等待状态)；
[0078]
(3)初始化操作界面。建立播放/暂停按钮，增加相应的点击方法，播放时useraction设为play，暂停设为pause；进度条交互界面，增加相应的点击和拖动方法，当点击和拖动发生时，计算应该播放的进度，改变视频的currenttime属性(发生控制时指待调整到的目标播放时间，视频播放过程中指当前播放时间)；同时监听第一个视频对象的播放时间更新(timeupdate)事件，当播放时间更新事件发生时，代表播放进度的改变，此时得到当前播放时间，更新进度条的播放进度指示位置；
[0079]
(4)调用多视频统一控制方法。创建多视频统一控制方法，该方法为所有视频对象添加事件监听，对视频正常播放时的timeupdate事件(播放时间更新事件)和对卡顿时的waiting事件(等待事件)进行监听，可以通过监听视频对象抛出的事件改变对应的状态位。采用视频对象的事件驱动，能达到卡顿时自动触发、自动修正进度的目的，且用户无感知。
[0080]
图3是本发明实施例提供的基于视频控制的视频融合方法中多视频控制的流程示意图之二。如图3所示，该方法包括：
[0081]
监听到任一视频对象抛出的等待事件，将该任一视频对象的视频状态更新为等待状态，将处于播放状态的其他视频对象的视频状态改为暂停状态，并暂停播放，若当前的视频控制状态为控制播放状态，显示视频加载提示信息。
[0082]
图4是本发明实施例提供的基于视频控制的视频融合方法中多视频控制的流程示意图之三。如图4所示，该方法包括：
[0083]
监听发生卡顿的任一视频对象的播放时间更新事件；
[0084]
若监听到该任一视频对象的播放时间更新事件，移除对于该视频对象的播放时间更新事件的监听；
[0085]
将该任一视频对象的视频状态改为临时状态；
[0086]
判断是否有其他的视频对象处于等待状态；
[0087]
若存在其他的视频对象处于等待状态，将该任一视频对象的状态置为暂停状态并暂停播放；
[0088]
若不存在其他的视频对象处于等待状态，判断当前的视频控制状态是否为控制播放状态；
[0089]
若当前的视频控制状态为控制播放状态，将待进行统一控制的所有的视频对象的视频状态置为播放状态，隐藏视频加载提示信息，开始统一播放；
[0090]
若当前的视频控制状态不为控制播放状态，将待进行统一控制的所有的视频对象的视频状态置为播放状态，隐藏视频加载提示信息，但不开始统一播放。
[0091]
利用本发明实施例提供的基于视频控制的视频融合方法，可以建立用于用户交互的视频对象控制器，提供由用户主动控制的多个视频对象的同时播放、暂停、进度条显示和拖动进度条改变进度的能力；建立了卡顿同步方法，当多个视频对象中有一个视频对象因为网络原因而发生卡顿时，将触发其他视频对象的暂停等待操作，页面显示loading，待卡顿视频加载到数据可以继续播放后，其他视频再同时进行播放，从而为多个视频对象提供了自动同步进度的能力。
[0092]
需要说明的是，本实施例所给出的多个优选实施方式，在逻辑或结构相互不冲突的前提下，可以自由组合，本发明对此不做限定。
[0093]
下面对本发明实施例提供的基于视频控制的视频融合装置进行描述，下文描述的基于视频控制的视频融合装置与上文描述的基于视频控制的视频融合方法可相互对应参照。
[0094]
图5是本发明实施例提供的基于视频控制的视频融合装置的结构示意图。如图5所示，所述装置包括视频对象控制模块10和视频融合模块20，其中：视频对象控制模块10，用于：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到；视频融合模块20，用于：根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对象。
[0095]
本发明实施例提供的基于视频控制的视频融合装置，通过响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据视频控制指令控制基于目标空间中的各个分间拍摄的多个视频对象进行统一响应，根据播放进度，将视频对象中的视频图像贴合到对应分间的三维空间模型上，得到目标空间的视频融合对象，实现了多视频统一控制的视频融合。
[0096]
根据本发明实施例提供的基于视频控制的视频融合装置，视频对象控制模块10在用于响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应时，具体用于：响应于接收到用于控制所述目标空间的视频融合对象的视频播放控制指令，分别调用所述多个视频对象的播放方法，控制所述多个视频对象进行播放，将视频控制状态置为控制播放状态；响应于接收到用于控制所述目标空间的视频融合对象的视频暂停播放控制指令，分别调用所述多个视频对象的暂停播放方法，控制所述多个视频对象暂停播放，将所述视频控制状态置为控制暂停播放状态。
[0097]
本发明实施例提供的基于视频控制的视频融合装置，通过响应于接收到用于控制目标空间的视频融合对象的视频播放控制指令，分别调用多个视频对象的播放方法，控制多个视频对象进行播放，将视频控制状态置为控制播放状态，响应于接收到用于控制目标空间的视频融合对象的视频暂停播放控制指令，分别调用多个视频对象的暂停播放方法，控制多个视频对象暂停播放，将视频控制状态置为控制暂停播放状态，实现了播放/暂停的多视频统一控制。
[0098]
根据本发明实施例提供的基于视频控制的视频融合装置，视频对象控制模块10在用于响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应，还用于：响应于接收到用于控制所述目标空间的视频融合对象的视频播放进度改变控制指令，根据所述视频播放进度改变控制指令获取目标播放时间；控制所述多个视频对象抛出播放时间更新事件并根据所述目标播放时间进行播放。
[0099]
本发明实施例提供的基于视频控制的视频融合装置，通过响应于接收到用于控制目标空间的视频融合对象的视频播放进度改变控制指令，根据视频播放进度改变控制指令获取目标播放时间，控制多个视频对象抛出播放时间更新事件并根据目标播放时间进行播
放，实现了多视频统一的进度改变控制。
[0100]
根据本发明实施例提供的基于视频控制的视频融合装置，所述装置还包括进度条更新显示模块，用于：响应于监听到所述多个视频对象中预设视频对象的所述播放时间更新事件，根据所述播放时间更新事件获取当前播放时间；根据所述当前播放时间计算并更新进度条的播放进度指示位置。
[0101]
本发明实施例提供的基于视频控制的视频融合装置，通过响应于监听到多个视频对象中预设视频对象的播放时间更新事件，根据播放时间更新事件获取当前播放时间，根据当前播放时间计算并更新进度条的播放进度指示位置，实现了进度条的播放进度指示位置随视频播放进行更新，同时，只监听预设视频对象的播放时间更新事件而非所有视频对象的播放时间更新事件避免了实际进度误差造成的进度混乱问题。
[0102]
根据本发明实施例提供的基于视频控制的视频融合装置，所述视频对象控制模块10还用于：响应于监听到任一视频对象卡顿后抛出的等待事件，将所述任一视频对象的视频状态置为等待状态；将所述多个视频对象中处于播放状态的视频对象的视频状态置为暂停状态，并暂停播放；响应于所述视频控制状态为所述控制播放状态，在视频播放界面显示视频加载提示信息。
[0103]
本发明实施例提供的基于视频控制的视频融合装置，通过响应于监听到任一视频对象卡顿后抛出的等待事件，将任一视频对象的视频状态置为等待状态，将多个视频对象中处于播放状态的视频对象的视频状态置为暂停状态，并暂停播放，响应于视频控制状态为控制播放状态，在视频播放界面显示视频加载提示信息，实现了某个或某些视频对象发生卡顿时的多视频同步暂停播放。
[0104]
根据本发明实施例提供的基于视频控制的视频融合装置，在所述响应于监听到任一视频对象卡顿后抛出的等待事件之后，所述视频对象控制模块10还用于：监听所述任一视频对象的所述播放时间更新事件；响应于监听到所述任一视频对象的所述播放时间更新事件，移除对于所述任一视频对象的所述播放时间更新事件的监听，判断是否有其他视频对象的视频状态为等待状态；响应于存在其他视频对象的视频状态为等待状态，将所述任一视频对象的视频状态置为暂停状态并暂停播放；响应于不存在其他视频对象的视频状态为等待状态，判断所述视频控制状态是否为所述控制播放状态；若是，将所述多个视频对象的视频状态置为播放状态，隐藏所述视频加载提示信息并开始播放；若否，将所述多个视频对象的状态置为播放状态，隐藏所述视频加载提示信息，但不开始播放。
[0105]
本发明实施例提供的基于视频控制的视频融合装置，通过监听处于等待状态的视频对象的播放时间更新事件，获取卡顿视频恢复的时间点，根据其他视频对象的视频状态进行暂停播放或统一开始播放，实现了发生视频卡顿后的多视频统一控制。
[0106]
根据本发明实施例提供的基于视频控制的视频融合装置，在监听到所述任一视频对象的所述播放时间更新事件之后、所述判断是否有其他视频对象的视频状态为等待状态之前，所述视频对象控制模块10还用于：将所述任一视频对象的视频状态置为临时状态。
[0107]
本发明实施例提供的基于视频控制的视频融合装置，通过在监听到任一视频对象的播放时间更新事件之后，将任一视频对象的视频状态置为临时状态，提高了多视频统一控制的可靠性。
[0108]
根据本发明实施例提供的基于视频控制的视频融合装置，所述视频对象控制模块
10还用于：隐藏用于播放所述视频对象的视频播放器的进度条和边界框。
[0109]
本发明实施例提供的基于视频控制的视频融合装置，通过隐藏用于播放视频对象的视频播放器的进度条和边界框，提高了交互体验。
[0110]
图6是本发明实施例提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于视频控制的视频融合方法，该方法包括：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到；根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对象。
[0111]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于视频控制的视频融合方法，该方法包括：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到；根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对象。
[0113]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于视频控制的视频融合方法，该方法包括：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到；根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对
象。
[0114]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0115]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0116]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种基于视频控制的视频融合方法，其特征在于，包括：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应；其中，所述多个视频对象分别是基于所述目标空间中的至少一个分间中的对应分间拍摄的，所述目标空间的视频融合对象根据所述多个视频对象及所述至少一个分间的三维空间模型得到；根据所述视频控制指令获取播放进度；响应于所述播放进度改变，根据所述播放进度分别将所述多个视频对象中的视频图像贴合到对应分间的所述三维空间模型上，更新所述目标空间的视频融合对象。2.根据权利要求1所述的基于视频控制的视频融合方法，其特征在于，所述响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应，包括：响应于接收到用于控制所述目标空间的视频融合对象的视频播放控制指令，分别调用所述多个视频对象的播放方法，控制所述多个视频对象进行播放，将视频控制状态置为控制播放状态；响应于接收到用于控制所述目标空间的视频融合对象的视频暂停播放控制指令，分别调用所述多个视频对象的暂停播放方法，控制所述多个视频对象暂停播放，将所述视频控制状态置为控制暂停播放状态。3.根据权利要求2所述的基于视频控制的视频融合方法，其特征在于，所述响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据所述视频控制指令控制多个视频对象进行统一响应，还包括：响应于接收到用于控制所述目标空间的视频融合对象的视频播放进度改变控制指令，根据所述视频播放进度改变控制指令获取目标播放时间；控制所述多个视频对象抛出播放时间更新事件并根据所述目标播放时间进行播放。4.根据权利要求3所述的基于视频控制的视频融合方法，其特征在于，所述方法还包括：响应于监听到所述多个视频对象中预设视频对象的所述播放时间更新事件，根据所述播放时间更新事件获取当前播放时间；根据所述当前播放时间计算并更新进度条的播放进度指示位置。5.根据权利要求3所述的基于视频控制的视频融合方法，其特征在于，所述方法还包括：响应于监听到任一视频对象卡顿后抛出的等待事件，将所述任一视频对象的视频状态置为等待状态；将所述多个视频对象中处于播放状态的视频对象的视频状态置为暂停状态，并暂停播放；响应于所述视频控制状态为所述控制播放状态，在视频播放界面显示视频加载提示信息。6.根据权利要求5所述的基于视频控制的视频融合方法，其特征在于，在所述响应于监听到任一视频对象卡顿后抛出的等待事件之后，所述方法还包括：监听所述任一视频对象的所述播放时间更新事件；
响应于监听到所述任一视频对象的所述播放时间更新事件，移除对于所述任一视频对象的所述播放时间更新事件的监听，判断是否有其他视频对象的视频状态为等待状态；响应于存在其他视频对象的视频状态为等待状态，将所述任一视频对象的视频状态置为暂停状态并暂停播放；响应于不存在其他视频对象的视频状态为等待状态，判断所述视频控制状态是否为所述控制播放状态；若是，将所述多个视频对象的视频状态置为播放状态，隐藏所述视频加载提示信息并开始播放；若否，将所述多个视频对象的状态置为播放状态，隐藏所述视频加载提示信息，但不开始播放。7.根据权利要求6所述的基于视频控制的视频融合方法，其特征在于，在监听到所述任一视频对象的所述播放时间更新事件之后、所述判断是否有其他视频对象的视频状态为等待状态之前，所述方法还包括：将所述任一视频对象的视频状态置为临时状态。8.根据权利要求1所述的基于视频控制的视频融合方法，其特征在于，所述方法还包括：隐藏用于播放所述视频对象的视频播放器的进度条和边界框。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于视频控制的视频融合方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述基于视频控制的视频融合方法的步骤。

技术总结

本发明实施例提供一种基于视频控制的视频融合方法、电子设备及存储介质，该方法包括：响应于接收到用于控制目标空间的视频融合对象的视频控制指令，根据视频控制指令控制多个视频对象进行统一响应；其中，多个视频对象分别是基于目标空间中的各个分间拍摄的；根据播放进度，将视频对象中的视频图像贴合到对应分间的三维空间模型上，更新目标空间的视频融合对象。本发明实施例通过响应于接收到用于控制目标空间的视频融合对象的视频控制指令，控制基于目标空间中的各个分间拍摄的多个视频对象进行统一响应，根据播放进度，将视频对象中的视频图像贴合到对应分间的三维空间模型上，更新目标空间的视频融合对象，实现了多视频统一控制的视频融合。一控制的视频融合。一控制的视频融合。