数据串流方法及系统与流程

数据串流方法及系统
【技术领域】
1.本发明是有关于一种数据处理方法及系统，且特别是有关于一种数据串流方法及系统。

背景技术：

2.在虚拟现实(virtual reality,vr)、增强现实(augmented reality,ar)或混合现实(mixed reality,mr)中，虚实互动是人机互动接口(human-machine interface)里重要的应用情境之一。虚实互动主要目的是通过使用者与头戴式显示器(head mounted display,hmd)等硬件装置进行互动，并在互动过程中混淆使用者的感官或让使用者产生错觉，进而将抽象信息、虚拟图像、虚拟对象等现实世界中不存在实体的信息呈现在用户的眼前。
3.在目前的主流算法模块或系统中，虚实互动系统大都包含“惯性导航系统(inertial navigation system,ins)”、“视觉惯性里程计(visual inertial odometry,vio)”、“即时定位与地图构建(simultaneous localization and mapping,slam)”、“手势追踪模块”和“虚实互动模块”等五种主要功能的模块或系统，其目的是通过惯性导航系统、视觉惯性里程计和即时定位与地图构建模块出在虚空间中相互对应的现实场景，并在该虚空间下经由手势动作触发场域事件，从而把符合该场域的虚拟信息、虚拟图像或虚拟对象等呈现在用户的眼前。
4.然而，由于各模块或系统的运算需求不同，其运算过程所产生的延迟没有一致性，且各模块或系统之间存在相依性或有处理流程的先后顺序，结果导致各模块或系统的运算结果在信息转传时，会产生模块或系统之间信息不同步的问题。由于模块或系统有运算的延迟性，从传感器(如相机、惯性测量单元等)输入到呈献给使用者的过程中，若要实现信息同步，则会将各模块或系统的运算延迟累加，结果对整个虚实互动系统流程产生大幅的延迟，进而降低使用者的体验。
5.详细而言，由于各输入来源与各模块或系统之间的处理速度与延迟时间都不等长，因此在最后一步的虚实互动模块会难以将信息做同步。图1为已知的虚实互动系统的示意图。以图1的虚实互动系统10为例，相机(或摄像机)11处理一张照片约为1/30秒或1/60秒，惯性测量单元12传出数值约为1/200秒。在相同硬件相同运算能力下，手势追踪模块13处理速度约为1/15秒，视觉惯性里程计(vio)14和即时定位与地图构建(slam)16的处理速度约为1/25秒至1/20秒，惯性导航系统(ins)15的处理速度约为1/100秒。因此，以各模块或系统同步的时间点来说，虚实互动模块17会是以最慢的手势追踪模块13的处理速度1/15秒为基准进行同步。但由于最慢的模块的处理速度过慢且各模块或系统传递数据的时间点也不同步，其结果会造成虚实互动缺乏实时性与以及互动性低等问题。

技术实现要素：

6.本发明提供一种数据串流方法及系统，可同时兼顾虚实互动的实时性与互动性。
7.本发明提供一种数据串流方法，适用于包括至少一个传送装置及接收装置的数据串流系统。此方法包括下列步骤：各传送装置响应于接收装置对于串流数据的传输请求，根据预定义格式将串流数据封装为多个封包，并将封包传送至接收装置；接收装置存储所接收的封包数据于存储装置并记录接收到各封包的时间点；以及接收装置在运行串流数据时，读取存储装置中已存储的各封包的数据，并根据各封包的时间点将各封包的数据进行插值(interpolation)运算，取得接收装置在当下时间点运行串流数据时所需的对应数据。
8.本发明提供一种数据串流系统，其包括至少一个传送装置及接收装置。各传送装置响应于串流数据的传输请求，根据预定义格式将串流数据封装为多个封包，并发送这些封包。接收装置连接各传送装置，用以发送传输请求至各传送装置，并接收各传送装置响应此传输请求所发送的封包，以及存储所接收的封包于存储装置并记录接收到各封包的时间点。其中，接收装置在运行串流数据时，读取存储装置中已存储的各封包的数据，并根据各封包的时间点将各封包的数据进行插值运算，取得接收装置在当下时间点运行串流数据时所需的对应数据。
9.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
【附图说明】
10.图1为已知的虚实互动系统的示意图。
11.图2为根据本发明一实施例所图示的数据串流系统的示意图。
12.图3为根据本发明一实施例所图示的一对一数据串流的插值运算的示意图。
13.图4为根据本发明一实施例所图示的数据串流系统的示意图。
14.图5为依照本发明一实施例所图示的数据串流方法的流程图。
15.图6为依照本发明一实施例所图示的数据串流方法的流程图。
16.图7为依照本发明一实施例所图示的数据串流方法的流程图。
17.图8为依照本发明一实施例所图示的数据串流方法的流程图。
18.图9为依照本发明一实施例所图示的多对一数据串流的插值运算的示意图。
19.【符号说明】
20.10：虚实互动系统
21.11：相机
22.12：惯性测量单元
23.13：手势追踪模块
24.14：视觉惯性里程计
25.15：惯性导航系统
26.16：即时定位与地图构建
27.17：虚实互动模块
28.20、40：数据串流系统
29.21：第一模块
30.22：第二模块
31.23：存储装置
32.42：传送装置
33.422、442：时间计数器
34.424、444、92：存储装置
35.44、90：接收装置
36.a0～a8、b0～b5、c0～c7、a1’、a3’、a4’、a6’、a6”、a7’、a8’、b3’、b4’、b4”、b5’、c5’、c6’、c6”、c7’、t1～t4：时间点
37.s502～s506、s602～s606、s702～s714、s802～s806：步骤。
【具体实施方式】
38.本发明实施例提出将各输入来源与各模块处理后的数据包装成“串流(streams)”的形式在模块之间进行信息上的沟通。本发明实施例对于“串流”的定义为：一种以稳定连续且有时间相依性的方式通过应用程序编程接口(application programming interface,api)、通用串行总线(universal serial bus,usb)或网络等方式发送或接收已预定义好格式的数据，并允许在仍接收时其剩余的数据依然同时进行发送。
39.图2为根据本发明一实施例所图示的数据串流系统的示意图。请参考图2，本发明实施例的数据串流系统20包括第一模块21以及第二模块22。图2中的单向箭头所指的方向为来源端(即，第一模块21)将信息发送到接收端(即，第二模块22)。其中，本发明采用串流的形式进行第一模块21及第二模块22间的沟通，其目的在于针对具有时间相依性的串流数据，仍可以采用异步方式进行，达到实时响应的效果。
40.详细而言，在数据串流系统20中，第二模块22已经在存储装置23中预留一段缓冲(buffer)空间，以存放由第一模块21串流进来的封包。因此，当第二模块22在运行时，能异步运行，通过插值(interpolation)运算来获得未知的数据对应点，进而提升虚实互动系统效能。
41.图3为根据本发明一实施例所图示的一对一数据串流的插值运算的示意图。请同时参考图2及图3，假设第一模块21的处理数据结果为串流一的a0～a8，第二模块22的处理数据结果为串流二的b0～b5。其中，在第二模块22处理b1时间点的数据时，能通过从数据串流系统20保留的缓冲(buffer)空间中取出串流一的a0和a1时间点的数据，并用线性插值(linear interpolation)、多项式插值(polynomial interpolation)、样条曲线插值(spline interpolation)或指数移动平均(exponential moving average)插值等插值算法来运算近似的未知对应点a1’的数据，如此第二模块22便不用等待到第一模块21的a2时间点，便能实时取得运行当下(b1时间点)的结果。
42.图4为根据本发明一实施例所图示的数据串流系统的示意图。请参照图4，本发明实施例的数据串流系统40包括一或多个传送装置42及接收装置44。在一些实施例中，传送装置42及接收装置44例如是具有运算能力的文件服务器、数据库服务器、应用程序服务器、工作站或个人计算机等计算器装置，或是智能型手机、平板计算机等行动装置，但不限于此。
43.在一些实施例中，数据串流系统40例如是虚拟现实系统、增强现实系统或混合现实系统，而传送装置42及接收装置44例如是其中的“惯性导航系统(inertial navigation system,ins)”、“视觉惯性里程计(visual inertial odometry,vio)”、“即时定位与地图构
建(simultaneous localization and mapping,slam)”、“手势追踪模块”或“虚实互动模块”，亦不限于此。
44.在一些实施例中，传送装置42及接收装置44例如包括彼此相对应的任意的有线或无线的接口装置，其可用以在传送装置42及接收装置44之间传递数据。对于有线方式而言，接口装置可以是通用串行总线(universal serial bus,usb)、eia-rs-232(electronic industry association-recommended standard-232,rs232)、通用异步接收器/传送器(universal asynchronous receiver/transmitter,uart)、内部整合电路(inter-integrated circuit,i2c)、序列周边接口(serial peripheral interface,spi)、显示端口(display port)或雷电端口(thunderbolt)等界面，但不限于此。对于无线方式而言，接口装置可以是支持无线保真(wireless fidelity,wi-fi)、无线射频识别(radio frequency identification,rfid)、蓝牙、红外线、近场通信(near-field communication,nfc)或装置对装置(device-to-device,d2d)等通信协议的装置，但不限于此。在一些实施例中，接口装置亦可以是支持以太网络(ethernet)或是支持802.11g、802.11n、802.11ac等无线网络标准的网络卡，亦不限于此。
45.在一些实施例中，传送装置42及接收装置44各自包括时间计数器422及时间计数器442。其中，传送装置42使用时间计数器422来记录每一个封包的数据在串流数据中的对应时间点。接收装置44使用时间计数器442记录其接收到每一个封包的时间点。
46.在一些实施例中，传送装置42及接收装置44各自包括用以存储计算机程序及数据的存储装置424及存储装置444，其例如是任意型式的固定式或可移动式随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、闪存(flash memory)、硬盘或类似元件或上述元件的组合。
47.在一些实施例中，传送装置42及接收装置44各自包括用以从存储装置424及存储装置444加载计算机程序以执行本发明实施例的数据串流方法的处理器(未示于图中)，其例如是中央处理单元(central processing unit,cpu)、其他可编程的通用或专用的微处理器(microprocessor)、微控制器(microcontroller)、数字信号处理器(digital signal processor,dsp)、可编程控制器、专用集成电路(application specific integrated circuits,asic)、可编程逻辑设备(programmable logic device,pld)或其他类似装置或这些装置的组合，但本实施例不限于此。
48.图5为依照本发明一实施例所图示的数据串流方法的流程图。请同时参照图4及图5，本实施例的方法适用于图4的数据串流系统40。以下即搭配数据串流系统40的各项装置说明本实施例的数据串流方法的详细步骤。
49.在步骤s502中，各个传送装置42响应于接收装置44对于串流数据的传输请求，根据预定义格式将串流数据封装为多个封包，并将这些封包传送至接收装置44。所述的预定义格式包括封包的目标传送装置、数据的大小及封包的数据在串流数据中对应时间点的时间戳。其中，各个传送装置42例如会根据传输请求，设定封包的传送路径，而接收装置44则会设定其接收封包的接收路径。所述的传送路径以及接收路径例如可为通过上述实施例中所述的有线方式以及无线方式传递及接收封包的数据。
50.在步骤s504中，接收装置44将所接收封包的数据存储于存储装置并记录接收到各个封包的时间点。
51.在步骤s506中，接收装置44在运行串流数据时，会读取存储装置444中已存储的各个封包的数据，并根据各个封包的时间点将各个封包的数据进行插值(interpolation)运算，取得接收装置44在当下时间点运行串流数据时所需的对应数据。
52.在一些实施例中，接收装置44仅从单一个传送装置42接收到封包，而在其他实施例中，接收装置44从多个传送装置42接收到封包。接收装置44将基于其接收到这些封包的时间点，对封包进行排序并进行插值运算，以取得运行串流数据时所需的对应数据。以下各举实施例详细说明。
53.图6为依照本发明一实施例所图示的数据串流方法的流程图。请同时参照图4及图6，在本实施例中，接收装置44仅从单一个传送装置42接收到封包。传送装置42响应于接收装置44对于串流数据的传输请求，根据预定义格式将串流数据封装为n个封包。
54.在步骤s602中，接收装置44会根据处理串流数据的平均处理频率，预估运行串流数据所需的m笔对应数据。
55.在步骤s604中，接收装置44从存储装置444中读取已接收到的n个封包的数据，并将这n个封包的数据依时间戳所记录的时间点进行排序，其中m、n为正整数。
56.在步骤s606中，接收装置44会根据排序后的n个封包的数据进行插值运算，取得运行串流数据所需的m笔对应数据。
57.图7为依照本发明一实施例所图示的数据串流方法的流程图。请同时参照图4及图7，在本实施例中，各个传送装置42在将串流数据封装为各个封包之后，例如会在各个封包上记录其是否异常的标志，以作为后续接收装置44在使用封包的数据进行插值运算时的依据。在本实施例中，传送装置42的数量可为一个或是多个。
58.在步骤s702中，各个传送装置42响应于接收装置44对于串流数据的传输请求，根据预定义格式将串流数据封装为多个封包。
59.在步骤s704中，各个传送装置42会判断其处理封包的处理频率的标准差是否大于阈值或所处理封包的数据是否为空(null)。
60.在步骤s706中，各个传送装置42在其处理封包的处理频率的标准差大于一阈值时或当所处理封包的数据是空的时，将此封包的标志标记为异常。反之，在步骤s708中，当所处理封包的数据是有内容的，且上述处理频率的标准差小于等于所述阈值时，各个传送装置42将封包的标志标记为正常。所述标志例如正常为t，异常为f。详细而言，传送装置42在处理数据时若发生处理异常，将使得每次处理数据所花费的时间长短不一(处理频率的标准差变大)，此时传送装置42可将该异常的封包的标志设为f。或者，传送装置42在其发生输出异常时，例如某几笔数据是空的时，将为空的封包的标志设为f。
61.在步骤s710中，各个传送装置42将处理后的封包传送至接收装置44。
62.相对应地，在步骤s712中，接收装置44将所接收封包的数据存储于存储装置444并记录接收到各个封包的时间点。
63.在步骤s714中，接收装置44在运行串流数据时，例如会读取各个封包的标志，并在使用封包的数据进行插值运算时，不使用标志记录为异常的封包。
64.图8为依照本发明一实施例所图示的数据串流方法的流程图。请同时参照图4及图8，在本实施例中，接收装置44从多个传送装置42接收到封包。多个传送装置42响应于接收装置44对于串流数据的传输请求，根据预定义格式将串流数据封装为多个封包。
65.在步骤s802中，接收装置44会根据处理串流数据的平均处理频率，预估运行串流数据所需的m笔对应数据，并将处理m笔对应数据的时序切分为多个子时序，其中m为正整数。
66.在步骤s804中，接收装置44会从存储装置444中读取已从多个传送装置42分别接收到的多个封包的数据，并将这些封包的数据依时间戳所记录的时间点进行排序。
67.在步骤s806中，接收装置44会使用排序后的多个封包的数据，依各个子时序进行插值运算，取得在各个子时序运行串流数据所需的m笔对应数据。
68.详细而言，在虚拟现实(vr)、增强现实(ar)或混合现实(mr)的应用中，容易发生多对一的串流情境(即，多个模块串流流向同一个目标模块，例如图1中多个模块或系统流向虚实互动模块17)。此时，接收装置44需要使用从多个不同的传送装置42接收的封包来运算其运行串流数据所需的对应数据。
69.举例来说，图9为依照本发明一实施例所图示的多对一数据串流的插值运算的示意图。请参照图9，本实施例是在多对一数据串流的状况发生时，由接收装置90先将存储在存储装置92中的各个封包按其时间戳进行排列(如图9中所示的串流一、串流二、
…
、串流n)。其中，接收装置90例如会根据前面t1～t3时间点之间的平均处理频率推算出t4时间点。由于接收装置90需要同步的串流一、串流二、
…
、至串流n的m笔数据点，因此在串流时序上会将t3和t4之间的时序切成m等分的子时序，子时序例如为t31、t32以及t33。例如，将串流一的a6、a7、a8时间点的数据内插成a6’、a6”、a7’、a8’时间点的数据，将串流二的b3、b4、b5时间点的数据内插成b3’、b4’、b4”、b5’时间点的数据，以及将串流n的c5、c6、c7时间点的数据内插成c5’、c6’、c6”、c7’时间点的数据。上述串流一、串流二～串流n内插的时间点与上述子时序以及时序相对应，例如，a6’、b3’以及c5’时间点与子时序t31相对应，a6”、b4’以及c6’时间点与子时序t32相对应，a7’、b4”以及c6”时间点与子时序t33相对应，a8’、b5’以及c7’时间点与时序t4相对应。通过上述方式，取得与子时序以及时序相对应的数据，便可达到实时同步多笔串流数据的功效。
70.综上所述，本发明实施例的数据串流方法及系统，通过事先定义好各模块之间的传送路径以及接收路径，并有效使用插值(interpolation)获取未知的数据点，使得多个装置或模块之间不再经过数据同步便能独立运行。而通过将本发明实施例的数据串流系统应用至虚实互动系统，可在不影响虚实互动系统精度下改善虚实互动的延迟性，而提升使用者的体验。
71.虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。

技术特征：

1.一种数据串流方法，适用于包括至少一传送装置及一接收装置的数据串流系统，所述方法包括下列步骤：每一所述至少一传送装置响应于所述接收装置对于串流数据的传输请求，根据预定义格式将所述串流数据封装为多个封包，并传送所述多个封包至所述接收装置；所述接收装置存储所接收的所述多个封包的数据于存储装置并记录接收到每一所述多个封包的时间点；以及所述接收装置在运行所述串流数据时，读取所述存储装置中已存储的每一所述多个封包的数据，并根据每一所述多个封包的所述时间点将每一所述多个封包的数据进行插值运算，取得所述接收装置在当下时间点运行所述串流数据时所需的对应数据。2.根据权利要求1所述的数据串流方法，其中所述预定义格式包括每一所述多个封包的目标传送装置、数据的大小及每一所述多个封包的数据在所述串流数据中对应时间点的时间戳。3.根据权利要求2所述的数据串流方法，其中所述接收装置运行所述串流数据的步骤还包括：根据处理所述串流数据的平均处理频率，预估运行所述串流数据所需的m笔对应数据；从所述存储装置中读取已接收到的n个封包的数据，并将所述n个封包的数据依所述时间戳所记录的所述时间点进行排序，其中m、n为正整数；以及根据排序后的所述n个封包的数据进行所述插值运算，取得运行所述串流数据所需的所述m笔对应数据。4.根据权利要求2所述的数据串流方法，其中所述接收装置运行所述串流数据的步骤还包括：根据处理所述串流数据的平均处理频率，预估运行所述串流数据所需的m笔对应数据，并切分处理所述m笔对应数据的时序为多个子时序，其中m为正整数；从所述存储装置中读取已从每一所述至少一传送装置分别接收到的所述多个封包的数据，并将所述多个封包的数据依所述时间戳所记录的所述时间点进行排序；以及使用排序后的所述多个封包的数据，依每一所述多个子时序进行所述插值运算，取得在每一所述多个子时序运行所述串流数据所需的所述m笔对应数据。5.根据权利要求1所述的数据串流方法，其中每一所述至少一传送装置将所述串流数据封装为每一所述多个封包后的步骤还包括在每一所述多个封包上标记是否异常的标志。6.根据权利要求5所述的数据串流方法，其中当所述传送装置的处理频率的标准差大于阈值或当所述封包的数据是空的时，所述封包的所述标志为异常。7.根据权利要求5所述的数据串流方法，其中所述接收装置运行所述串流数据的步骤还包括：读取每一所述多个封包的所述标志，并在使用每一所述多个封包的数据进行所述插值运算时，不使用所述标志记录为异常的所述封包。8.根据权利要求1所述的数据串流方法，其中所述插值运算包括线性插值、多项式插值、样条曲线插值或指数移动平均插值。9.根据权利要求1所述的数据串流方法，其中所述数据串流系统包括虚拟现实系统、增强现实系统或混合现实系统。
10.一种数据串流系统，包括：至少一传送装置，其中每一所述至少一传送装置响应于串流数据的传输请求，根据预定义格式将所述串流数据封装为多个封包，并发送所述多个封包；接收装置，连接每一所述至少一传送装置，发送所述传输请求至每一所述至少一传送装置，并接收每一所述至少一传送装置响应所述传输请求所发送的所述多个封包，以及存储所接收的所述多个封包于存储装置并记录接收到每一所述多个封包的时间点，其中所述接收装置在运行所述串流数据时，读取所述存储装置中已存储的每一所述多个封包的数据，并根据每一所述多个封包的所述时间点将每一所述多个封包的数据进行插值运算，取得所述接收装置在当下时间点运行所述串流数据时所需的对应数据。11.根据权利要求10所述的数据串流系统，其中所述接收装置包括时间计数器，用以记录接收到每一所述多个封包的所述时间点。12.根据权利要求10所述的数据串流系统，其中所述预定义格式包括每一所述多个封包的目标传送装置、数据的大小及每一所述多个封包的数据在所述串流数据中对应时间点的时间戳。13.根据权利要求12所述的数据串流系统，其中所述传送装置包括另一时间计数器，用以记录每一所述多个封包的数据在所述串流数据中的对应时间点。14.根据权利要求12所述的数据串流系统，其中所述接收装置还包括根据处理所述串流数据的平均处理频率，预估运行所述串流数据所需的m笔对应数据，从所述存储装置中读取已接收到的n个封包的数据，并将所述n个封包的数据依所述时间戳所记录的所述时间点进行排序，其中m、n为正整数，以及根据排序后的所述n个封包的数据进行所述插值运算，取得运行所述串流数据所需的所述m笔对应数据。15.根据权利要求12所述的数据串流系统，其中所述接收装置运行还根据处理所述串流数据的平均处理频率，预估运行所述串流数据所需的m笔对应数据，并切分处理所述m笔对应数据的时序为多个子时序，其中m为正整数，从所述存储装置中读取已从每一所述至少一传送装置分别接收到的所述多个封包的数据，并将所述多个封包的数据依所述时间戳所记录的所述时间点进行排序，以及使用排序后的所述多个封包的数据，依每一所述多个子时序进行所述插值运算，取得在每一所述多个子时序运行所述串流数据所需的所述m笔对应数据。16.根据权利要求10所述的数据串流系统，其中每一所述至少一传送装置在每一所述多个封包上标记是否异常的标志。17.根据权利要求16所述的数据串流系统，其中当每一所述至少一传送装置的处理频率的标准差大于阈值或当所述封包的数据是空的时，所述传送装置将所述封包的所述标志标记为异常。18.根据权利要求16所述的数据串流系统，其中所述接收装置在运行所述串流数据时，读取每一所述多个封包的所述标志，并在使用每一所述多个封包的数据进行所述插值运算时，不使用所述标志记录为异常的所述封包。19.根据权利要求10所述的数据串流系统，其中所述插值运算包括线性插值、多项式插值、样条曲线插值或指数移动平均插值。20.根据权利要求10所述的数据串流系统，其中所述数据串流系统包括虚拟现实系统、
增强现实系统或混合现实系统。

技术总结

一种数据串流方法及系统。数据串流系统包括至少一个传送装置及接收装置。此方法包括下列步骤：各传送装置响应于接收装置对于串流数据的传输请求，根据预定义格式将串流数据封装为多个封包，并将封包传送至接收装置；接收装置存储所接收的封包数据于存储装置并记录接收到各封包的时间点；以及接收装置在运行串流数据时，读取存储装置中已存储的各封包的数据，并根据各封包的时间点将各封包的数据进行插值运算，取得接收装置在当下时间点运行串流数据时所需的对应数据。上述数据串流方法及系统可同时兼顾虚实互动的实时性与互动性。统可同时兼顾虚实互动的实时性与互动性。统可同时兼顾虚实互动的实时性与互动性。