信息处理装置、信息处理方法和显示装置与流程

1.本技术涉及可以应用于虚拟空间的图像显示的信息处理装置、信息处理方法和显示装置。

背景技术：

2.专利文献1描述了流式传输使用虚拟角的实况内容的内容流式传输服务器。在该服务器中，根据流式传输者的运动而移动的虚拟角被布置在虚拟空间中，并且从虚拟摄像装置的视点捕获虚拟空间中的视频。根据来自作为摄影师加入的观看者的指令控制虚拟摄像装置的图像捕获位置等。由虚拟摄像装置捕获的视频作为实况内容被流式传输到观看者的终端(专利文献1中的说明书中的第[0018]、[0038]和[0045]、图1等)。
[0003]
引用列表
[0004]
专利文献
[0005]
专利文献1：日本专利第6556301号

技术实现要素：

[0006]
技术问题
[0007]
使用虚拟空间流式传输实况内容等的技术有望应用于诸如娱乐和教育的各种领域，并且期望提供适当地捕获虚拟空间中的目标的图像的技术。
[0008]
鉴于上述情况，本技术的目的是提供能够适当地捕获虚拟空间中的目标的图像的信息处理装置、信息处理方法和显示装置。
[0009]
问题的解决方案
[0010]
为了实现上述目的，根据本技术的实施方式的信息处理装置包括图像捕获控制单元。
[0011]
图像捕获控制单元根据在虚拟空间中移动的目标对象与在虚拟空间中移动并且捕获目标对象的图像的虚拟摄像装置之间的位置关系，执行用于避免虚拟摄像装置与目标对象的碰撞的碰撞避免处理。
[0012]
在该信息处理装置中，执行根据虚拟空间中的目标对象与在虚拟空间中移动的同时捕获目标对象的图像的虚拟摄像装置之间的位置关系的碰撞避免处理。因此，预先避免了目标对象与虚拟摄像装置之间的碰撞，并且可以适当地捕获虚拟空间中的目标的图像。
[0013]
图像捕获控制单元可以基于目标对象与虚拟摄像装置之间的位置关系，检测目标对象与虚拟摄像装置的接近状态，并且在已经检测到接近状态的情况下执行碰撞避免处理。
[0014]
图像捕获控制单元可以检测目标对象与虚拟摄像装置之间的相对距离等于或小于预定阈值的状态作为接近状态。
[0015]
相对距离可以包括当前值或预测值。
[0016]
虚拟摄像装置可以沿预设的图像捕获路径对目标对象进行成像。在这种情况下，
图像捕获控制单元可以作为碰撞避免处理在已经检测到接近状态的情况下改变图像捕获路径。
[0017]
图像捕获路径可以是设置为使得虚拟摄像装置按顺序经过多个中继点的路径。
18.图像捕获控制单元可以在已经检测到接近状态的情况下，改变作为虚拟摄像装置的移动目的地的中继点，使得避免目标对象与虚拟摄像装置之间的碰撞。
[0019]
图像捕获控制单元可以将虚拟摄像装置的移动目的地设置为能够避免目标对象与虚拟摄像装置之间的碰撞的、按顺序序号最小的中继点。
[0020]
图像捕获控制单元可以在已经检测到接近状态的情况下，改变到作为虚拟摄像装置的移动目的地的中继点的路径的至少一部分，使得避免目标对象与虚拟摄像装置之间的碰撞。
[0021]
图像捕获控制单元可以沿替选路径移动虚拟摄像装置，以从已经检测到接近状态的点围绕目标对象绕行。
[0022]
替选路径可以是保持目标对象与虚拟摄像装置之间的相对距离恒定的路径。
[0023]
图像捕获路径可以是针对多个中继点中的每一个设置虚拟摄像装置的经过时间的路径。在这种情况下，图像捕获控制单元可以基于针对中继点设置的经过时间，调整虚拟摄像装置沿经改变的图像捕获路径移动的移动速度。
[0024]
多个中继点可以包括至少一个关键中继点。在这种情况下，图像捕获控制单元可以以取决于经过包括在经改变的图像捕获路径中的关键中继点的经过时间的方式调整虚拟摄像装置的移动速度。
[0025]
图像捕获控制单元可以在已经检测到接近状态的情况下，将用于显示来自由虚拟摄像装置捕获的图像的目标对象的显示图像切换为由另一虚拟摄像装置捕获的图像来作为碰撞避免处理。
[0026]
图像捕获控制单元可以移动虚拟摄像装置，使得目标对象与虚拟摄像装置之间的相对距离恒定来作为碰撞避免处理。
[0027]
图像捕获控制单元可以相对于目标对象的速度改变的定时延迟虚拟摄像装置的速度改变的定时，使得相对距离落入预定范围内。
[0028]
目标对象可以包括表演者的三维实拍模型。
[0029]
图像捕获控制单元可以实时流式传输由虚拟摄像装置捕获的图像。
[0030]
根据本技术的实施方式的信息处理方法是由计算机系统执行的信息处理方法，并且包括：由计算机系统根据在虚拟空间中移动的目标对象与在虚拟空间中移动并且捕获目标对象的图像的虚拟摄像装置之间的位置关系，执行用于避免虚拟摄像装置与目标对象的碰撞的碰撞避免处理。
[0031]
根据本技术的实施方式的显示装置包括图像获取单元和显示单元。
[0032]
图像获取单元，其获取由虚拟摄像装置捕获的图像，虚拟摄像装置根据用于避免虚拟摄像装置与目标对象的碰撞的碰撞避免处理进行操作，碰撞避免处理根据在虚拟空间中移动的目标对象与在虚拟空间中移动并且捕获目标对象的图像的虚拟摄像装置之间的位置关系来执行。
[0033]
显示单元显示由虚拟摄像装置捕获的图像。
附图说明
[0034]
[图1]示出了根据本技术的实施方式的流式传输系统的配置示例的示意图。
[0035]
[图2]示出由流式传输系统构造的虚拟空间的示例的示意图。
[0036]
[图3]用于描述虚拟摄像装置的图像捕获的示意图。
[0037]
[图4]示出虚拟摄像装置的视频的示例的示意图。
[0038]
[图5]示出图像捕获系统和流式传输服务器的功能配置示例的框图。
[0039]
[图6]示出图像捕获单元的配置示例的示意图。
[0040]
[图7]示出拍摄工作室的示例的示意图。
[0041]
[图8]示出客户终端的功能配置示例的框图。
[0042]
[图9]示出接近状态的示例的示意图。
[0043]
[图10]示出改变图像捕获路径的碰撞避免处理的示例的示意图。
[0044]
[图11]图10所示的碰撞避免处理的流程图。
[0045]
[图12]示出改变图像捕获路径的碰撞避免处理的另一个示例的示意图。
[0046]
[图13]图12所示的碰撞避免处理的流程图。
[0047]
[图14]示出用于虚拟摄像装置的碰撞避免处理的另一个示例的示意图。
[0048]
[图15]图14所示的碰撞避免处理的流程图。
[0049]
[图16]示出图像捕获目标与虚拟摄像装置之间的碰撞示例的示意图。
具体实施方式
[0050]
在下文中，将参照附图描述根据本技术的实施方式。
[0051]
[流式传输系统的概述]
[0052]
图1是示出根据本技术的实施方式的流式传输系统的构造示例的示意图。流式传输系统100是使用虚拟空间实时流式传输实况内容的系统。
[0053]
流式传输系统100包括流式传输服务器10、图像捕获系统11以及至少一个客户终端12。在图1所示的构造中，流式传输服务器10和每个客户终端12被连接以能够经由因特网13彼此通信。应当注意，流式传输服务器10和每个客户终端12可以经由诸如私用网络的专用网络连接。
[0054]
在下文中，将描述流式传输系统100的概述，该概述示出了在虚拟空间中举行实况音乐会等的情况作为示例。
[0055]
流式传输服务器10使用虚拟空间生成实况内容并且将所生成的实况内容经由因特网13流式传输到每个客户终端12。即，流式传输服务器10提供实况内容的流式传输服务。
[0056]
在虚拟空间中，例如，布置有作为实况内容的主要表演者的表演者1的虚拟模型、舞台布置、布景等的计算机图形(cg)对象。表演者1操作其自己的虚拟模型，从而能够在虚拟空间中进行各种类型的表演，例如唱歌、跳舞和演奏乐器。
[0057]
流式传输服务器10构造这样的虚拟空间并且生成捕获虚拟空间的图像、虚拟空间的声音以及与要布置在虚拟空间中作为实况内容的虚拟对象(表演者1的虚拟模型、其他对象等)有关的数据等。
[0058]
应当注意，在本公开内容中，图像包括静止图像和运动图像。在下文中，主要捕获虚拟空间的运动图像(视频)被用作实况内容。
[0059]
图像捕获系统11是通过对表演者1进行成像/感测来生成用于生成表演者1的虚拟模型所需的数据的系统。在流式传输系统100中，流式传输服务器10基于由图像捕获系统11(见图5)生成的数据来生成表演者1的虚拟模型。表演者1的虚拟模型是作为后述的虚拟摄像装置的图像捕获目标的目标对象的示例。
[0060]
在本实施方式中，作为表演者1的三维实拍模型(体积模型)被用作表演者1的虚拟模型(目标对象)。体积模型是在真实空间中再现表演者1的虚拟模型，就像三维cg一样。体积模型的使用可以在虚拟空间中按原样再现表演者1在真实空间中的表演。此外，表演者1的虚拟模型可以被生成为从不同的左右视点捕获的立体成像对象。因此，可以立体地感知真实空间中的表演者1。
[0061]
客户终端12是使用实况内容的流式传输服务的观看者2使用的终端装置。客户终端12基于从流式传输服务器10流式传输的实况内容来再现虚拟空间的视频、声音等。
[0062]
例如，包括头戴式显示器(hmd)14的装置被用作客户终端12。使用hmd 14可以显示虚拟空间的视频等以覆盖观看者2的视野。此外，包括可穿戴式ar眼镜(透视hmd)或者固定显示器的装置、诸如平板电脑和智能手机的便携式终端装置等可以用作客户终端12。
[0063]
此外，客户终端12包括检测观看者2的运动的运动传感器、检测观看者2的语音的麦克风、诸如接收观看者2输入的字符的键盘的输入装置等。经由输入装置输入的数据被发送到流式传输服务器10。
[0064]
在流式传输服务器10中，基于从每个客户终端12发送的数据，生成反映观看者2的运动、语音、字符输入等的实况内容。因此，观看者可以参加在虚拟空间中进行的表演者1的实况音乐会。
[0065]
图2是由流式传输系统100构造的虚拟空间的示例的示意图。可以说，虚拟空间3是多个观看者2在其虚拟体验期间共享的共享空间。
[0066]
作为表演者1的虚拟模型的表演者模型4被布置在虚拟空间3中。如上所述，表演者模型4是在真实空间中再现表演者1的体积模型，并且以与表演者1的运动相似的方式移动。在图2所示的示例中，示意性地示出了布置在虚拟空间3中的舞台上的表演者模型4。
[0067]
此外，作为观看者2的虚拟模型的观看者模型5被布置在虚拟空间3中。观看者模型5是例如根据已经由设置在客户终端12中的运动传感器检测到的观看者2的运动而移动的虚拟化身。在图2所示的示例中，示意性地示出了布置成围绕舞台的多个观看者模型5。
[0068]
此外，表演者1和观看者2的语音、评论等在虚拟空间3中共享。图2示意性地示出了表示语音和评论的图标6。例如，包括表演者1或观看者2已经输入的评论的图标6被布置成对应于该人的虚拟模型，从而输入了评论的人是可识别的。替选地，在表演者1或观看者2已经说过某事的情况下，图标6可以被布置成使得可以知道说话者。
[0069]
例如，使用观看者模型5参加虚拟空间3中的实况音乐会的观看者2的客户终端12显示与观看者模型5在虚拟空间3中的视场对应的视频(视场视频)因此，可以提供具有临场感的虚拟体验，就好像观看者2自己存在于虚拟空间3中的实况音乐会会场中一样。
[0070]
此外，在流式传输系统100中，流式传输服务器10生成从虚拟摄像装置的视点捕获虚拟空间3的视频并且将该视频作为实况内容进行流式传输。
[0071]
在下文中，将由虚拟摄像装置捕获的视频(从虚拟摄像装置的视点捕获的视频)称为虚拟摄像装置的视频。虚拟摄像装置的视频是与上述视场视频不同的视频。
[0072]
[虚拟摄像装置的视频]
[0073]
图3是用于描述由虚拟摄像装置捕获的图像的示意图。图4是示出虚拟摄像装置的视频的示例的示意图。
[0074]
虚拟摄像装置20是虚拟地配置成在虚拟空间3中移动并且对虚拟空间3进行成像的摄像装置。虚拟摄像装置20的图像捕获位置和图像捕获方向可以在虚拟空间3中自由设置。
[0075]
图3示意性地示出了捕获虚拟空间3的图像的虚拟摄像装置20以及虚拟摄像装置20的图像捕获路径21(图中的虚线)。应当注意，在实际构造虚拟空间3时，不显示表示虚拟摄像装置20和图像捕获路径21的对象。
[0076]
虚拟摄像装置20的图像捕获目标是在虚拟空间3中移动的表演者模型4。因此，可以说虚拟摄像装置20是在虚拟空间3中移动并且捕获表演者模型4的图像的摄像装置。在图3所示的示例中，虚拟摄像装置20沿着从表演者模型4的左后方向前延伸的图像捕获路径21移动。此时，适当地控制虚拟摄像装置20的捕获方向和图像捕获比例，使得表演者模型4落入虚拟摄像装置20的图像捕获范围内。
[0077]
例如，如图3所示，当虚拟摄像装置20通过表演者模型4的前方时，
[0078]
生成如图4所示从前方捕获表演者模型4的虚拟摄像装置视频22。
[0079]
以这种方式，虚拟摄像装置视频22是通过随时间改变虚拟空间3中的图像捕获位置和图像捕获方向并且捕获表演者模型4的图像而获得的视频。
[0080]
在使用虚拟摄像装置20进行的图像捕获中，对图像捕获位置、图像捕获方向等几乎没有限制。因此，例如，可以容易地实现在真实空间中难以进行图像捕获的摄像装置作业等。结果，可以容易地实现动态的视觉表现。
[0081]
此外，在本实施方式中，由虚拟摄像装置20捕获的表演者模型4的图像(虚拟摄像装置视频22)作为实况内容被流式传输。因此，每个观看者2可以实时欣赏在虚拟空间3中进行的实况音乐会等。
[0082]
在这样的实况流式传输中，例如，在通过将虚拟摄像装置20移动到表演者模型4附近来拍摄特写镜头的情况下，如果虚拟摄像装置20的摄像装置路径(图像捕获路径21)是固定路径，则存在表演者模型4与虚拟摄像装置20彼此碰撞的可能性。例如，在表演者模型4(表演者1)的运动比计划大的情况下，可以想到表演者模型4与虚拟摄像装置20彼此碰撞。在这种情况下，担心将进入/穿过表演者模型4的“没入视频”或者“穿透视频”作为虚拟摄像装置视频22进行实况流式传输。
[0083]
在本实施方式中，对表演者模型4与虚拟摄像装置20的位置关系进行监视。然后，根据表演者模型4与虚拟摄像装置20之间的位置关系，执行用于避免虚拟摄像装置20与表演者模型4碰撞的碰撞避免处理。
[0084]
碰撞避免处理通常是控制虚拟摄像装置20的动作以使虚拟摄像装置20执行避免与表演者模型4碰撞的动作(碰撞避免动作)的处理。
[0085]
因此，预先避免了虚拟摄像装置20与表演者模型4碰撞的情况，并且适当地捕获表演者模型4的图像而不会产生例如“没入视频”或“穿透视频”。稍后将详细描述碰撞避免处理。
[0086]
图5是示出图像捕获系统11和流式传输服务器10的功能配置示例的框图。图像捕
获系统11和流式传输服务器10是在流式传输系统100中流式传输者用来流式传输实况内容的流式传输侧系统。例如，出现在实况音乐会中的表演者1或者执行实况内容的计划等的公司是流式传输者。
[0087]
[图像捕获系统的配置]
[0088]
图像捕获系统11生成用于生成表演者1的体积模型所需的数据。如图5所示，图像捕获系统11包括图像捕获单元30和图像捕获处理单元31。
[0089]
图像捕获单元30包括用于对表演者1进行成像/感测的一组装置，例如，在拍摄工作室中使用以用于捕获表演者1的图像。在本实施方式中，
[0090]
图像捕获单元30包括多视点视频捕获单元32和身体位置感测单元33。
[0091]
图6是示出图像捕获单元30的配置示例的示意图。
[0092]
多视点视频捕获单元32是包括多个摄像装置的多摄像装置单元。图6示意性地示出了构成多视点视频捕获单元32的n个摄像装置(cam(1)至cam(n))。各个摄像装置例如布置在不同的位置处以便在所有方向上捕获表演者1的图像。因此，可以生成组合表演者1的全身的图像的体积模型。因此，可以说多视点视频捕获单元32是用于体积图像捕获的多视点摄像装置。
[0093]
身体位置感测单元33包括用于检测表演者1的身体的各个部位的位置的传感器(运动传感器)。在图6所示的示例中，可穿戴式位置传感器33a、深度摄像装置33b和红外摄像装置33c用作身体位置感测单元33。
[0094]
应当注意，用作身体位置感测单元33等的传感器的种类不受限制，并且可以使用其他运动传感器。另外，这些传感器可以单独使用，或者这些传感器中的全部或一些可以组合使用。
[0095]
可穿戴式位置传感器33a是表演者1佩戴在身体上使用的传感器，并且检测佩戴部位的位置。例如，在图6所示的示例中，可穿戴式位置传感器33a被佩戴在表演者1的左右手腕中的每一个上。在这种情况下，检测表演者1的手腕的位置，并且可以检测表演者1的手的动作。
[0096]
深度摄像装置33b是捕获图像捕获目标的(表演者1)的深度图像的摄像装置。深度图像是针对每个像素已经检测到的距图像捕获目标的距离(深度)的图像。深度图像的使用可以检测表演者1的身体各部分的位置。
[0097]
例如，tof摄像装置等被用作深度摄像装置33b。
[0098]
红外摄像装置33c是向图像捕获目标照射红外线并且捕获红外图像的摄像装置。在使用红外摄像装置33c的情况下，例如，选择性地反射红外线的红外标记34被佩戴在表演者1的身体上，并且捕获表演者1的红外图像。根据这样捕获的红外图像中的红外标记34的状态，可以检测佩戴部位的位置。
[0099]
图7是示出拍摄工作室的示例的示意图。拍摄工作室是例如在背景和地板上使用绿构件的绿背景工作室。
[0100]
在拍摄工作室中，例如，安装有将多视点视频捕获单元32的各个摄像装置固定的杆。在图7所示的示例中，cam(1)和cam(2)被固定在图中左侧的杆的上部和下部，cam(3)和cam(4)被固定在右侧的杆的上部和下部。此外，红外摄像装置33c分别布置在各个杆的上端。此外，在杆上分别设置有照明灯35。例如，将多个这样的杆布置成围绕表演者1。
[0101]
因此，可以在所有方向上捕获表演者1的图像。
[0102]
此外，在拍摄工作室中，布置有深度摄像装置33b。深度摄像装置33b与表演者1之间的距离被设置为预定值(例如，大约0.5m至5.5m)，从而可以捕获必要范围的深度图像。
[0103]
应当注意，拍摄工作室的具体配置不受限制。例如，可以适当地使用能够捕获和感测生成表演者模型4所需的摄影装置。
[0104]
返回来参照图5，图像捕获处理单元31是数据处理装置，该数据处理装置整合图像捕获单元30的输出以生成用于生成体积模型所需的数据。例如，诸如个人计算机(pc)的计算机被用作图像捕获处理单元31。替选地，稍后将描述的流式传输服务器10可以构成图像捕获处理单元31。
[0105]
摄像处理单元31包括作为功能块的摄像装置图像生成单元36、多视点视频流式传输处理单元37、身体位置信息生成单元38和3d模型位置信息生成单元39。
[0106]
摄像装置图像生成单元36读取多视点视频捕获单元32的输出并且生成由每个摄像装置捕获的摄像装置图像26。摄像装置图像26是通过在同一定时处从多个视点对表演者1执行图像捕获而获得的图像。图5示意性地示出了由各个摄像装置(cam(1)至cam(n))捕获的摄像装置图像26。
[0107]
多视点视频流式传输处理单元37基于多个摄像装置图像26来生成表演者1的多视点视频27，并且针对多视点视频27执行流式传输处理。多视点视频27例如通过使摄像装置图像26的图像捕获定时同步并且沿时间轴布置来生成。对多视点视频27执行诸如压缩和转换等的流式传输处理。
[0108]
在图5中，多视点视频27的示例被示意性地示出为沿时间轴的图像序列。
[0109]
身体位置信息生成单元38读取身体位置检测单元33的输出，并且生成表示表演者1的身体的各部位的位置的身体位置信息。例如，生成佩戴可穿戴式位置传感器33a的位置信息、由深度摄像装置33b已经捕获的表演者1的深度图像28、由红外线摄像装置33c捕获的表演者1的红外图像(红外标记34)等作为身体位置信息。在图5中，表演者1的深度图像28被示意性地示出为身体位置信息的示例。
[0110]
3d模型位置信息生成单元39基于上述身体位置信息，生成表示表演者模型4(这里为表演者1的体积模型)的各部位的位置的模型位置信息。
[0111]
具体地，基于身体位置信息执行骨骼估计处理，并且计算通过估计表演者1的骨骼的位置和姿势而获得的骨骼数据29。骨骼数据29被用作表演者模型4的模型位置信息。图5示意性地示出了骨骼数据29的示例。
[0112]
应当注意，除了上述骨骼估计之外的方法可以用作感测表演者1的身体位置的方法。例如，可以使用使用图像识别的身体各个部分的位置估计、使用机器学习的三维位置估计等。替选地，可以使用利用红外摄像装置和红外标记等的使用红外检测的运动捕获技术。
[0113]
[流式传输服务器的配置]
[0114]
流式传输服务器10包括网络传输单元40、存储单元41和服务器控制单元42。
[0115]
网络传输单元40是经由因特网13与其他装置执行网络通信的通信模块。网络传输单元40具有例如发送由流式传输服务器生成的数据(实况内容等)的数据发送功能以及经由因特网13接收从客户终端12发送的数据的数据接收功能。
[0116]
网络传输单元40的具体配置不受限制，并且可以使用适用于有线lan、无线lan、光
通信等的各种通信模块。
[0117]
存储单元41是非易失性存储装置。例如，使用诸如固态驱动器(ssd)的固态元件的记录介质或者诸如硬盘驱动器(hdd)的磁记录介质被用作存储单元41。另外，用作存储单元41等的记录介质的种类不受限制，并且例如可以使用任何非暂态记录数据的记录介质。
[0118]
根据本实施方式的控制程序被存储在存储单元41中。控制程序是例如用于控制流式传输服务器10的整体操作的程序。另外，存储单元41中存储的信息不受限制。
[0119]
服务器控制单元42控制流式传输服务器10的操作。服务器控制单元42例如具有计算机所需的硬件配置，例如cpu和存储器(ram、rom)。cpu将存储在存储单元41中的控制程序加载到ram中并且执行该控制程序，由此执行各种类型的处理。服务器控制单元42对应于根据本实施方式的信息处理装置。
[0120]
例如，诸如现场可编程门阵列(fpga)的可编程逻辑器件(pld)或者诸如专用集成电路(asic)的另一器件可以用作服务器控制单元42。此外，例如另外，可以使用诸如图形处理单元(gpu)的处理器作为服务器控制单元42。
[0121]
在本实施方式中，服务器控制单元42的cpu执行根据本实施方式的程序(控制程序)，因此内容数据生成单元43和虚拟摄像装置控制单元44被实现为功能块。然后，这些功能块执行根据本实施方式的信息处理方法。应当注意，可以适当地使用诸如集成电路(ic)的专用硬件以实现各个功能块。
[0122]
这里，内容数据生成单元43生成内容数据。内容数据是例如配置虚拟空间3所需的数据。内容数据包括与布置在虚拟空间3中的虚拟对象(表演者模型4、观看者模型5、舞台布景等)有关的数据、虚拟空间3中的声音数据以及来自表演者和观看者的评论等。
[0123]
如图5所示，内容数据生成单元43包括表演者模型生成单元45和观看者模型生成单元46。
[0124]
表演者模型生成单元45生成表演者模型4，该表演者模型4是表演者1的虚拟模型。具体地，基于从图像捕获系统11输出的表演者1的多视点视频27和骨骼数据29，生成关于表演者1的体积模型(表演者模型4)的数据。
[0125]
例如，表演者模型4的形状数据和纹理数据是根据多视点视频27生成的。此外，例如，表演者模型4的运动数据是根据骨骼数据29生成的。
[0126]
此外，表演者模型生成单元45根据表演者1的运动、实况音乐会的方向等计算表演者模型4在虚拟空间3中的布置位置。
[0127]
观看者模型生成单元46生成作为观看者2的虚拟模型的观看者模型5。具体地，观看者模型生成单元46从每个客户终端12获取表示观看者2的身体的各个部分(头部、手等)的位置的数据，并且基于这样的数据来生成关于观看者模型5(虚拟化身等)的数据。观看者模型5的设计等例如可以由观看者2指定，或者可以使用默认设计。
[0128]
此外，观看者模型生成单元46根据观看者2的运动等，计算每个观看者模型5在虚拟空间3中的安排位置。
[0129]
此外，内容数据生成单元43生成关于布置在虚拟空间3中的其他虚拟对象的数据、表演者1和观看者2的语音数据、一首音乐的播放数据等作为内容数据。内容数据的具体内容不受限制。
[0130]
由内容数据生成单元43生成的内容数据作为实况内容被流式传输到每个客户终
端12。
[0131]
虚拟摄像装置控制单元44控制虚拟摄像装置20生成虚拟摄像装置视频22(参见图4)，虚拟摄像装置视频22是通过用虚拟摄像装置20捕获虚拟空间3的图像而获得的。
[0132]
例如，由内容数据生成单元43生成的表演者模型4和观看者模型5被布置在虚拟空间3中，并且再现虚拟实况音乐会。虚拟摄像装置控制单元44控制虚拟摄像装置20在如此构造的虚拟空间3中的动作。
[0133]
在本实施方式中，虚拟摄像装置控制单元44以取决于在虚拟空间3中移动的表演者模型4与在虚拟空间3中移动并且捕获表演者模型4的图像的虚拟摄像装置20之间的位置关系的方式执行用于避免虚拟摄像装置20与表演者模型4碰撞的碰撞避免处理。在本实施方式中，虚拟摄像装置控制单元44对应于图像捕获控制单元。
[0134]
表演者模型4与虚拟摄像装置20之间的位置关系通常使用表演者模型4与虚拟摄像装置20之间的距离(相对距离)来表达。应当注意，表演者模型4与虚拟摄像装置20之间的距离可以是当前值，或者可以是预测值。
[0135]
例如，监视表演者模型4与虚拟摄像装置20之间的距离，并且在该值满足预定条件的情况下执行碰撞避免处理。替选地，作为碰撞避免处理，执行依次控制虚拟摄像装置20的动作的处理，使得表演者模型4与虚拟摄像装置20之间的距离满足预定条件。
[0136]
此外，虚拟摄像装置控制单元44生成虚拟摄像装置视频22。例如，以预定帧速率生成在实况音乐会期间从在虚拟空间3中移动的虚拟摄像装置20观看的图像。基于这些图像来生成通过在实况音乐会期间捕获虚拟空间3的图像而获得的虚拟摄像装置视频22。
[0137]
虚拟摄像装置视频22作为实况内容由每个客户终端12流式传输。以这种方式，在本实施方式中，由虚拟摄像装置20捕获的图像(虚拟摄像装置视频22)被实时流式传输。
[0138]
[客户终端的配置]
[0139]
图8是示出客户终端12的功能配置示例的框图。客户终端12包括网络传输单元50、存储单元51和终端控制单元52。另外，图8所示的客户终端包括hmd 14和手操控制器15。
[0140]
在本实施方式中，客户终端12充当显示装置。
[0141]
在此，将使用客户终端12的观看者2称为体验人，并且将体验人以外的观看者2称为其他观看者。
[0142]
hmd 14是体验人佩戴在头上并且使用的显示装置。hmd 14包括显示器53、音频输出单元54、音频输入单元55和hmd操作传感器56。
[0143]
显示器53被布置为覆盖体验人的视野。例如，液晶显示器或有机el显示器被用作显示器53。音频输出单元54是再现扬声器、耳机等的声音的元件。音频输入单元55是检测麦克风等的声音的元件。hmd操作传感器56是检测hmd 14的主体的位置和姿态的传感器，并且例如包括加速度传感器、陀螺仪传感器、方向传感器等。
[0144]
在本实施方式中，显示器53对应于显示由虚拟摄像装置捕获的图像的显示单元。
[0145]
手操控制器(hc)15是根据体验人的手的运动接收输入操作的操作装置。体验人握持并且操作的握持型装置或者体验人戴在体验人手上并且使用的可穿戴式装置被用作手操控制器15。手操控制器15包括振动生成单元57和hc运动传感器58。
[0146]
振动生成单元57是产生振动的装置，并且例如使用音圈马达、偏心马达等。hc运动传感器58是检测手操控制器15的主体的位置和姿势的传感器。
[0147]
网络传输单元50是经由因特网13与其他装置执行网络通信的通信模块。网络传输单元50具有例如接收由流式传输服务器10生成的数据的数据接收功能以及发送由客户终端12生成的数据的数据发送功能。
[0148]
存储单元51是非易失性存储装置，并且使用诸如ssd、hdd的记录介质。存储单元51存储用于控制客户终端12的整体操作的控制程序。另外，存储在存储单元51中的信息不受限制。
[0149]
终端控制单元52控制客户终端12的操作。终端控制单元52例如具有计算机所需的硬件配置，例如cpu和存储器(ram、rom)。cpu将存储在存储单元51中的控制程序加载到ram中并且执行该控制程序，由此执行各种类型的处理。终端控制单元52的具体配置不受限制。
[0150]
在本实施方式中，终端控制单元52的cpu执行存储在存储单元51中的控制程序，从而实现各种功能块。
[0151]
如图8所示，终端控制单元52包括作为功能块的视频获取单元60、表演者数据分析单元61、其他观看者数据分析单元62、定时同步单元63a至63c、体验人数据输出单元64、3d对象控制单元65、3d对象碰撞检测单元66和显示控制单元67。
[0152]
此外，经由因特网13发送和接收的数据(网络通信数据组)被示意性地示出在由图8的虚线包围的区域中。
[0153]
视频获取单元60经由网络传输单元50获取由虚拟摄像装置20捕获的虚拟摄像装置视频22，并且将视频输出到显示控制单元67。图8示意性地示出了输出到显示控制单元67的虚拟摄像装置视频22。
[0154]
如上所述，在本实施方式中，流式传输服务器10(虚拟摄像装置控制单元44)以取决于在虚拟空间3中移动的表演者模型4与在虚拟空间3中移动并且捕获表演者模型4的图像的虚拟摄像装置20之间的位置关系的方式来执行用于避免虚拟摄像装置20与表演者模型4碰撞的碰撞避免处理。因此，视频获取单元60获取由根据这样的碰撞避免处理移动的虚拟摄像装置20捕获的图像(虚拟摄像装置视频22)。
[0155]
在本实施方式中，视频获取单元60对应于图像获取单元。
[0156]
表演者数据分析单元61经由网络传输单元50获取与表演者1有关的数据，分析所获取的数据，并且生成表演者数据(表演者视频数据、表演者语音流、表演者元数据)。
[0157]
表演者视频数据是例如表示表演者模型4的外观(形状和纹理)的数据。表演者语音流是例如表演者1的语音和乐曲的流式传输数据。表演者元数据是例如关于表演者模型4的身体位置的数据(骨骼数据29)以及来自表演者1的评论等的文本数据。关于身体位置的数据是例如表示头部和双手的位置和姿势的数据以及表示各个部分的数据，并且使用六自由度(dof)或三自由度。由表演者数据分析单元61生成的表演者数据被输出到定时同步单元63a。
[0158]
其他观看者数据分析单元62经由网络传输单元50获取与除了体验人之外的其他观看者有关的数据，分析所获取的数据，并且生成其他观看者数据(其他观看者语音流、其他观看者元数据)。
[0159]
其他观看者语音流是其他观看者语音的流式传输数据。其他观看者元数据是例如关于其他观看者使用的虚拟化身(观看者模型5)的数据(骨骼数据等)以及来自其他观看者的评论的文本数据等。由其他观看者数据分析单元62生成的其他观看者数据被输出到定时
同步单元63b。
[0160]
定时同步单元63a将由表演者数据分析单元61生成的表演者数据(表演者视频数据、表演者语音流、表演者元数据)的定时进行同步。图8示意性地示出了其定时已经同步的表演者数据。
[0161]
经同步的表演者数据的图形相关数据(表演者视频数据、骨骼数据29、评论等)被输出到3d对象控制单元65。此外，语音相关数据(表演者语音流等)被输出到hmd 14的音频输出单元54。
[0162]
定时同步单元63b将由其他观看者数据分析单元62生成的其他观看者数据(其他观看者语音流、其他观看者元数据)的时序进行同步。图8示意性地示出了其时序已经同步的其他观看者数据。
[0163]
经同步的其他观看者数据的图形相关数据(骨骼数据、评论等)被输出到3d对象控制单元65。此外，语音相关数据(其他观看者语音流等)被输出到音频hmd 14的输出单元54。
[0164]
定时同步单元63c生成与使用客户终端12的体验人有关的体验人数据(体验人语音流、体验人元数据)，从而使定时同步。
[0165]
体验人语音流是体验人的语音的流式传输数据并且基于hmd 14的音频输入单元55的输出来生成。体验人元数据是例如关于体验人使用的虚拟化身(观看者模型5)的数据(骨骼数据等)。基于hmd 14的hmd操作传感器56和手操控制器15的hc运动传感器58的输出来生成关于虚拟化身的数据。此外，来自体验人的评论的文本数据等可以基于字符输入、语音识别等来生成为体验人元数据。
[0166]
体验人数据输出单元64对体验人数据进行压缩和转换，以生成要发送的体验人数据。该数据经由网络传输单元50发送到流式传输服务器10。
[0167]
流式传输服务器10例如基于从各个客户终端12发送的体验人数据，
[0168]
生成与各个观看者2对应的观看者模型5等。
[0169]
3d对象控制单元65生成表演者模型4、观看者模型5等的虚拟对象(3d对象)，并且构造在其中布置有虚拟对象的虚拟空间3(参见图2)。
[0170]
例如，基于定时同步单元63a的输出，生成表演者模型4(表演者1的体积模型)。另外，基于定时同步单元63b的输出，生成其他观看者使用的观看者模型5。此外，基于hmd操作传感器56和hc运动传感器58的输出，生成体验人使用的观看者模型5(体验人的虚拟化身)。此外，表示来自表演者1、其他观看者和体验人的评论的图标等被布置在虚拟空间3中。
[0171]
已经由3d对象控制单元65设置的与虚拟空间3有关的数据被输出到3d对象碰撞检测单元66和显示控制单元67。
[0172]
3d对象碰撞检测单元66检测虚拟空间3中的虚拟模型的碰撞(接触)。具体地，3d对象碰撞检测单元66检测由体验人使用的观看者模型5与另一个虚拟对象(例如，表演者模型4或者其他观看者模型5)之间的碰撞。
[0173]
此外，当3d对象碰撞检测单元66检测到模型之间的碰撞时，3d对象碰撞检测单元66生成与碰撞对应的振动信号。生成的振动信号被输出到手操控制器15的振动生成单元57。
[0174]
显示控制单元67控制虚拟空间3在客户终端12(这里是hmd 14的显示器53)中的显示。具体地，显示控制单元67适当地生成向显示器53输出的图像(在下文中，称为输出图
像)。
[0175]
基于关于虚拟空间3的数据，显示控制单元67生成表示由体验人使用的观看者模型5的视场的视场视频。此外，由虚拟摄像装置20捕获的虚拟摄像装置视频22被输入到显示控制单元67。
[0176]
在本实施方式中，视场视频和虚拟摄像装置视频22被切换并且用作输出视频。例如，视场视频和虚拟摄像装置视频22分别根据由体验人执行的预定切换操作等来切换。
[0177]
此外，生成输出视频等的方法不受限制。例如，在客户终端12设置有多个显示器的情况下，可以分别输出视场视频和虚拟摄像装置视频22。此外，在不使用观看者模型5等的情况下，可以使用仅输出虚拟摄像装置视频22的配置。
[0178]
此外，本技术不限于流式传输服务器10生成虚拟摄像装置视频22的情况，并且例如，客户终端12可以生成虚拟摄像装置视频22。在这种情况下，例如，虚拟摄像装置20捕获由客户终端12构造的虚拟空间3的图像。在这种情况下，在客户终端12中执行后述的虚拟摄像装置20的碰撞避免处理。
[0179]
[虚拟摄像装置控制单元的操作]
[0180]
将具体描述流式传输服务器10的虚拟摄像装置控制单元44的移动。
[0181]
虚拟摄像装置控制单元44监视虚拟空间3中的表演者模型4与虚拟摄像装置20之间的位置关系。基于该监视的结果，预先检测在表演者模型4与虚拟摄像装置20之间可能发生碰撞的状态。
[0182]
具体地，虚拟摄像装置控制单元44基于表演者模型4与虚拟摄像装置20之间的位置关系，检测表演者模型4与虚拟摄像装置20的接近状态。
[0183]
然后，在已经检测到接近状态的情况下，执行碰撞避免处理。
[0184]
这里，接近状态是例如由于表演者模型4与虚拟摄像装置20彼此接近而可能在表演者模型4与虚拟摄像装置20之间发生碰撞的状态。因此，在已经检测到接近状态的情况下，为了预先避免虚拟摄像装置20与表演者模型4的碰撞，执行碰撞避免处理。
[0185]
图9是示出接近状态的示例的示意图。
[0186]
在本实施方式中，虚拟摄像装置控制单元44将表演者模型4与虚拟摄像装置20之间的相对距离等于或小于预定阈值r的状态检测为接近状态。图9示意性地示出了相对距离＝r成立的状态。
[0187]
在此，表演者模型4与虚拟摄影机20之间的相对距离是例如表演者模型4的基准点与虚拟摄影机20的基准点之间的距离。摄像装置20的基准点通常是虚拟摄像装置20的视点(图像捕获位置)。
[0188]
表演者模型4的基准点例如被设置为表演者模型4的重心(模型中心位置)。在这种情况下，可以容易地计算相对距离，并且可以减少监视相对距离(位置关系)所需的计算资源。
[0189]
此外，基准点可以被设置在表演者模型4的表面上。在这种情况下，例如，计算从虚拟摄像装置20的视点到表演者模型4的表面的最近距离作为相对距离。因此，无论表演者模型4的形状、大小等如何，都可以可靠地检测虚拟摄像装置20接近的状态。
[0190]
此外，表演者模型4与虚拟摄像装置20之间的相对距离可以是当前值或者可以是预测值。
[0191]
相对距离的当前值基于例如表演者模型4和虚拟摄像装置20的各个基准点的当前位置来计算。
[0192]
此外，相对距离的预测值基于例如表演者模型4和虚拟摄像装置20的各个基准点的预测位置来计算。表演者模型4的基准点的预测位置例如基于使用表演者模型4的当前移动方向和移动速度的运动预测来估计。此外，虚拟摄像装置20的基准点的预测位置基于用于虚拟摄像装置20的图像捕获来估计。使用预测值可以可靠地避免表演者模型4与虚拟摄像装置20之间的碰撞。
[0193]
如以下将描述的，当表演者模型4与虚拟摄像装置20之间的相对距离变得等于或者小于阈值r并且已经检测到接近状态时，用于虚拟摄像装置20的路径等被控制为使得相对距离大于阈值r。因此，可以说阈值r是虚拟摄像装置20可以在表演者模型4附近执行图像捕获的最小距离(特写镜头拍摄允许值)。
[0194]
例如，阈值r在真人大小的尺度中被设置为大约2m。本技术不限于此，并且可以根据表演者模型4的种类和表演等适当地设置阈值r。
[0195]
[碰撞避免处理]
[0196]
将描述在已经检测到接近状态的情况下执行的碰撞避免处理。
[0197]
在下文中，假设虚拟摄像装置20在虚拟空间3中的图像捕获路径是预设的。也就是说，虚拟摄像装置20沿着预设的图像捕获路径捕获表演者模型4的图像。
[0198]
在本实施方式中，在虚拟摄像装置控制单元44检测到接近状态的情况下，虚拟摄像装置控制单元44作为碰撞回避处理而改变图像捕获路径。
[0199]
图10是示出改变图像捕获路径的碰撞避免处理的示例的示意图。
[0200]
图10示意性地示出了虚拟摄像装置20的图像捕获路径21，该图像捕获路径21已经被设置为按顺序捕获表演者模型4的图像。图像捕获路径21具有多个中继点。虚拟摄像装置控制单元44使虚拟摄像装置20以预先设置的顺序通过这些中继点，并且捕获表演者模型4的图像。以这种方式，捕获路径21是设置为使得虚拟摄像装置20按顺序通过多个中继点的路径。
[0201]
在图10所示的示例中，图像捕获路径21被设置为按所述顺序通过中继点p1、p2、p3和p4。虚拟摄像装置20例如沿着连接各个中继点的直线移动。应当注意，中继点之间的路径可以被设置为曲线。此时，适当地调整虚拟摄像装置20的图像捕获方向，使得表演者模型4落入图像捕获范围(视角)内。
[0202]
此外，对于每个中继点，设置虚拟摄像装置20应该经过中继点的经过时间。例如，对中继点p1、p2、p3和p4分别设置经过时间t1、t2、t3和t4。因此，虚拟摄像装置20在时间t1处移动通过中继点p1，在时间t2处通过中继点p2，在时间t3处通过中继点p3，并且在时间t4处通过中继点p4。
[0203]
因此，图像捕获路径21是已经对多个中继点的每一个设置了虚拟摄像装置20的经过时间的路径。
[0204]
假设表演者模型4的位置，适当地设置图像捕获路径21，使得表演者模型4与虚拟摄像装置20不会相互碰撞。使用图像捕获路径21可以取决于表演者模型4(表演者1)给出的表演的内容等，具体设置各种类型的摄像装置工作。例如，在演奏一首乐曲的情况下，图像捕获路径21适合于包括拍摄表演者模型4的面部表情的特写镜头的时间以及拍摄表演者模
型4的整个图像的时间的摄像装置工作时间表。
[0205]
此外，在设计图像捕获路径21时，将至少一个关键中继点设置为多个中继点。这里，关键中继点是例如希望在实况表演中可靠地执行图像捕获的中继点，并且可以由图像捕获路径21的设计者(例如，表演者、创作者、导演)适当设置。例如，将用于在乐曲的高潮部分捕获表演者模型4或者表演者模型4的特定姿势的图像的中继点设置为关键中继点。
[0206]
此外，设置图像捕获路径21的方法不受限制。例如，可以自动设置图像捕获路径21。例如，设计者设置虚拟摄像装置20的粗略移动路线。基于该粗略移动路线，虚拟摄像装置20的最终图像捕获路径(中继点和经过时间)根据内容的持续时间和表演者1的动作自动设置。
[0207]
应当注意，在虚拟摄像装置20沿着图像捕获路径21移动时，表演者模型4的位置也根据表演者1的移动、实况音乐会的方向等而连续变化。因此在执行实况流式传输的情况下，在设置了图像捕获路径21时，表演者模型4的位置有可能比假设值移动得更大。
[0208]
在图10所示的碰撞避免处理中，在已经检测到接近状态的情况下，虚拟摄像装置控制单元44改变作为虚拟摄像装置20的移动目的地的中继点，使得避免表演者模型4与虚拟摄像装置20之间的碰撞。即，在检测到接近状态的定时处，将在这之前作为虚拟摄像装置20的移动目的地的中继点改变为另一个中继点。
[0209]
结果，虚拟摄像装置20的图像捕获路径21变为朝向改变后的中继点的路径。因此，改变中继点的处理是改变图像捕获路径21的碰撞避免处理。因此，可以预先避免虚拟摄像装置20与表演者模型4碰撞的情况。
[0210]
具体地，在已经在预定了多个中继点的图像捕获路径21中检测到表演者模型4与虚拟摄像装置20之间的接近(接近状态)的情况下，将图像捕获路径21朝向不会发生碰撞的、按顺序序号最小的中继点改变。即，当已经检测到接近状态时，抄近路至可以避免碰撞的在图像捕获路径21上的最短距离处的中继点。
[0211]
该碰撞避免处理包括以下处理。
[0212]-监视处理：实时监视虚拟摄像装置20的轨迹，并且以取决于表演者模型4与虚拟摄像装置20之间的位置关系的方式检测接近状态。
[0213]-路径改变处理：在已经检测到接近状态的情况下，选择不会发生碰撞的、按顺序序号最小的中继点，并且改变图像捕获路径21使得执行朝向中继点路线行进。
[0214]-速度调整处理：基于由于图像捕获路径21的改变而导致的虚拟摄像装置20的移动距离的增大或者减少，通过反向计算来调整虚拟摄像装置20的移动速度。
[0215]
在下文中，将参照图10具体描述各个处理。
[0216]
例如，已经在时间t1处通过中继点p1的虚拟摄像装置20的下一个移动目的地被设置为中继点p2。然后，虚拟摄像装置20从中继点p1向中继点p2移动，使得在时间t2处到达中继点p2。
[0217]
在监视处理中，不断地计算表演者模型4与移动中的虚拟摄像装置20的相对距离，并且基于该相对距离来监视存在/不存在接近状态。具体地，确定相对距离是否等于或小于阈值r。
[0218]
例如，假设因为表演者模型4移动而已经检测到接近状态。在图10中，在朝向中继点p2移动的虚拟摄像装置20在时间tx处到达点x的定时处，表演者模型4与虚拟摄像装置20
之间的相对距离变得等于或者小于阈值r并且检测到接近状态。
[0219]
当已经检测到接近状态时，执行路径改变处理。这里，选择不会发生碰撞的、按顺序序号最小的中继点。
[0220]
例如，按照距离的升序来选择虚拟摄像装置20还未经过的中继点，并且在朝向每个中继点改变路线的情况下确定是否将发生碰撞。然后，选择首先确定为不会发生碰撞的中继点的中继点作为虚拟摄像装置20的下一个移动目的地。
[0221]
例如，基于表演者模型4的当前位置和运动预测或者表演者模型4的计划移动路径(动作计划)等来确定是否将发生碰撞。
[0222]
在图10中，在时间tx处，中继点p2、p3和p4是虚拟摄像装置20还未经过的中继点。在虚拟摄像装置20朝向这些中继点的中继点p2移动的情况下，担心会发生与表演者模型4的碰撞。在虚拟摄像装置20朝向中继点p3移动的情况下，由于表演者模型4与虚拟摄像装置20之间的距离更长，因此确定不会发生碰撞。因此，中继点p3被设置为不会发生碰撞的、按顺序序号最小的中继点，作为虚拟摄像装置20的下一个移动目的地。
[0223]
以这种方式，在本实施方式中，虚拟摄像装置控制单元44将虚拟摄像装置20的移动目的地设置为能够避免表演者模型4与虚拟摄像装置20之间的碰撞的最近的中继点。因此，可以在不显著改变初始图像捕获路径21的情况下执行计划的摄像装置工作中的图像捕获。
[0224]
应当注意，改变中继点的方法不受限制，并且例如可以不基于图像捕获路径21上的顺序来选择虚拟空间3中较近距离处的中继点。相应地，
[0225]
可以迅速返回到初始的图像捕获路径21。
[0226]
应当注意，改变中继点的方法不受限制。例如，可以新添加虚拟摄像装置20不会与表演者模型4碰撞的中继点，并且将虚拟摄像装置20朝向添加的中继点移动。也就是说，可以增加中继点，从而围绕表演者模型4绕行，以避免表演者模型4与虚拟摄像装置20之间的碰撞。
[0227]
当图像捕获路径21已经改变时，执行速度调整处理。在本实施方式中，虚拟摄像装置控制单元44基于对中继点设置的经过时间，调整虚拟摄像装置20在经改变的捕获路径21上移动的移动速度。
[0228]
例如，通过改变中继点来改变虚拟摄像装置20的移动距离。因此，在保持在这之前的移动速度的情况下，图像捕获(摄像装置工作)的时间表有可能发生变化。为了防止这样的时间表的改变，参照经过中继点的时间来改变虚拟摄像装置20的移动速度。因此，可以防止发生内容运动图像的持续时间的不一致等。
[0229]
在本实施方式中，虚拟摄像装置控制单元44以取决于经过包括在经改变的图像捕获路径21中的关键中继点的时间的方式调整虚拟摄像装置的移动速度。
[0230]
具体地，增大或者减小虚拟摄像装置20的移动速度，使得虚拟摄像装置20可以在针对关键中继点设置的经过时间处经过关键中继点。
[0231]
例如，假设图10所示的中继点p3为关键中继点。在这种情况下，调整虚拟摄像装置20的移动速度，使得虚拟摄像装置20在针对中继点p3设置的经过时间t3处经过中继点p3。例如，通过抄近路至中继点p3，在移动距离减小的情况下将移动速度设置为较低，而在移动距离增大的情况下将移动速度设置为较高。
[0232]
此外，例如，在将中继点p4设置为关键中继点的情况下，调整虚拟摄像装置20的移动速度，使得虚拟摄像装置20在针对中继点p4设置的经过时间t4处经过中继点p4。在这种情况下，经过中继点p3的时间不必一定是时间t3。
[0233]
以这种方式基于关键中继点的经过时间来调整虚拟摄像装置20的移动速度可以可靠地在适当的时间处在关键中继点执行图像捕获。因此，可以在不遗漏表演者模型4(表演者1)进行特定表演的重要场景的情况下执行图像捕获。
[0234]
应当注意，调整虚拟摄像装置20的移动速度的方法不受限制。例如，不参考关键中继点等，可以根据经改变的中继点(图10中的中继点p3)的经过时间来调整移动速度。因此，执行接近初始时间表的图像捕获。替选地，可以根据整体播放时间等适当调整剩余中继点的经过时间。在这种情况下，虚拟摄像装置20的移动速度根据经调整的经过时间来设置。因此，例如，可以抑制移动速度的不自然的增大/减小。
[0235]
图11是图10所示的碰撞避免处理的流程图。
[0236]
首先，在监视表演者模型4的同时移动虚拟摄像装置20，以在预定时间处经过下一个中继点(步骤101)。例如，监视表演者模型4的位置，并且基于监视的结果来计算与虚拟摄像装置20的相对距离。此时，设置虚拟摄像装置20的移动速度，使得在经过设置为移动目的地的中继点时到达中继点。
[0237]
确定表演者模型4与虚拟摄像装置20的位置关系是否为接近状态(步骤102)。例如，根据上面参照图9描述的方法来执行关于接近状态的确定。
[0238]
在未检测到接近状态的情况下(步骤102中的“否”)，执行稍后描述的步骤105。
[0239]
在已经检测到接近状态的情况下(步骤102中的“是”)，将虚拟摄像装置20的图像捕获路径变为不会发生碰撞的、按顺序序号最小的中继点(步骤103)。
[0240]
例如，在路径已经变为虚拟摄像装置20还未经过的中继点之一的情况下，确定是否可以避免碰撞，并且选择可以避免碰撞的、按顺序序号最小的中继点。然后，设置用于朝向所选择的中继点移动的新的图像捕获路径21。
[0241]
当图像捕获路径21已经改变时，调整虚拟摄像装置20的移动速度，以在预定时间处经过关键中继点(步骤104)。
[0242]
例如，在距关键中继点的移动距离减小的情况下，移动速度被设置为较慢，而在移动距离增大的情况下，移动速度被设置为更高。即，通过反向计算经改变的移动距离来设置虚拟摄像装置20的移动速度。
[0243]
当已经调整了移动速度时，确定虚拟摄像装置20是否已经到达最终中继点(步骤105)。最终中继点是针对图像捕获路径21设置的最终中继点。
[0244]
在虚拟摄像装置20还未到达最终中继点的情况下(步骤105中的
[0245]“否”)，认为还存在虚拟摄像装置20没有经过的中继点，并且再次执行步骤101以及步骤101之后的步骤的处理。应当注意，在图像捕获路径21已经改变的情况下，作为步骤101中的移动目的地的中继点被改变为新设置的中继点，并且虚拟摄像装置20以在步骤104中设置的移动速度移动。
[0246]
在虚拟摄像装置20已经到达最终中继点的情况下(步骤105中的“是”)，确定图像捕获结束时间是否已经到来(步骤106)。图像捕获结束时间是用于终止虚拟摄像装置20的图像捕获的时间。图像捕获结束时间例如根据表演者模型4(表演者)的表演的时间表适当
地设置。
[0247]
在未到图像捕获结束时间的情况下(步骤106中的“否”)，继续从最终中继点进行图像捕获。在图像捕获结束时间到来的情况下(步骤106中的“是”)，虚拟摄像装置20的图像捕获结束并且实况转播结束。
[0248]
图12是示出改变图像捕获路径的碰撞避免处理的另一个示例的示意图。
[0249]
在图12所示的碰撞避免处理中，在检测到接近状态的情况下，虚拟摄像装置控制单元44改变至作为虚拟摄像装置20的移动目的地的中继点的路径的至少一部分，使得避免表演者模型4与虚拟摄像装置20之间的碰撞。
[0250]
即，虚拟摄像装置20沿着用于到达作为虚拟摄像装置20的移动目的地的中继点的新路径移动。结果，虚拟摄像装置20的图像捕获路径21从朝向下一个中继点的先前路径(例如，直接延伸到下一个中继点的路径)变为新路径。
[0251]
该新路径可以是返回到先前路径的中途点朝向下一个中继点的路径，或者可以是直接朝向下一个中继点而不经过先前路径的路径。
[0252]
在图12中以这种方式执行改变中继点之间的路径的碰撞避免处理。
[0253]
因此，可以预先避免虚拟摄像装置20与表演者模型4碰撞的情况。
[0254]
具体地，在已经在预先确定了多个中继点的图像捕获路径21中检测到表演者模型4与虚拟摄像装置20的接近(接近状态)的情况下，在监视表演者模型4的同时，沿着用于围绕表演者模型4绕行的替选路径23移动虚拟摄像装置20。
[0255]
即，虚拟摄像装置控制单元44使虚拟摄像装置20沿着替选路径23移动，以从检测到接近状态的点围绕表演者模型4绕行。
[0256]
应当注意，替选路径23是根据表演者模型4的移动等而改变的路径。
[0257]
该碰撞避免处理包括以下处理。
[0258]-监视处理：实时监视虚拟摄像装置20的轨迹，并且以取决于表演者模型4与虚拟摄像装置20之间的位置关系的方式检测接近状态。
[0259]-路径改变处理：在已经检测到接近状态的情况下，改变图像捕获路径21，使得在监视表演者模型4的同时执行以绕行方式朝向初始中继点的路线行进。
[0260]-速度调整处理：基于由于图像捕获路径21的改变而导致的虚拟摄像装置20的移动距离的增大或者减少，通过反向计算来调整虚拟摄像装置20的移动速度。
[0261]
在下文中，将参照图12具体描述各个处理。
[0262]
监视处理例如以与以上参照图10描述的方法类似的方式执行。在图12中，在从中继点p1朝向中继点p2的虚拟摄像装置20在时间tx处到达点x的定时处，表演者模型4与虚拟摄像装置20之间的相对距离变为等于或者小于阈值r并且检测到接近状态。
[0263]
当已经检测到接近状态时，执行路径改变处理。在此，控制虚拟摄像装置20的移动，以绕行至初始中继点(图12中的中继点p2)。绕行的轨迹是替选路径23。
[0264]
例如，如图12所示，移动虚拟摄像装置20，以从已经检测到接近状态的检测点x围绕表演者模型4绕行，并且返回到初始路径到达中继点p2。此时，控制虚拟摄像装置20的动作，使得表演者模型4与虚拟摄像装置20之间的相对距离保持恒定。因此，可以说替选路径23是使表演者模型4与虚拟摄像装置20之间的相对距离保持恒定的路径。
[0265]
图12示意性地示出了在表演者模型4停留在基本恒定位置处的情况下执行的虚拟
摄像装置20的绕行的状态。在这种情况下，替选路径23是以表演者模型4为中心从接近状态的检测点x返回到初始路径的圆弧路径。
[0266]
应当注意，在时间tx之后表演者模型4进一步移动的情况下，根据表演者模型4的动作而绕行，因此替选路径23不一定是圆弧状。
[0267]
在任何情况下，绕行的虚拟摄像装置20与表演者模型4具有恒定距离地移动，并且避免表演者模型4与虚拟摄像装置20之间的碰撞。
[0268]
此外，移动虚拟摄像装置20以返回初始路径。因此，可以充分减少与初始设置的摄像装置工作的偏差。
[0269]
此外，将路径改变到作为移动目的地的中继点的方法不受限制。例如，可以计算将检测到接近状态的点与作为移动目的地的中继点连接起来的不会发生碰撞的任意路径，并且将该路径用作替选路径23。在这种情况下，例如，基于表演者模型4的当前位置、运动预测、行动计划等，适当地计算不会发生碰撞的路径。
[0270]
当已经改变图像捕获路径21时，执行速度调整处理。例如，上面参照图10描述的方法可以用作速度调整处理。
[0271]
例如，基于针对中继点设置的经过时间来调整虚拟摄像装置20在经改变的图像捕获路径21(替选路径23)上移动的移动速度。例如，增大虚拟摄像装置20的移动速度，使得虚拟摄像装置20在中继点p2的经过时间t2到达中继点p2。因此，可以快速地返回到初始图像捕获时间表。
[0272]
此外，在图像捕获路径21包括关键中继点的情况下，根据经过关键中继点的经过时间来调整虚拟摄像装置20的移动速度。例如，在中继点p3是关键中继点的情况下，增大虚拟摄像装置20的移动速度，以在时间t3处通过中继点p3。在这种情况下，移动速度的变化小于在移动速度根据经过中继点p2的经过时间t2而增大的情况下移动速度的变化。因此，可以在避免不自然的速度增大等的同时可靠地拍摄重要场景。
[0273]
图13是图12所示的碰撞避免处理的流程图。
[0274]
首先，在监视表演者模型4的同时移动虚拟摄像装置20，以在预定时间处通过下一个中继点(步骤201)。随后，确定表演者模型4与虚拟摄像装置20之间的位置关系是否为接近状态(步骤202)。
[0275]
在未检测到接近状态的情况下(步骤202中的“否”)，执行稍后描述的步骤205。
[0276]
在检测到接近状态的情况下(步骤202中的“是”)，虚拟摄像装置控制单元44监视表演者模型4，并且基于监视结果使虚拟摄像装置20绕行朝向初始中继点。(步骤203)。
[0277]
例如，调整虚拟摄像装置20的移动位置，使得表演者模型4与虚拟摄像装置20之间的相对距离在绕行中恒定。此外，控制虚拟摄像装置20的移动方向以返回到初始图像捕获路径21。此外，可以使用任何方法围绕表演者模型4进行绕行。
[0278]
调整虚拟摄像装置20的移动速度，以在预定时间处经过关键中继点(步骤204)。
[0279]
例如，根据绕行方法，估计虚拟摄像装置20的移动距离的增大/减小的量。这里，例如，在假设表演者模型4不移动因此与表演者模型4的相对距离保持恒定的情况下，计算虚拟摄像装置20的移动距离的增大/减小的量。在预定时间处经过作为目的地的中继点所需的移动速度是通过基于这样的估计结果反向计算来设置的。此外，例如，在移动距离根据表演者模型4的移动而改变的情况下，移动速度可以在每次移动距离根据表演者模型4的移动
而改变发生时进行调整。
[0280]
当已经调整了移动速度时，确定虚拟摄像装置20是否已到达最终中继点(步骤205)。在虚拟摄像装置20未到达最终中继点的情况下(步骤205中的“否”)，再次执行步骤201以及步骤201之后的处理。在虚拟摄像装置20已经到达最终中继点的情况下(步骤205中的“是”)，确定图像捕获结束时间是否已经到来(步骤206)。在未到图像捕获结束时间的情况下(步骤206中的“否”)，继续从最终中继点捕获图像。在图像捕获结束时间到来的情况下(步骤206中的“是”)，虚拟摄像装置20的图像捕获结束并且实况转播结束。
[0281]
在上文中，主要描述了在虚拟摄像装置20沿预设图像捕获路径21移动的情况下使用的碰撞避免处理。即使在没有确定这样的图像捕获路径21的情况下，适当地控制虚拟摄像装置20的动作也可以避免与表演者模型4的碰撞。
[0282]
在下文中，将描述控制跟踪表演者模型4并且执行图像捕获的虚拟摄像装置20的方法。
[0283]
图14是虚拟摄像装置的碰撞避免处理。图14示意性地示出了根据表演者模型4在虚拟空间3中的移动来跟踪表演者模型4的虚拟摄像装置20的图像捕获的状态。
[0284]
在虚拟空间3中，布置有表演者模型4和多个观看者模型5。表演者模型4可在虚拟空间3中自由移动。另外，观看者模型5被布置成围绕设置在虚拟空间3中的舞台(图中的矩形区域)。
[0285]
在图14所示的示例中，虚拟摄像装置控制单元44移动虚拟摄像装置20，使得表演者模型4与虚拟摄像装置20之间的相对距离恒定作为避碰处理。即，控制虚拟摄像装置20的移动，使得虚拟摄像装置20与表演者模型4的相对距离保持恒定距离l(例如，2m等)。
[0286]
该碰撞避免处理包括以下处理。
[0287]-监视处理：实时监视虚拟摄像装置20的轨迹，并且以取决于表演者模型4与虚拟摄像装置20之间的位置关系的方式检测接近状态。
[0288]-跟踪处理：移动虚拟摄像装置20，使得相对距离变为恒定距离l(图像捕获距离)，跟踪表演者模型4，并且执行图像捕获。
[0289]
在监视处理中，不断地计算表演者模型4与虚拟摄像装置20之间的相对距离。例如，读取根据表演者1的移动、方向等而变化的表演者模型4的位置以及虚拟摄像装置20的位置，并且计算相对距离。
[0290]
在跟踪处理中，计算用于移动虚拟摄像装置20的位置和方向，使得在监视处理中计算的相对距离变为距离l，并且根据计算结果移动虚拟摄像装置20。
[0291]
例如，由于表演者模型4的移动，相对距离有可能暂时超过距离l。
[0292]
在这种情况下，虚拟摄像装置20移动到靠近表演者模型4，直到相对距离变为距离l。此外，在相对距离暂时小于距离l的情况下，虚拟摄像装置20远离表演者模型4移动，直到相对距离变为距离l。
[0293]
即，也可以说，虚拟摄像装置控制单元44基于表演者模型4的位置执行反馈控制，以使表演者模型4与虚拟摄像装置20的相对距离保持为距离l。
[0294]
因此，在图14所示的碰撞避免处理中，不采用中继点的预定图像捕获路径21，移动虚拟摄像装置20以跟踪表演者模型4，同时与表演者模型4保持一定的恒定距离l，并且捕获表演者模型4的图像。因此，避免了表演者模型4与虚拟摄像装置20之间的碰撞，并且可以继
续稳定的特写镜头拍摄。
[0295]
应当注意，虚拟摄像装置20捕获表演者模型4的图像的方向等不受限制。例如，根据表演者模型4的姿势移动虚拟摄像装置20，以从前方捕获表演者模型4的图像。替选地，可以控制虚拟摄像装置20以在例如相对距离变为距离l的范围内围绕表演者模型4自由移动。
[0296]
此外，对于除了表演者模型4之外的化身(观看者模型5)，允许虚拟摄像装置20的“没入”和“穿透”。
[0297]
例如，对于与虚拟摄像装置20接触的观看者模型5，配置模型的数据被移除，以不进入虚拟摄像装置20的图像捕获范围。即，与虚拟摄像装置20接触的观看者模型5被视为虚拟摄像装置20未捕获到的内容。
[0298]
因此，表演者模型4的图像被适当地捕获。此外，由于虚拟摄像装置20的移动范围不受限制，因此可以容易地实现在真实空间中难以进行的图像捕获等。
[0299]
应当注意，虚拟摄像装置20进入/穿过观察者模型5的“没入”和“穿透”也可以通过剪影等主动表达。
[0300]
在图14所示的示例中，在时间t1处位于舞台上的表演者模型4在时间t2和时间t3处离开舞台并且在布置有观看者模型5的区域中移动。虚拟摄像装置20根据表演者模型4移动，并且从与表演者模型4相隔一定距离l的位置处跟踪并且捕获表演者模型4的图像。此时，虚拟摄像装置20接触到的观看者模型5被处理为未被虚拟摄像装置20捕获的内容。
[0301]
因此，可以适当地拍摄在舞台外提供的甚至表演(粉丝服务等)的特写镜头。
[0302]
图15是图14所示的碰撞避免处理的流程图。
[0303]
根据表演者模型4的移动，虚拟摄像装置20移动以将相对距离保持为恒定距离l(步骤301)。例如，读取表演者模型4和虚拟摄像装置20的当前位置，并且计算相对距离(监视处理)。计算虚拟摄像装置20移动的位置和方向，使得该相对距离变为距离l，并且基于计算结果移动虚拟摄像装置20(跟踪处理)。
[0304]
随后，确定图像捕获结束时间是否已经到来(步骤302)。在未到捕获结束时间的情况下(步骤302中的“否”)，再次执行步骤301。在图像捕获结束时间到来的情况下(步骤302中的“是”)，虚拟摄像装置20的图像捕获结束并且实况转播结束。以这种方式，继续跟踪处理(监视处理)直到图像捕获结束时间到来。
[0305]
作为跟踪处理，可以执行控制以降低虚拟摄像装置20的速度或者停止虚拟摄像装置20以避免碰撞，并且在虚拟摄像装置20被隔开恒定距离之后再次执行跟踪。
[0306]
例如，当移动的表演者模型4突然停止时，虚拟摄像装置20逐渐减速并且停止在不会发生碰撞的位置处。此时，表演者模型4与虚拟摄像装置20之间的相对距离可以小于距离l。
[0307]
此外，例如，当已经停止的表演者模型4再次开始移动时，在等待表演者模型4从虚拟摄像装置20移动达恒定距离(例如，距离l)作为相对距离之后开始虚拟摄像装置20的跟踪。
[0308]
可以说，这是在用于改变虚拟摄像装置20的速度的改变定时偏离用于改变表演者模型4的速度的定时的情况下移动虚拟摄像装置20的处理。即，虚拟摄像装置控制单元44使虚拟摄像装置20的速度改变定时比表演者模型4的速度改变定时延迟，使得相对距离落入预定范围内。
[0309]
因此，可以实现当表演者模型4开始移动或者停止时图像捕获距离动态地改变的摄像装置工作。结果，可以显示表演者模型4(表演者1)的动态运动。
[0310]
此外，对表演者模型4的跟踪和捕获方法不受限制，并且可以使用能够避免表演者模型4与虚拟摄像装置20之间的碰撞的任何跟踪方法。
[0311]
如上所述，在根据本实施方式的服务器控制单元42中，根据虚拟空间3中的表演者模型4与在虚拟空间3中移动的同时捕获表演者模型4的图像的虚拟摄像装置20之间的位置关系执行碰撞避免处理。因此，预先避免了表演者模型4与虚拟摄像装置20之间的碰撞，并且在虚拟空间3中适当地捕获表演者模型4的图像。
[0312]
在使用虚拟空间在实时流式传输等中使用位于图像捕获目标附近的虚拟摄像装置拍摄特写镜头的情况下，图像捕获目标与虚拟摄像装置之间可能发生碰撞。
[0313]
图16是示出图像捕获目标与虚拟摄像装置之间的碰撞示例的示意图。在图16中，设置了用于利用位于图像捕获目标70附近的虚拟摄像装置20进行特写镜头拍摄的图像捕获路径21(p1至p4)。此时，当图像捕获目标70移动并且与图像捕获路径21交叠时，虚拟摄像装置20有可能与图像捕获目标70碰撞，捕获没入视频或者穿透视频，从而发生广播事故。
[0314]
在本实施方式中，执行取决于作为图像捕获目标的表演者模型4与虚拟摄像装置20之间的位置关系的碰撞避免处理。碰撞避免处理是例如监视表演者模型4的位置并且控制虚拟摄像装置20的移动以防止虚拟摄像装置20过于靠近表演者模型4的处理。
[0315]
例如，如以上参照图10、图12等所描述的，在预设了虚拟摄像装置20的图像捕获路径21的情况下，检测表演者模型4与虚拟摄像装置20的接近状态并且改变图像捕获路径21。此外，如以上参照图14等所述，在未设置图像捕获路径21等的情况下，移动虚拟摄像装置20以在恒定距离l处跟踪表演者模型4。
[0316]
无论表演者模型4的动作如何，执行这样的处理可以预先避免虚拟摄像装置20与表演者模型4碰撞的情况。因此，表演者模型4(表演者1)的表演可以被实况流式传输而不会引起诸如没入视频和穿透视频的广播事故。
[0317]
可以想象，使用真实空间中的表演者1的体积模型的流式传输交互和实时直播内容的服务将在未来普及。同样在这种情况下，本技术的使用可以流式传输其中避免了虚拟摄像装置20与表演者模型4等的碰撞的高质量实时图像。
[0318]
《其他实施方式》
[0319]
本技术不限于上述实施方式，并且可以作出各种其他实施方式。
[0320]
在图10和图12中，主要描述了改变虚拟摄像装置的图像捕获路径以避免与表演者模型发生碰撞的碰撞避免处理。本技术不限于此，并且例如，可以执行控制虚拟摄像装置的移动速度以避免碰撞的处理。
[0321]
例如，在检测到接近状态的情况下，虚拟摄像装置被减速或者停止而不改变虚拟摄像装置的路径。此外，当表演者模型移动并且接近状态被取消时，虚拟摄像装置的速度取决于经过中继点的经过时间等而增大。此外，还可以在表演者模型不移动并且接近状态持续一定时间时执行改变图像捕获路径的处理。
[0322]
在上文中，已经描述了使用单个虚拟摄像装置来捕获表演者模型的图像的情况。例如，利用多个虚拟摄像装置，可以捕获表演者模型的图像。在这种情况下，控制每个虚拟摄像装置以沿不同的轨迹(图像捕获路径)移动。此外，用于显示表演者模型的显示图像是
从由各个虚拟摄像装置捕获的图像(视频)中选择的。这里，显示图像是例如最终显示在每个客户终端上的图像。
[0323]
因此，在使用多个虚拟摄像装置的配置中，在已经检测到接近状态的情况下，执行将用于显示表演者模型的显示图像从由虚拟摄像装置捕获的图像切换到由另一个虚拟摄像装置捕获的图像作为碰撞避免处理。
[0324]
例如，假设已经检测到关于捕获显示图像的虚拟摄像装置的接近状态。在这种情况下，显示图像被切换为不处于接近状态的另一个虚拟摄像装置的图像。以这种方式，本公开内容中的碰撞避免处理还包括切换虚拟摄像装置以防止在虚拟摄像装置发生碰撞时的图像被流式传输的处理。
[0325]
因此，可以流式传输自然的实况视频而不会引起广播事故。
[0326]
在上文中，已经描述了虚拟摄像装置的碰撞避免处理以举例说明虚拟摄像装置的图像捕获目标是表演者的实拍3d模型(体积模型)的情况。无论图像捕获目标的种类如何，都可以应用本技术。
[0327]
例如，虚拟摄像装置的图像捕获目标可以是cg 3d模型。虚拟摄像装置捕获例如随着表演者的移动而移动的三维cg模型(虚拟化身)的图像。同样在这种情况下，使用上述方法可以充分避免虚拟摄像装置与cg模型之间的碰撞。
[0328]
此外，上面已经描述了在虚拟空间中捕获实况音乐会等的实况表演的图像的情况。
[0329]
本技术不限于此，并且本技术还可以应用于流式传输诸如“体育直播”[0330]
和“综艺节目”的娱乐内容的情况。例如，基于通过捕获在真实空间中进行的体育比赛的图像而获得的数据，在虚拟空间中再现运动场。因此，可以由虚拟摄像装置对运动场进行自由视点图像捕获。在这种情况下，为了避免选手与虚拟摄像装置之间的碰撞，应用上述碰撞避免处理。
[0331]
此外，在诸如“远程教育”、“远程课程”和“远程工作支持”的领域中流式传输内容的情况下，可以应用本技术。例如，基于由机器人等捕获进行远程工作的工作空间的图像而获得的数据，在虚拟空间中再现工作空间。在这种情况下，移动虚拟摄像装置以避免与机器人发生碰撞。因此，可以稳定地监视工作空间，并且可以充分支持远程工作。
[0332]
在上文中，主要描述了虚拟摄像装置捕获的图像被实时流式传输的情况。本技术不限于此，并且本技术还可以应用于例如基于其中记录了虚拟空间中的表演的数据来生成内容的情况。
[0333]
例如，在实况音乐会之后生成实况视频的情况下(例如，在内容制作公司与内容摄影和编辑的公司不同的情况下)，已经发生的实况音乐会是基于关于在虚拟空间中已经发生的实况音乐会等的数据来执行由虚拟摄像装置进行的再现和图像捕获。在这种情况下，使用本技术可以容易地为虚拟摄像装置生成路线，以避免虚拟摄像装置与表演者模型发生碰撞。
[0334]
因此，本技术用作虚拟摄像装置的路径生成工具或者图像捕获路径的设计支持工具。
[0335]
可以将上面已经描述的根据本技术的特征中的至少两个特征进行组合。即，各个实施方式中描述的各种特征可以跨各个实施方式任意组合。此外，上述各种效果仅是示例
性的而非限制性的，并且可以提供其他效果。
[0336]
在本公开内容中，“相同”、“相等”、“正交”等是包括“基本相同”、“基本相等”、“基本正交”等的概念。例如，还包括使用“完全相同”、“完全相等”、“完全正交”等作为基础的预定范围(例如，
±
10％范围)中的状态。
[0337]
应当注意，本技术还可以采用以下配置。
[0338]
(1)一种信息处理装置，包括
[0339]
图像捕获控制单元，所述图像捕获控制单元根据在虚拟空间中移动的目标对象与在所述虚拟空间中移动并且捕获所述目标对象的图像的虚拟摄像装置之间的位置关系，执行用于避免所述虚拟摄像装置与所述目标对象的碰撞的碰撞避免处理。
[0340]
(2)根据(1)所述的信息处理装置，其中，
[0341]
所述图像捕获控制单元基于所述目标对象与所述虚拟摄像装置之间的位置关系，检测所述目标对象与所述虚拟摄像装置的接近状态，并且在已经检测到所述接近状态的情况下执行所述碰撞避免处理。
[0342]
(3)根据(2)所述的信息处理装置，其中，
[0343]
所述图像捕获控制单元检测所述目标对象与所述虚拟摄像装置之间的相对距离等于或小于预定阈值的状态作为所述接近状态。
[0344]
(4)根据(3)所述的信息处理装置，其中，
[0345]
所述相对距离包括当前值或预测值。
[0346]
(5)根据(2)至(4)中任一项所述的信息处理装置，其中，
[0347]
所述虚拟摄像装置沿预设的图像捕获路径对所述目标对象进行成像，并且
[0348]
所述图像捕获控制单元在已经检测到所述接近状态的情况下，作为所述碰撞避免处理来改变所述图像捕获路径。
[0349]
(6)根据(5)所述的信息处理装置，其中，
[0350]
所述图像捕获路径是设置为使得所述虚拟摄像装置按顺序经过多个中继点的路径。
[0351]
(7)根据(6)所述的信息处理装置，其中，
[0352]
所述图像捕获控制单元在已经检测到所述接近状态的情况下，改变作为所述虚拟摄像装置的移动目的地的中继点，使得避免所述目标对象与所述虚拟摄像装置之间的碰撞。
[0353]
(8)根据(7)所述的信息处理装置，其中，
[0354]
所述图像捕获控制单元将所述虚拟摄像装置的移动目的地设置为能够避免所述目标对象与所述虚拟摄像装置之间的碰撞的、按所述顺序序号最小的中继点。
[0355]
(9)根据(6)至(8)中任一项所述的信息处理装置，其中，
[0356]
所述图像捕获控制单元在已经检测到所述接近状态的情况下，改变到作为所述虚拟摄像装置的移动目的地的中继点的路径的至少一部分，使得避免所述目标对象与所述虚拟摄像装置之间的碰撞。
[0357]
(10)根据(9)所述的信息处理装置，其中，
[0358]
所述图像捕获控制单元沿替选路径移动所述虚拟摄像装置，以从已经检测到所述接近状态的点围绕所述目标对象绕行。
[0359]
(11)根据(10)所述的信息处理装置，其中，
[0360]
所述替选路径是保持所述目标对象与所述虚拟摄像装置之间的相对距离恒定的路径。
[0361]
(12)根据(6)至(11)中任一项所述的信息处理装置，其中，
[0362]
所述图像捕获路径是针对所述多个中继点中的每一个设置所述虚拟摄像装置的经过时间的路径，并且
[0363]
所述图像捕获控制单元基于针对所述中继点设置的所述经过时间，调整所述虚拟摄像装置沿经改变的图像捕获路径移动的移动速度。
[0364]
(13)根据(12)所述的信息处理装置，其中，
[0365]
所述多个中继点包括至少一个关键中继点，并且
[0366]
所述图像捕获控制单元以取决于经过包括在经改变的图像捕获路径中的所述关键中继点的经过时间的方式调整所述虚拟摄像装置的移动速度。
[0367]
(14)根据(2)至(13)中任一项所述的信息处理装置，其中，
[0368]
所述图像捕获控制单元在已经检测到所述接近状态的情况下，作为所述碰撞避免处理而将用于显示来自由所述虚拟摄像装置捕获的图像的目标对象的显示图像切换为由另一虚拟摄像装置捕获的图像。
[0369]
(15)根据(1)至(14)中任一项所述的信息处理装置，其中，
[0370]
所述图像捕获控制单元作为所述碰撞避免处理而移动所述虚拟摄像装置，使得所述目标对象与所述虚拟摄像装置之间的相对距离恒定。
[0371]
(16)根据(15)所述的信息处理装置，其中，
[0372]
所述图像捕获控制单元相对于所述目标对象的速度改变的定时延迟所述虚拟摄像装置的速度改变的定时，使得所述相对距离落入预定范围内。
[0373]
(17)根据(1)至(16)中任一项所述的信息处理装置，其中，
[0374]
所述目标对象包括表演者的三维实拍模型。
[0375]
(18)根据(1)至(17)中任一项所述的信息处理装置，其中，
[0376]
所述图像捕获控制单元实时流式传输由所述虚拟摄像装置捕获的图像。
[0377]
(19)一种信息处理方法，包括由计算机系统执行的如下步骤：
[0378]
根据在虚拟空间中移动的目标对象与在所述虚拟空间中移动并且捕获所述目标对象的图像的虚拟摄像装置之间的位置关系，执行用于避免所述虚拟摄像装置与所述目标对象的碰撞的碰撞避免处理。
[0379]
(20)一种显示装置，包括：
[0380]
图像获取单元，所述图像获取单元获取由虚拟摄像装置捕获的图像，所述虚拟摄像装置根据用于避免所述虚拟摄像装置与目标对象的碰撞的碰撞避免处理进行操作，所述碰撞避免处理根据在虚拟空间中移动的目标对象与在所述虚拟空间中移动并且捕获所述目标对象的图像的虚拟摄像装置之间的位置关系来执行；以及
[0381]
显示单元，所述显示单元显示由所述虚拟摄像装置捕获的图像。
[0382]
附图标记列表
[0383]
1 表演者
[0384]
2 观看者
[0385]
3 虚拟空间
[0386]
4 表演者模型
[0387]
5 观看者模型
[0388]
10 流式传输服务器
[0389]
12 客户终端
[0390]
14 hmd
[0391]
20 虚拟摄像装置
[0392]
21 图像捕获路径
[0393]
22 虚拟摄像装置的视频
[0394]
23 替选路径
[0395]
40 网络传输单元
[0396]
41 存储单元
[0397]
42 服务器控制单元
[0398]
43 内容数据生成单元
[0399]
46 观看者模型生成单元
[0400]
100 流式传输系统

技术特征：

1.一种信息处理装置，包括图像捕获控制单元，所述图像捕获控制单元根据在虚拟空间中移动的目标对象与在所述虚拟空间中移动并且捕获所述目标对象的图像的虚拟摄像装置之间的位置关系，执行用于避免所述虚拟摄像装置与所述目标对象的碰撞的碰撞避免处理。2.根据权利要求1所述的信息处理装置，其中，所述图像捕获控制单元基于所述目标对象与所述虚拟摄像装置之间的位置关系，检测所述目标对象与所述虚拟摄像装置的接近状态，并且在已经检测到所述接近状态的情况下执行所述碰撞避免处理。3.根据权利要求2所述的信息处理装置，其中，所述图像捕获控制单元检测所述目标对象与所述虚拟摄像装置之间的相对距离等于或小于预定阈值的状态作为所述接近状态。4.根据权利要求3所述的信息处理装置，其中，所述相对距离包括当前值或预测值。5.根据权利要求2所述的信息处理装置，其中，所述虚拟摄像装置沿预设的图像捕获路径对所述目标对象进行成像，并且所述图像捕获控制单元在已经检测到所述接近状态的情况下，作为所述碰撞避免处理来改变所述图像捕获路径。6.根据权利要求5所述的信息处理装置，其中，所述图像捕获路径是设置为使得所述虚拟摄像装置按顺序经过多个中继点的路径。7.根据权利要求6所述的信息处理装置，其中，所述图像捕获控制单元在已经检测到所述接近状态的情况下，改变作为所述虚拟摄像装置的移动目的地的中继点，使得避免所述目标对象与所述虚拟摄像装置之间的碰撞。8.根据权利要求7所述的信息处理装置，其中，所述图像捕获控制单元将所述虚拟摄像装置的移动目的地设置为能够避免所述目标对象与所述虚拟摄像装置之间的碰撞的、按所述顺序序号最小的中继点。9.根据权利要求6所述的信息处理装置，其中，所述图像捕获控制单元在已经检测到所述接近状态的情况下，改变到作为所述虚拟摄像装置的移动目的地的中继点的路径的至少一部分，使得避免所述目标对象与所述虚拟摄像装置之间的碰撞。10.根据权利要求9所述的信息处理装置，其中，所述图像捕获控制单元沿替选路径移动所述虚拟摄像装置，以从已经检测到所述接近状态的点围绕所述目标对象绕行。11.根据权利要求10所述的信息处理装置，其中，所述替选路径是保持所述目标对象与所述虚拟摄像装置之间的相对距离恒定的路径。12.根据权利要求6所述的信息处理装置，其中，所述图像捕获路径是针对所述多个中继点中的每一个设置所述虚拟摄像装置的经过时间的路径，并且所述图像捕获控制单元基于针对所述中继点设置的所述经过时间，调整所述虚拟摄像装置沿经改变的图像捕获路径移动的移动速度。
13.根据权利要求12所述的信息处理装置，其中，所述多个中继点包括至少一个关键中继点，并且所述图像捕获控制单元以取决于经过包括在经改变的图像捕获路径中的所述关键中继点的经过时间的方式调整所述虚拟摄像装置的移动速度。14.根据权利要求2所述的信息处理装置，其中，所述图像捕获控制单元在已经检测到所述接近状态的情况下，作为所述碰撞避免处理而将用于显示来自由所述虚拟摄像装置捕获的图像的目标对象的显示图像切换为由另一虚拟摄像装置捕获的图像。15.根据权利要求1所述的信息处理装置，其中，所述图像捕获控制单元作为所述碰撞避免处理而移动所述虚拟摄像装置，使得所述目标对象与所述虚拟摄像装置之间的相对距离恒定。16.根据权利要求15所述的信息处理装置，其中，所述图像捕获控制单元相对于所述目标对象的速度改变的定时延迟所述虚拟摄像装置的速度改变的定时，使得所述相对距离落入预定范围内。17.根据权利要求1所述的信息处理装置，其中，所述目标对象包括表演者的三维实拍模型。18.根据权利要求1所述的信息处理装置，其中，所述图像捕获控制单元实时流式传输由所述虚拟摄像装置捕获的图像。19.一种信息处理方法，包括由计算机系统执行的如下步骤：根据在虚拟空间中移动的目标对象与在所述虚拟空间中移动并且捕获所述目标对象的图像的虚拟摄像装置之间的位置关系，执行用于避免所述虚拟摄像装置与所述目标对象的碰撞的碰撞避免处理。20.一种显示装置，包括：图像获取单元，所述图像获取单元获取由虚拟摄像装置捕获的图像，所述虚拟摄像装置根据用于避免所述虚拟摄像装置与目标对象的碰撞的碰撞避免处理进行操作，所述碰撞避免处理根据在虚拟空间中移动的目标对象与在所述虚拟空间中移动并且捕获所述目标对象的图像的虚拟摄像装置之间的位置关系来执行；以及显示单元，所述显示单元显示由所述虚拟摄像装置捕获的图像。

技术总结

根据本技术的实施方式的信息处理装置包括图像捕获控制单元。该图像捕获控制单元根据在虚拟空间中移动的目标对象与在虚拟空间中移动并且捕获目标对象的图像的虚拟摄像装置之间的位置关系，执行用于避免虚拟摄像装置与目标对象的碰撞的碰撞避免处理。目标对象的碰撞的碰撞避免处理。目标对象的碰撞的碰撞避免处理。

技术研发人员：

清水孝悌

受保护的技术使用者：

索尼集团公司

技术研发日：

2021.04.27

技术公布日：

2022/12/23