(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210726604.9
(22)申请日 2022.06.24
(71)申请人 中广建融合（北京）科技有限公司
地址 100045 北京市西城区南礼士路13号1
号楼一层112房间
(72)发明人 欧阳玥 张恒 金辉 周耀平
(74)专利代理机构 北京力量专利代理事务所
(特殊普通合伙) 11504
专利代理师 郭大为
(51)Int.Cl.
H04N 5/232(2006.01)
27.5g bt
H04N 5/225(2006.01)
H04N 5/265(2006.01)
H04N 19/42(2014.01)
H04N 21/44(2011.01)
G06T 19/00(2011.01)G06T 15/20(2011.01)G06T 5/50(2006.01)
(54)发明名称一种基于沉浸式视频终端搭建的XR虚拟拍摄系统(57)摘要本发明提供一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，属于虚拟拍摄系统技术领域，该系统包括：虚拟数字资产、摄像机追踪、播控、渲染和合成系统等。本发明构建了实时合成渲染的拍摄流程，基于实景三维空间和实时影像在三维GIS系统的融合数据，通过摄像机追踪系统实时发送位置姿态等信息给渲染服务器，渲染服务器将虚拟画面进行渲染输出显示和合成服务器，显示服务器将画面发送给LED屏，合成服务器将摄像机的画面和渲染画面实时进行合成输出给监视器进行调、存储和监看，同步信号发生器给各系统 授时。解决了传统绿幕拍摄系统后期处理困难、无实物表演、无法精准把控拍摄效果和数字资产数据获取难度大，整体性、准确性
和实时性好的难题。权利要求书2页 说明书6页 附图1页CN 115118880 A 2022.09.27
C N 115118880
A
莹石球1.一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，该系统包括：
虚拟数字资产系统，其基于实景三维空间数据模型和实时影像在三维GIS系统融合而成虚实结合的系统；
追踪系统，所述追踪系统用于获取摄像机的位置姿态6DOF信息和摄像机焦距信息；
hecoos服务器，所述播控服务器用于接收所述追踪系统获取的摄像机信息，并将信息转发给渲染服务器进行渲染处理；合成服务器实时接收摄像机的画面和渲染服务器的画面，进行合成渲染，并输出给监视器，监视器进行校后存储，并同时将信号传至监看大屏。
压花模具
渲染服务器，渲染服务器接收到播控服务器的位置姿态数据后，将实时渲染该姿态下的背景、前景、扩展虚拟画面输出显示和合成服务器，显示服务器将画面发送给LED屏。
同步发生器，同步发生器将同步时钟信号分别下发虚拟数字资产系统、追踪系统、播控服务器、渲染服务器、合成服务器和摄像机。
2.根据权利要求1所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述渲染服务器为UE4、Notch或unity引擎中的一种，其底层数据使用的是基于实景三维模型或实时影像采集融合的模型资产。
3.根据权利要求2所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述青瞳追踪系统获取位置及姿态信息。
4.根据权利要求3所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述hecoos服务器内设置有hecoos合成模块和hecoos显示模块。
5.根据权利要求4所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述hecoos合成模块通过视频编码器采集摄像机拍摄的现场画面。
6.根据权利要求5所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述渲染服
务器通过网络或串口将画面信息发送给hecoos服务器。
7.根据权利要求6所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，其特征在于，所述渲染服务器渲染出的画面包括背景画面和前景画面。
8.一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方法，应用于权利要求1‑7任意一项所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统中，其特征在于，包括如下步骤：
S1、首先在现场摄像机上安装标记物，然后通过青瞳追踪中的摄像机拍摄标记物，获取摄像机的位置信息，通过网络协议发送给hecoos合成模块；
S2、hecoos合成模块通过视频编码器，采集摄像机拍摄的现场画面；
S3、hecoos合成模块对位置信息作出校准处理，然后将处理后的信息发送给渲染服务器；
S4、渲染服务器获取位置信息后，使用UE4渲染引擎，实时渲染出虚拟背景、前景画面、LED屏幕外的拓展画面，通过网络发送给hecoos合成模块和hecoos显示模块；
S5、此时hecoos显示模块接收背景画面，将背景画面输出给LED视频处理器，让LED屏幕显示出实时背景；
S6、hecoos合成模块将拍摄到的画面，与渲染出的虚拟画面合成，在hecoos服务器中，对画面的延迟进行调整，并调整LED画面与LED屏外扩展画面间的差，将最终的合成画面输出给导播台或显示设备。
9.根据权利要求8所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方法，其特征在于，所述步骤S5中通过hecoos合成模块输出画面。
10.根据权利要求9所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方法，其特征在于，还包括同步信号发生器，所述同步信号发生器用于给各设备提供同步信号。
一种基于沉浸式视频终端搭建的XR虚拟拍摄系统
技术领域
[0001]本发明属于虚拟拍摄系统技术领域，具体涉及一种基于沉浸式视频终端搭建的XR 虚拟拍摄系统。
背景技术
[0002]沉浸式视频指的是一种采用裸眼观看方式获得身临其境感受，呈现画面覆盖人眼至少120°(水平)
×70°(垂直)视场角的视频系统及具备三维声的音频系统。沉浸式视频通过视频、音频及特效系统，构建具备大视角、高画质、三维声特性，具备画面包围感和沉浸式声音主观感受特征的视听环境，使观众能够在所处位置同时获得周围多方位的视听信息，让观众体验到单一平面视频无法实现的高度沉浸感，呈现形式包括但不限于球幕、环幕、沉浸屋CAVE等异形显示空间。
[0003]沉浸式视频终端具备场地小，沉浸感、互动性强等特点。球幕、环幕、沉浸屋CAVE等异形显示空间播放具有强烈视觉冲击力的画面，可以实现多人互动，外围观众能够与体验者同步看到相同的画面，同样具有视觉冲击力。
[0004]随着显示技术和内容制作技术的发展，影视作品中的视觉效果愈发绚丽，观众的视听需求也逐渐提高，普通的影视拍摄缺乏足够的表现力，难以满足现在的需求。虚拟拍摄因其虚拟内容的灵活性，能够让内容制作者天马行空的想象力充分发挥出来，越来越受大众的欢迎。
[0005]虚拟资产地理信息系统是GIS与VR结合而成，GIS与VR可以取长补短，它们的结合使人们不但可以在计算机外部利用键盘、鼠标同图形交互，而且可以利用高级的人机接口设备沉浸到由计算机生成的多维信息空间中分析和探索问题。在GIS中运用VR技术进行地形环境仿真，真实再现地形、地貌、地物等地理信息，用于交互式的观察和分析，提高对地形环境的认知效果，满足人们的应用需求。这种虚拟现实技术与地理信息系统，包括与网络地理信息系统(WebGIS、ComGIS)相结合的技术，
称为虚拟现实地理信息系统(Virtual Reality Geographic Information System，简称VR‑GIS)，它是专门用于研究地球空间信息科学的虚拟现实技术或计算机仿真技术，VR‑GIS为GIS提供了‑种新的分析地学数据和探索地学问题的平台，拓展了多维GIS研究的内涵。VR‑GIS是目前地理信息系统和虚拟现实技术研究的热点和前沿方向之一，是数字地球的关键技术。
[0006]传统的虚拟拍摄拍摄方案多采用绿幕技术，即搭建一个纯绿的拍摄空间，让演员在该空间中，做无实物表演，将拍摄下来的视频内容，在后期处理时，通过抠等方式，去除掉纯背景，添加虚拟背景及特效，来达到虚实结合的目的，演员在该场景内表演，通过后期处理抠的方式，去除掉背景，并添加新的虚拟背景，合成最终画面，这种方法存在诸多不足，存在以下缺点：
[0007]1、现有绿幕拍摄技术中，为了后期抠处理，会采用纯背景拍摄，这种背景会产生不自然的环境光，尤其是对于场景中的玻璃、金属之类易反光的物品来说，这些反光在后期处理过程中会耗费制作人员大量的精力，对作品的细节质量也会造成影响。
木质骨灰盒
[0008]2、为了减少后期抠像处理的难度，绿幕拍摄场景中大多不会放置很多拍摄道具等物品，演员多需要进行无实物表演。现场演员需要记住关键人物的位置、剧情等，凭想象去表演出动作、感情，或需要在表演过程中观看场地外的画面提示来校正自己的动作，这样会使演员的表达不自然，影响影视作品的观感。
[0009]3、现有绿幕拍摄情况下，最终作品的画面需要经过复杂的后期处理，在拍摄过程中，大多不能直接把最终效果呈现给内容创作者，这导致内容创作者无法充分把控整个创作过程，影响创意工作者的创意表达。
发明内容
[0010]本发明的目的在于提供一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，旨在解决现有技术中的拍摄流程中反光、后期处理困难、演员表演难度高、难以实时呈现效果的问题。
绞车滚筒[0011]为实现上述目的，本发明提供如下技术方案：
[0012]一种基于沉浸式视频终端搭建的XR虚拟拍摄系统，该系统包括：
[0013]虚拟数字资产系统，其基于实景三维空间数据模型和实时影像在三维GIS系统融合而成虚实结合的系统；
[0014]青瞳追踪系统，所述青瞳追踪系统用于获取摄像机的位置姿态6DOF信息和摄像机焦距信息；
[0015]hecoos服务器，所述hecoos服务器用于接收所述青瞳追踪系统获取的摄像机信息，并将信息转发给渲染服务器进行渲染处理；以及渲染服务器实时渲染出画面传输给播控服务器，然后发送至LED屏。
[0016]作为本发明一种优选的方案，所述渲染服务器为UE4、Notch或unity引擎中的一种。
[0017]作为本发明一种优选的方案，所述青瞳追踪系统获取位置及姿态信息。
[0018]作为本发明一种优选的方案，所述hecoos服务器内设置有hecoos合成模块和hecoos显示模块。
aa183[0019]作为本发明一种优选的方案，所述hecoos合成模块通过视频编码器采集摄像机拍摄的现场画面。
[0020]作为本发明一种优选的方案，所述渲染服务器通过网络或串口将画面信息发送给hecoos服务器。
[0021]作为本发明一种优选的方案，所述渲染服务器渲染出的画面包括背景画面和前景画面。
[0022]一种基于沉浸式视频终端搭建的XR虚拟拍摄系统的工作方法，包括如下步骤：[0023]S1、首先在现场摄像机上安装标记物，然后通过青瞳追踪中的摄像机拍摄标记物，获取摄像机的位置信息，通过网络协议发送给hecoos合成模块；
[0024]S2、hecoos合成模块通过视频编码器，采集摄像机拍摄的现场画面；
[0025]S3、hecoos合成模块对位置信息作出校准处理，然后将处理后的信息发送给渲染服务器；
[0026]S4、渲染服务器获取位置信息后，使用UE4渲染引擎，实时渲染出虚拟背景、前景画
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议