XR(扩展现实)应用于电视节目的关键技术与发展趋势

1 114
一 发展历史
在影视特效工业发展早期出现的遮罩绘景(Matte Painting)技术,便是XR的前身。它使用
二次曝光和物理遮罩,将绘制在玻璃板上的元素和
首次曝光的内容合成在一起,《星球大战》将这一
技术推向高峰。随着CG技术的进步,数字绘景技
熊事件术效率和精细程度大大提升,但很长一段时间以来,
文件传输协议数字绘景本身依然是二维作品,只是按照透视关系
放置的位置有所不同。直到实时渲染引擎Unreal和
北京工业大学学报
Unity3D的出现,这一行业现状才发生根本转变。
全合成切削液配方3
2.同步机制
XR的同步机制包括画面同步和逻辑同步。在
实际应用中,根据虚拟场景的渲染量和LED屏幕
的尺寸不同,可能需要多个渲染主机共同完成XR
场景的输出。在工业光魔为《曼达洛人》定制开发
的StageCraft拍摄方案中,渲染节点多达4台,而nDisplay支持最多32个渲染节点,不同渲染节点之间
的画面必须达到帧同步的精度。
没有画面同步的结果就是,跨屏幕显示的虚拟物
体将会出现“撕裂”的现象,如图6所示。为此,我
们为每个渲染节点安装了NVIDIA Quadro Sync卡,
每个同步卡支持最多4块RTX显卡,多个同步卡之
间采用链式结构,使用网线连接。
7 116
三体船原度主要由屏幕处理器决定,理想的处理器需要满足宽域、高动态范围的要求,若能自带彩差值功能最佳。未来,XR必将应用在4K电视节目中,那么支持Rec.2020、HDR将是对大屏处理器的基本要求。
另一个与LED屏幕相关的问题是摩尔纹,它是由摄像机感光元件与LED点阵结构的周期性排列决定的,但并非不可避免。拍摄角度、拍摄距离、焦距、LED点间距都能影响摩尔纹的有无。实际应用中,摄像师可以通过改变摄像参数减小摩尔纹出现的可能性。此外,在满足彩和亮度的前提下,小间距LED对减少摩尔纹的出现也大有益处,还可以缩短最佳拍摄距离,使得摄像机距离屏幕更近。最佳拍摄距离的一般计算公式为:
最佳拍摄距离(m)=点间距(mm)×2.5
总的来说,为了发挥XR场景的空间感,现场LED屏幕的尺寸越大越好,最好能够覆盖摄像机所有的拍摄范围。如果LED尺寸不够,则建议在XR 和AR的合成画面中将XR作为单独空间处理,避免画面衔接差过大的困扰。
2.跟踪技术如何适配
XR的优势在于呈现无限的空间感和沉浸体验,理论上摄像机运动范围可以尽可能地广阔。为此,在XR 节目的摄制中,最好采用移动范围足够广的摄像机跟踪系统。目前国内大多数XR应用案例中都使用了基于红外的跟踪设备,如MoSys StarTracker。在《启航2021》中,我们使用了Shototu长摇臂,长度达9m。除了广播级的跟踪设备,某些小型应用也可使用HTC Vive或者iPhone等民用产品,数据接口可使用VRPN。
3.相关工种如何协同
优秀的XR节目效果需要多个工种共同保障。与实景演播室搭建完毕之后的“走台”类似,各工种对XR场景的熟悉过程被称为“勘景”(Scouting)。从导演、大屏团队、灯光团队到演员,各工种都要投入其中。导演需要知道虚拟场景的范围和边界,以便更好地设计景别和拍摄角度;大屏团队需要将视频信号和屏幕像素点精确对位,确保XR场景不发生变形扭曲,影响透视效果;灯光师需要了解LED发出的环境光
如何影响演员,便于和屏幕发光协同配合;摄像师需要清楚XR场景的主体位置、纵深大小,更好地设计镜头运动轨迹,并避免摩尔纹或凸现LED颗粒感。
此外,在整体系统调试和勘景完毕后,有必要测试不同镜头运动激烈程度下的场景延时。根据本次跨年晚会的实测,不同复杂度的虚拟场景平均延时为4~8帧。可以从两个方面入手缓解延时,一方面,将内视锥的分辨率和尺寸设置为比镜头FOV略大,约大40%为宜。另一方面,减小摄像机运动的启停加速度,避免剧烈运动导致画面抖动及掉帧。
 四 未来与展望 分数布朗运动
XR终极形态是对现实空间的整体替换,实现真正意义上的虚拟拍摄。在此基础上,不断丰富实时渲染引擎的周边接口,在引擎和外部设备之间共享各种控制数据,进一步模糊物理空间和虚拟空间的边界。比如通过DMX协议,使用虚拟灯光控制物理灯光;通过动作捕捉系统,用真实演员的动作控制角在虚拟空间中的运动等。
XR出现的意义不是简单地替代绿幕,其应用场景也不止于和LED大屏的结合,它本质上是实时渲染技术的发展推动的一场虚拟和现实融合的技术革命,也将随着实时渲染技术的迭代而再次出现应用场景的拓展。无论是电影制作中的“镜头内特效”还是电视制作中的“扩展现实”,它们都是这条技术演进道路上的里程碑。实时工作流的效率经过不断的量变累积,逐渐进入质变转化的新阶段,XR只是这一质变在现场虚拟制作领域的具体应用。未来,实时工作流将在更广维度、更多场景、更深层次上产生更为深远的影响。
参考文献:
[1] Epic Games. In-Camera VFX Overview [EB/OL]. docs. unrealengine/en-US/WorkingWithMedia/InCameraVFX/ InCameraVFXOverview/index.html, 2020-11-28
[2] MIKE SEYMOUR. Art of LED Wall Virtual Production [EB/ OL]. www.fxguide/fxfeatured/art-of-led-wall-virtual-production-part-one-lessons-from-the-mandalorian/, 2020-03-04
117

本文发布于:2024-09-23 04:27:55,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/71524.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:场景   需要   虚拟   渲染   画面
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议