作者简介：李强内蒙古广播电视台工程师李强
内蒙古广播电视台内蒙古呼和浩特市010050
【摘要】VR是Virtual Reality的缩写，中文就是虚拟现实的意思，它通过一定的技术，生产仿真现实的三维模拟环境，用户借助交互设备与虚拟场景中的对象相互作用、相互影响、沉浸其中，就像是亲临真实环境中一样，是关于人与计算机通信的技术，被认为是多媒体最高级别的应用，其逼真性和实时交互性为系统仿真技术提供有力的支撑。近些年，随着虚拟现实技术的不断发展，其产品延伸到了众多领域，包括：影视、娱乐、科研、教育、军事、医学、艺术等。本文在解析VR技术的同时，进一步探讨VR视频端到端的具体过程。 【关键词】虚拟现实沉浸式体验用户交互VR视频
【中图分类号】TM07【文献标识码】B【文章编号】2096-0751（2021）02-0006-06
1VR技术概要
VR技术是计算机技术、传感技术、机器人技术、人工智能、仿生学、物理学等众多学科飞速发展的结果。主要依赖
于三维图形实时显示、三维定
位追踪、触觉传感技术、人工
智能技术、高速计算与并行计
算技术，以及人的行为学研究
等多项关键技术的发展。虚拟
现实技术有以下几个特点：
第一，交互性（Interactivi-
ty）是指使用者与虚拟场景中各
种对象相互作用的能力，它既
包括场景中对象的可操作程
度，又包括使用者从环境中得
28
数字传媒研究·Research on Digital Media
到反馈的自然程度。用户通过专门的设备来实现对模拟环境的作用，同时实现对设备的操控，它是人机和谐的关键性因素。
第二，构想性（Imagina-tion）是指借助虚拟现实技术，实现抽象概念的具象化。在虚拟现实系统中，人们不仅可以直观的体验到虚拟世界里各种对象带给的新奇感受，而且还能通过人类的思想意识，发挥主观能动性，去积极构想和创
造新的事物。可以说VR是启发人的创造性思维的活动。
第三，沉浸感（Illusion of Immersion）是指使用者通过借助各种设备使其意识完全进入到计算机创建的虚拟环境中，他的各种感知（包括视觉、听觉、触觉、嗅觉等）如同在现实环境中的感受一样真实。VR 技术利用计算机生成的模拟环境，通过多源信息融合交互、三维动态视景和实体行为的系统仿真，能使用户得到真正的沉浸式体验。
其中VR视频是指全景视频，用专业的VR摄影设备将现场环境真实地记录下来，再通过计算机进行后期处理，所形 成的可以实现三维空间展示功
能的视频。如水平360°x垂直
360°全景视频，用户可借助VR
虚拟现实设备观看全景视频，
并获得身临其境的感受。
2用户交互
什么样的技术才能做到真正光电吊舱
的VR沉浸感呢？其实VR沉浸
感，最终表现为用户交互。而
电脑让我欢喜让我忧
对于用户交互，有几种技术方
案选择。
2.1头部追踪
VR头戴式设备中的头部跟
踪系统可跟踪你的头部向侧面
移动的角度。它为方向和运动
分配X，Y，Z轴，并涉及诸如
加速度计、陀螺仪、光学捕捉
设备。头部跟踪要求低等待时
间，即50毫秒或更短，否则用
户将感觉到头部运动和模拟之
间的延时。
2.2眼动追踪
某些头戴设备包含红外控制
器，该控制器可在虚拟环境中
跟踪眼睛方向。这项技术的主
要好处是可以获得更真实，更
深入的视野。
2.3运动追踪
事实上，没有运动跟踪，
VR将受限制，无法四处张望和
四处走动，而运动追踪将把VR
图1观看VR视频典型流程
29
数字传媒研究·Research on Digital Media
提升到一个全新的水平。6DoF 是六自由度的简称，分别指代虚拟世界中的位置坐标和姿态坐标。6DoF产品不仅可以感知到使用者的头部转动，还可以获取到使用者在虚拟世界中空间位移和身体运动，从而使用户能够便捷的使用身体位移来变换位置，并且可以用手去摸，抓取物品等，与虚拟世界交互。6DoF产品除了最基础的用于观看视频外，还能用于游戏、健身、知识学习等更广泛的领域，让真实的你与虚拟世界融为一体，真正感受VR带来的独特奇幻体验。3DoF是三自由度的简称，与6DoF相比它仅有姿态坐标，而不具备位置坐标，相当于在虚拟世界中的眼睛，用户可以以头部为中心环视虚拟世界的画面，因此3DoF 产品仅用于观影体验。
相比较传统的3DoF，6DoF 通过与3D空间概念的结合，支持运动跟踪的选项分为光学跟踪和非光学跟踪两类。光学跟踪通常是头戴式设备上的摄像头，用于跟踪运动，而非光学跟踪是指在设备或身体上使用其他传感器。实际上，大多数
现有设备都结合了这两种选择。
通常，使用VR设备可实现
100～110°的视野。下一个关键
功能是每秒的帧速率，该速率
至少应为60fps，以使虚拟仿真
看起来足够逼真。早期VR头戴
设备的6DoF定位，主要是依靠
在场地中架设额外的设备配合
眼镜里的定位marker来实现定
位，而近年来兴起的定位技
术，则是靠头盔上自带的摄像
头拍摄外部景物，来反向估计
自己的姿态，进行定位。与早
期的外部定位技术相比，新的
定位技术可以使用户免去了复
杂的外部设备架设环节，使得
VR头戴设备在使用上和便捷性
上有了很大的提升。
3VR视频端到端
的过程
真正的VR技术给我们带来
的是全方位的感官体验，使我
们沉浸其中，而最直接、最具
体的感受首先是视觉上的。因
此我们就需要分析研究怎样把
获得的VR视频，从前端的服务
器送到终端的显示器上，使我
们在虚拟的环境中得到真实的
体验。
3.1前期视频拍摄和虚拟现实场
景设计制作
全景拍摄是虚拟现实技术中
非常重要的环节，全景视频
360°无死角还原现场的特点，
让VR技术的“沉浸感”得到最
好的体现。摄像机处于中心位
置向外360°进行拍摄，随后对
各方向视频进行全景拼接。VR
视频拼接算法，一种是基于变
换的拼接算法，就是通过对单
应性矩阵进行调整，再通过网
格化的扭曲，使重合区域的拼
第六届cctv模特大赛接缝隙尽可能减小；另一种是
基于拼接线的拼接算法，通过
对图像拼接线部分的重新调
整，确保拼接的自然性。用户
固定观看位置，支持头部转
axara动，以头部为中心选择视角方
向，观看改变方向的相应画
面。
除了全景拍摄实景外，虚拟
现实应用领域里大量的产品图
像输出画面，完全由计算机图
形系统渲染输出的。此外，使
用者的空间运动数据信息也实
30
数字传媒研究·Research on Digital Media
启动子时的通过VR设备的SDK（软件开发工具包）和API（应用程序接口）传入计算机系统里进行计算，最终反应在图形系统里并给出对应的反馈。使用VR技术可以从两方面逾越传统影视中的一些屏障：一者，
可以运用数字技术，复原某些历史中存在的场景、事物、打破时间和空间的限制；二来可以运用数字技术，发挥创作者的想象力和创造力，建构某些在现实中未必存在的场景。
3.2VR视频映射与编码
H.264、H.265、AVS2是目前最主流的视频编码协议，得
到众多编解码软硬件的支持，
但它们都是传统平面视频编码
技术不断演进的结晶，并不能
原生支持基于球面的VR视频，
因此需要先把球面投影到平
面，才能通过已有的成熟协
议、软件和硬件把VR视频传播
出去。因此，视频映射是VR视
频编码的预处理环节，目前专
门针对VR视频的编码标准仍在
研究中，通常将360°的二维球
面视频图像映射成为二维平面
矩形视频图像，再送入编码器
进行编码传输。
映射：VR视频映射是指将
球面全景视频表示为适于压缩
编码的平面视频，即将球面全
景图像转化映射成为二维平面
图像，最常用的是等距圆柱映
射和正六面体映射模型。
3.2.1等距圆柱映射（ERP）
ERP映射模型是在VR视频
中使用最广泛的映射模型，经
纬图模型只有一个投影面。它
的实现过程如下：首先在平面
长宽比为2:1的矩形区域内按照
目标分辨率进行均匀的像素格
划分，得到长为m等分宽为n等
分的分割，然后按照矩形的长图2ERP映射模式
31
数字传媒研究·Research on Digital Media
数字传媒研究·Research
on Digital Media
和宽在球面上进行均匀的经线和纬线采样，将经线m 等分，纬线n 等分，获得球面网格。等距圆柱体投影最大的优势就是其直观的投影方式，完全线性的变换公式使得其易于操作。3.2.2正六面体映射（CMP ）
CMP 映射模型有6个映射面，分别将360°球体视频图像映射到6个面上，然后拼接为矩形的一种投影方式，具体的操作其实就是简单的坐标比例缩放。由于立方体模型具有极好的对称性，所以在与球面进行相互投影的过程中可以大大降低计算复杂度，并且面与面之
间的投影关系是一致的。如图3所示。
压缩编码：映射后的VR 视频可采用普通视频的编码技术进行压缩。目前应用较多的视频编码技术是H.264、H.265、AVS2等，在保证同等画质的前提下，H.265和AVS2的压缩效率大约比H.264提升50%左右。下一代编码技术H.266与AVS3的目标压缩效率比H.265与AVS2提升一倍。码率是影响VR 视频在终端接收和观看清晰度的重要指标。8K/50P 的视频，采用H.265或AVS2编码，码率需80～100
湖南假烟团伙被端Mbps。
3.3VR 视频传输
VR 视频数据量大，现阶段要观看4K 影片，至少需要25~50Mbps 以上的速率；8K 的VR 视频需要80~100Mbps 速率，将来30K 的VR 视频预计需要800~1000Mbps 的速率。目前互联网带宽限制影响用户体验，而广电自有网络带宽38Mbps，能够高效顺畅支持4KVR 节目传输，保证节目的清晰流畅。如果真正进入5G 时代，（5G 网络的传输速率可达到10Gbps，是4G 的100倍；传输时延可达到1ms 级别，是4G 的1/50），将有望助力VR 真正落地，扩展更多的应用领域。
由于VR 视频数据量大，传输时要占用更多的网络资源，而全视角传输方案是将360°环绕的画面都传输给终端，当用户头部转动需要切换画面时，所有的处理都在终端本地完成。采用全视角传输方案，由于观看者在观看时，实际只能看到当前视野，看不到的部分占了网络带宽，但没有真正用到，从而对网络资源造成了较
大浪费。因此，提出了
FOV
图3
CMP 映射模式32
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议