代理服务
董振江;张东卓;黄成;刘海军
【摘 要】虚拟现实(VR)是当前视频领域研究热点.介绍了VR视频内容制作以及终端显示技术现状,分析了基于用户视点的VR视频处理关键技术,最后探讨了VR视频传输模式及其对承载网络的需求.%Virtual reality is a hot topic in the field of video.The current situation of VR video content production and VR video display technology was introduced,and the key technologies of viewport dependent VR video processing were analyzed.Finally,the mechanisms of VR video streaming and corresponding network requirements were discussed. 【期刊名称】《电信科学》
【年(卷),期】2017(033)008双重危机
【总页数】8页(P45-52)
【关键词】虚拟现实;虚拟现实视频;投影;区域封装;基于视点视频编码;全景视频传输 【作 者】董振江;张东卓;黄成;刘海军
【作者单位】中兴通讯股份有限公司,江苏南京210012;中兴通讯股份有限公司,江苏南京210012;中兴通讯股份有限公司,江苏南京210012;中兴通讯股份有限公司,江苏南京210012
【正文语种】中 文
【中图分类】TN919.8
虚拟现实（virtual reality，VR）因其沉浸感（immersion）、交互性（interaction）和构想性（imagination）为人们带来了更好的视觉体验。而VR视频需要经过内容制作、编码压缩、网络传输、终端显示等多个环节。本文将对这些环节进行介绍，并分析基于用户视点的 VR视频处理与传输关键技术，最后探讨 VR视频业务对承载网络的需求。
VR内容形态上包括 VR视频和 VR CG（computer graphic，计算机图形）两大类，前者主要是通过摄像机拍摄并生成全景（panorama）视频（单目或双目），后者主要是通过计算机图形生成三维模型。本文主要讨论前者。 2.1 VR视频制作
VR视频生成的方式有两种：一种是用摄像机拍摄；另一种是采用CG技术3D建模生成视频。错位关系
摄像机拍摄 VR视频，需要用全景摄像机即多镜头摄像机拍摄各个方向的图像内容并进行图像拼接。目前市场上全景摄像机的镜头（含镜头后面的成像设备等）数量从两个到十几个不等。如果要生成双目全景视频，则每个方向上至少覆盖两个镜头。而有些全景摄像机还配置了激光雷达等深度测量设备。要生成分辨率更高的 VR视频，则需要更高分辨率的摄像机或者更多摄像机镜头。如何降低高分辨率全景相机的成本也是未来VR高质量视频内容进行市场普及的一个重点问题。由VR CG生成的视频则类似于3D动画的VR版本，与全景拍摄相比，其最大的优势是节奏控制和调度方便，尤其是辅以各种贴图、渲染和光效，其视觉效果经常可以以假乱真。在未来，VR视频内容如六自由度视频和自由视点视频，可能需要摄像机拍摄和 CG建模两种技术手段的融合使用。
2.1.1 三自由度VR视频
（1）单目全景视频
拍摄和拼合出来的画面是一个球面，球面电影就是一种单目全景（只是缺少下面一小部分），目前在网络中多数VR视频是单目全景，即左右双眼看到的内容是一致的。这种全景视频的一个缺陷就是没有立体感，对事物的距离感体验有缺失。
（2）双目全景视频
双目全景视频利用双目视差原理，在 VR头盔的左右双眼中呈现具有一定视角差的影像，原理上与3D电影别无二致。只是在双目全景视频的生成过程中，可以通过并列双镜头摄像机拍摄生成，也可以通过具有深度信息的单镜头摄像机拍摄并通过深度计算呈现左右眼视差。
（3）VR180视频
日前，YouTube和微软联合推出了一种的全新的视频格式，名为VR180，其相当于全景视频的前面一半，且全景的顶部和底部也进行了消减，可在 VR HMD或普通电视/PC屏幕或移动端收看。VR180只保留最核心局域，尤其适合观看现场直播类的 VR内容如赛场、演唱会、会议、谈话节目等。但是VR180无法替代需要更强沉浸感的全景/VR视频。VR180
网络家庭
可降低拍摄成本，拍摄简便，减少侵权风险，后期或即时制作更便捷，降低VR内容门槛，促进UGC产生。同时，VR180同等分辨率下要求网络带宽低，终端计算能力低，终端可获得性高，促进了大屏VR业务发展。
总体来看，VR180是现阶段技术水平限制性的明智务实的折中，将促进VR内容产生。
2.1.2 六自由度VR视频
自由度（degrees-of-freedom，DoF）表示物体的可移动维度，目前多数VR HMD和VR视频只支持三自由度，即在特定观察位置，实现头部方位角旋转（yaw）、俯仰角旋转（pitch）和摇摆旋转（roll）。六自由度是在三自由度的基础上，加上观看位置的空间变动：X、Y、Z。
六自由度视频生成有如下3种方式：光场相机记录、3D模型、空间捕捉。
六自由度如果用光场相机（多个相机组成的矩阵）记录，则流量暴增（对多角度的视频压缩也是一个巨大的挑战），且自由观看的移动范围有限。3D模型中的六自由度，类似于3D游戏中主观视点和视角的变动，实际上属于VR CG范围而不是VR视频范围，也实现了自由
视点。所谓空间捕捉方式，是前两种手段的一种融合。在摄像机拍摄同时通过激光雷达扫描生成四周环境的3D模型，之后进行贴图。可以一定程度上更方便快捷地生成六自由度视频，但它生成的环境模型基于一个视点，所以3D环境模型和物体模型有一定的偏差。
尽管六自由度还处于起步阶段，但 VR发展到六自由度是更高沉浸感的未来必然方向。超图
2.2 VR视频显示
对于单目全景视频还有平面显示、环幕显示和球幕显示方式，但 VR视频显示的绝对主力是VR头盔（head mounted display，HMD）。总体看来，VR视频显示方面需要优化演进的包括如下几个领域：视听效果，包括显示分辨率、视场角等；VR HMD的显示计算能力；更好的佩戴舒适性和移动性。
2.2.1 显示分辨率
dlt目前 VR HMD最主要的短板在于显示分辨率。VR HMD显示分辨率的更准确定义不是像素数，而是单位角度的像素数（pixel per degree，PPD）。PPD的定义是每度视角有多少个像素。根据人眼的识别能力，视力1.0对应的PPD是60，即每度视角里有60个像素点，能
达到60PPD的VR HMD将是一个比较理想的显示分辨率。而目前主流VR HMD产品的PPD参数在10～15内，对应的头盔屏幕分辨率为2K左右，距离理想效果的要求还有较大的差距。目前已经有几款4K分辨率的头盔上市，预计2018年将会进入20PPD的阶段。预计VR头盔显示分辨率的演进见表1。
2.2.2 视场角
FOV（field of view）角度是VR HMD与平面视频不同的另一个重要参数，它表示了带上 VR HMD后，人眼可以看到VR内容的范围。人的双眼在水平范围的FOV可以达到200°，而目前主流商用VR HMD的FOV为96°～120°，距离完全沉浸还有较大的距离。当然人眼在水平60°范围之外的视觉敏感性很低，这些范围并不需要很高的显示分辨率，可以通过光学处理，用较少的显示像素覆盖较大的人眼余光视角范围，在提升沉浸感的同时提高显示效率。
2.2.3 VR HMD的显示计算能力
VR视频显示需要VR HMD对压缩视频进行解压、球面投影、渲染等工作，需要一定的显示
计算力。即需要GPU（用于外接式VR头盔）或者相应的处理器（VR一体机或手机式VR头盔）。而目前VR头盔分辨率显示的瓶颈就是VR HMD的显示计算力。尤其是随着 VR视频分辨率的提升，图像显示计算量呈指数增长，这一方面需要集成电路芯片领域持续地提升计算力降低单位计算能力成本，另一方面也需要 VR领域图形算法的持续优化，以降低VR图像生成的计算量。
VR视频比起VR CG，在显示计算力方面的需求较小，因此VR一体机和移动式VR头盔也会有较好的显示效果。VR一体机在成本和效果之间有一个较好的平衡，未来预计 VR一体机将是VR视频的主流观看平台。
2.3 VR视频体验
从用户体验来讲，VR视频内容与平面视频相比，有更强的沉浸性、交互性和构想性。但 VR视频由于节奏、调度、镜头语言与平面视频有很大差别，因此 VR视频的题材范围差异也很大。VR视频并不适合所有的题材，其适合如下内容：VR体育直播/大型活动直播，VR点播/直播，VR动画影视（相当于VR版本的动画片），VR旅游/房产视频点播/直播，VR综艺节目、谈话节目、真人秀，对话推进的VR情景影视，UGC VR游戏/漫游转录
的VR视频点播/直播。
（1）沉浸感
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议