u型吊臂多视点视频[1]（multi－view video/3D video）是视频处理领域中一种全新的应用，其通过在场景中放置多台摄像机，记录下多个视点视频数据，提供给用户以视点选择与场景漫游的交互能力。多视点视频所使用的多台摄像机按照一定的规律组合放置。一般有平行、汇聚和发散三种基本方式，如图1所示。多视点视频的提出体现了下一代多媒体应用的发展方向――网络化、交互性和真实感。在未来高速的网络环境下，多视点视频将在面向高宽带与高密度存储介质的交互式多媒体应用领域具有广泛的应用前景。 目前，国际标准化组织如MPEG已经充分认识到多视点视频这一新的数字媒体的重要性和应用前景，正在着手制定这方面标准。2001年MPEG会议提出多视点视频标准；2002年MPEG会议正式发出了3DAV的需求文档；2005年MPEG会议形成了3D AV 的技术征集文档。国际上多视点视频系统的相关工作尚处在初级阶段。欧洲的ATTEST建立了向下2D兼容的3D视频广播系统，使用基本层（遵循标准的DVB 编码格式）+增强层（深度信息，采用MPEG－2/4/7 编码）的编码方案[2]。Mitsubishi实现了一个全功能端到端的3D－TV系统，它采用具有可扩展性的多路视频独立编码、传输的方案，在传输部分直接用高速局域网代替数字电视的信号调制、链路传输、接收解调等环节。ETRI开发了导光剂
纹眉机一系列3DTV直播设备并进行了一定范围的试播。它采用的是将两路视频的视频帧分别降低垂直分辨率拼成一个视频帧后编码、传输和解码的视频帧复用的系统方案[3]。这些已有的成型系统均存在对硬件要求过高、无法很好支持视点选择和场景漫游等用户的交互功能。
本文将支持IPv6的高带宽网络环境中构建多视点视频点播系统作为研究目标，提出了面向较小规模的高质量交互要求应用。笔者建立了支持视点选择和平滑视点切换等功能的多视点视频点播系统，采用基于视点间预测的多视点分组编码方案，提高了编码效率，降低了网络带宽的需求。
金丝雀定位1多视点视频点播系统的结构框架及关键技术
1．1结构框架
多视点视频点播系统结构框架如图2所示。
系统包括服务器和客户端两部分，它们之间通过高速网络相连。客户端的交互控制模块和服务器端的交互响应模块分别与各自模块相连，它们通过高速网络链路进行通信。视频数据处理包括采集、编码、传输、解码、合成[4]和显示等。其中的数据采集、编码与合成部分是在服务器端预先处理完成的，数据的传输、解码和显示功能是在线实时交互点播的。
1．2多视点编码
高效的多视点视频编/解码是多视点点播系统研究的关键技术之一。在编码端多路视点的数据必须利用多摄像机之间的空间
冗余大幅度降低用于传输和存储的码流，与传统视频码流相比，增加的三维数据应不超过一定的上限，以增加新的应用的可接受性；同时，编码体系还要考虑解码端基于视点的解码需求，能够在有限增加解码系统复杂度的前提下支持用户进行交互选择视点和观察方向。
由于多路视频除了本身具有前后时间上的关联外，在拍摄空间上还有相互的关联，需要利用这些时空关联信息以实现高效的多视点视频的编码[5]。
1．2．1视点组中关键帧的编码
在一个视点编码组内，关键帧是包含信息量最大的视频帧，同时同一视点轴上的关键帧采集于同一场景的同一时刻，采集的摄像机又是位置相邻，所以它们之间包含了较大的空间冗余信息。于是笔者采用视点间预测的办法来进行视点组中关键帧的编码，以提高总的多视频编码效率。由于在视点轴上的视频帧都是同步采集，不存在先后顺序关系，而位于采集位置中央的视点显然包含有与其他视点的差异最小、最适合作为其他视点的参考视点，于是选取位于视点组中间视点的关键帧采用帧内编码模式最先编码，两旁的视频帧依次向中间参考直至中间视点[6]。其编码预测结构如图3所示。
在一个视点组内关键帧视点间的预测被限定在一定的范围内，位于视点组中间的视点的关键帧采用帧内编码，其无须参考任何其他视点；解码需要最多的其他视点参考帧的是视点组内的
位于最两边的视点，不过其关键帧解码也仅限于需要横向参考该视点组内一半数目的视点。
可控硅焊机采用这种关键帧预测结构设计，可以基于视点分组策略，在单个视点组内进一步地降低视点间关联程度，降低单路视点视频解码代价以及视点切换延时。
1．2．2视点组中非关键帧的编码
在一个视点编码组内，关键帧采用视点间同一时刻对应视频帧预测提高了整个视点组的编码效率。在多视点视频的视频序列中，通常会出现平移或者旋转的运动。图4中的第二个视点的当前时刻视频帧无法在第一个视点当前时刻对应帧到合适的参考。不过，它却可以在第一视点已经过去了的前面时刻视频帧到非常合适的参考。这样，非同一时刻的视点间预测在这种情况下可以得到非常好的编码效果。
基于这样的考虑，在编码方案设计中，视点编码组内的非关键帧编码采用非同一时刻的视点间预测。非关键帧之间的视点间预测，在编码方案中不再被使用。即各非关键帧编码参考其视点GOP 内关键帧和时间顺序前一帧，除此以外，各非关键帧编码还可以参考其视点GOP 内关键帧所参考的其他视点关键帧。这样做除了基于多视点视频的视频内容特点考虑外，更重要的是为了降低单路视点视频的提取代价。由于在时间轴上各个视频帧相关性非常大，各非关键帧通过时间轴的预测已有很高的编码效率。不采用非关键帧之间的视点间预测，可以很好地降低视点间相关
性，使得单路视点视频的提取代价大为降低，同时总的编码效率也不会有明显损失。
1．2．3视点组的编码预测结构
多视点视频编码方案是一种综合考虑多视点视频的压缩效率、单路视点解码代价、视点切换延时、并行处理等需求的完整的多视点视频编码方案。各个视点组均按照这样的方案编码，视点组之间编码过程相互独立。例如包含五个视点的视点组编码预测结构如图5所示。
编码方案中在关键帧上采用视点间预测编码，其余帧和Simulcast 同样采用时间轴的预测编码，所以编码整个视频流所能获得的收益取决于关键帧的间隔，而多视点视频的应用通常要求较小的关键帧间隔以实现快速的视点切换，这样编码方案可以较明显地提高整个视频流的编码效率，同时又支持低延时的随机访问。
痔疮液1．3交互功能
支持视点选择和平滑视点切换等交互功能也是多视点点播系统研究的关键技术。由于用户能够交互地选择场景视点，即实际传输到用户终端的视频流可以是多视点视频码流中的一路或多路，多视点视频流化传输研究将集中在系统层的多路视频流/解复用、交互控制通路、基于交互请求的多视点视频转码，以及网络自适应码流剪裁。
多视点视频点播系统除了普通视频点播功能之外，还需要提
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议