第11卷第3期扬州大学学报(自然科学版)V ol.11No.3 2008年8月Journal of Yangzhou University(Natural Science Edition)Aug.2008
桑亚林，张正华*，陆大伟
(扬州大学信息工程学院，江苏扬州225009)
摘 要：结合低码率和帧内刷新，提出一种针对感兴趣区的可变帧内刷新方法.实验结果表明，该方法可以使用较少的码率对感兴趣区域进行更好的错误控制，以提高区域图像质量，同时能根据感兴趣区及信道的状况自动调整宏块刷新数量，充分利用有限的码率. 关键词：低码率；错误控制；无线传输；帧内刷新
变频器开关电源中图分类号:T N915.43 文献标识码:A 文章编号:1007-824X(2008)03-0035-05
随着多媒体技术的发展，视频传输在无线和移动网络环境中的需求日益增加.使用具有高压缩率、有效差错控制工具的视频压缩标准现已成为解决低码率无线视频传输的必然选择.目前，低码率视频传输的标准主要有ITU的H.263系列及H.264.H.264标准[1-3]是由国际标准化组织ISO的MPEG(moving picture expert
s group)和IT U下属的VCEG(video coding ex perts group)联合制定的最新视频压缩编码标准.它代表了当前该领域最先进的视频压缩技术，拥有超强的压缩率，并且采用视频编码层和网络适应层的分层结构，提高了网络友好性，同时还提供多种容错工具，如参数集、FMO (flexible macroblock order)[4-5]等.由此可见,H.264是低码率无线视频传输的首选标准.本文拟研究H.264的常用差错控制方法[6]，把帧内刷新方法与低码率联系起来，将一帧图像分为感兴趣区和非感兴趣区[7]两部分，对图像感兴趣区进行顺序宏块刷新，以达到利用有限的码流提高图像有用区域抗差错能力的目的. 1 反馈型无线视频传输系统结构
一个无线视频传输系统大致可分为信号采集、编码、传输、解码、播放5个部分.采集过来的视频信号由于数据量非常大，而不适合无线信道的传输，需要编码压缩，编码后的码流经封装送入无线信道中.解码端收到数据包后进行解包并提取数据，通过解码重建视频图像.有时，无线传输系统还使用反馈机制(ARQ)来更好地进行差错控制，以提高重建图像的质量.但同时也带来一些新的问题: 重传数据必须在使用它之前到达，否则重传将失去意义; 反馈的引入还会造成数据的拥塞，增加丢包率.当然，在某些环境中使用反馈机制还是有必要的.本文就使用了反馈通道，把解码端的必要信息和信道状况通过反馈信道传递给编码器，使编码器能更好地工作.
2 常见的差错控制技术
H.264通过一系列的错误控制工具来增强视频数据在高误码、高丢包率环境下传输的抗差错能力，主要体现在以下3个方面.
2.1 编码端部分
编码端错误控制方法很多，总体上可以分为编码算法和传输控制两大类.其中图像分割、参考图像的选择、帧内编码、数据分割(使用在扩展档次中)以及H.264特有的参数集、FM O、冗余片等都属
收稿日期:2008-02-25
*联系人,E-mai l:zhangzh@yzu.edu
36扬州大学学报(自然科学版)第11卷
于编码算法差错控制类；而传输层的FEC(forward error correction)、RTP打包协议、包交织等方法则属于传输控制类.
1)帧内编码刷新.在P帧或者B帧内对某些宏块强制性地进行帧内预测模式编码，使用相对较少(与Intra帧刷新相比)的码流的同时能部分抑制错误的扩散，从而提高重建图像的信噪比，提高传输系统的鲁棒性，可见将刷新块使用在低码率视频传输中是一种可行性的尝试.
2)灵活的宏块排列顺序(FM O).FMO的每帧图像分为几个片组，片组之间相互独立.一帧图像中的宏块按各种扫描方式分配给这些片组，片组中每个片单独封装为NAL单元.这样，即使一个宏块丢失，也不会影响其他相邻的所有宏块，而利用周围接收正确的宏块就可以基本恢复丢失块.[8]因此,FM O可以更好地恢复错误图像，同时也避免错误的扩散，更加适合信道环境较差的无线信道的传输.由于它以增加算法的复杂度或编码效率为代价来换取容错能力的提高，所以在低码率环境下FM O模式的选择须认真考虑.
2.2 解码端部分
解码端在视频差错控制中应用更多的是错误隐藏技术，目的是尽可能地将传输错误的影响降到最低.最简单最基本的就是充分利用视频数据在时间、空间上的相关性，采取预测、内插等方法尽量恢复错误数据.[9]
1)基于运动补偿的时间预测方法.时域预测的效果很大程度上取决于运动矢量的精确性.当预测所需的运动矢量保存完整时，算法较简单且效果不错.当预测所需的运动矢量丢失时，隐藏效果就完全依赖于预测运动矢量的算法了.
2)基于残差恢复的错误隐藏[10].这种方法是第一种方法的改进，利用已正确接收和解码的信息估计宏块的残差数据，并将其加到M C(运动补偿)恢复的宏块上，实现更准确的错误隐藏.
3)空间域的预测方法.空间插值就是采用周围的块来预测当前块，也可以利用受损块周围的一圈像素点进行插值.
2.3 编解码交互部分
编解码交互部分是完全基于反馈通道而言的，不管是ARQ信道编码技术，还是基于宏块、片重传技术，都需要编码端和解码端进行通信，通信肯定会有延迟产生.笔者在实验中也采用了交互方式，不过反馈的是解码端的指令和网络状况，不需要包、宏块或片的重传，从而降低了码率.
3 低码率无线视频传输方案
3.1 改进的帧内编码宏块刷新
帧内宏块刷新能够用较少的码流进行错误漂移的部分抑制.但多少个块进行帧内刷新，哪些块进行刷新，这对于系统的性能有很大的影响.传统的帧内编码宏块刷新是随机的，即刷新模板(QCIF)中0～98的顺序是随机排列.文献[11]对此提出改进，用固定位置的宏块帧内刷新方法代替随机刷新，在相同的编码效率下提高了抗差错能力.但是对于一帧图像而言，并不是每个部分人们都关心，而且可用的码率也是非常有限的，如何把它们有机结合起来应是考虑的重点.笔者将一幅图像分为感兴趣区和非感兴趣区两部分，并把它们与不对等保护思想结合起来，用有限码流的部分或全部分配给感兴趣区，加强对感兴趣区的保护，提高感兴趣区的图像质量.而非感兴趣区的差错控制则通过其他容错工具来解决.
感兴趣区的位置、区域大小、形状等因素不是一成不变的.图1为可变感兴趣区在一帧图像中的位置及形状.笔者提出了一种基于可变感兴趣区的顺序宏块刷新方法，每帧的宏块刷新个数可随着可变感兴趣区域的面积大小自动调整，避免因感兴趣区域面积过小时对感兴趣区域的刷新过于频繁而增加码流，过大时刷新频率过低而影响容错能力.对感兴趣区的选择可以通过反馈通道传给编码器来对刷新模板及时更新.
图1 可变感兴趣区在一帧图像中的位置Fig .1 The position of variable interesting area in a f rame
□表示一幅图像;■表示感兴趣区感兴趣区的初始设置设在图像(QCIF)的中
央,x =24，初始的每帧刷新宏块数设为r =0；感
兴趣区宽w =7，高h = 5.因为接收端可能只要求
图像中间区域比较清晰，而对周边区域不感兴趣,
此时只要使用默认值就可以了，因此区域的初始
宽、高设置需要合理.一幅QCIF 图像(176×144)
有11×9=99个宏块，感兴趣区有7×5=35个宏
块，约占总数的35%.再者，感兴趣区的默认高、宽
之比为5/7≈3/4，符合人们视觉的最佳比例.
3.2 FMO 模式的选择
FM O 有7种模式，其中FM O 模式1(分散
dispersed )的容错能力最强，所用编码时间最少，可是考虑到它的编码效率低于FMO 模式0(交织
interleaved)，并且FM O 模式0的帧内隐藏效果稍低于FMO 模式1，帧间隐藏效果略高于FM O 模式1[12]，本研究选择FMO 模式0作为实验模式.
3.3 编解码交互方式
感兴趣区的位置、大小、形状这些要素及无线信道状况须通过反馈信道及时传递给编码器，使编码器能随之进行相应调整.在一幅图像中，一块长方形区域的描述可以用3个量来表示：区域的起点x (宏块序号)，区域的宽度w ，区域的高度h .反馈通道把这3个量及时准确地传递给编码器.区域大小用面积S 表示,S =w ×h ，当前无线信道状况可用丢包率l 表示.当感兴趣区面积大且丢包率高时，为保证图像质量没有显著降低，编码器要自适应地适当增加每帧的刷新宏块数量；反之，减少刷新数量.它们之间的关系可用下式表示:r =S ×l /100,r 表示每帧宏块刷新数,100
表示丢包率l 与感兴趣区刷新周期T 的约束系数,100=l ×T .
4 实验结果
实验测试序列使用forem an(QCIF)，编码60帧，帧频15，量化参数28，解码端开启错误隐藏.以foreman 序列人物脸部为感兴趣区，选择5组数据进行实验对比，分别是随机刷新、固定刷新、感兴趣区S 1刷新(起点x =36,w =4,h =6)、感兴趣区S 2(3,5,9)刷新、感兴趣区S 3(1,9,9)刷新.
图2 编码效率对比情况Fig .2 The contrast chart of coding ef ficiency
插卡式摄像头从图2可以看出，当刷新周期T 较小时,5组
数据相差很大，感兴趣区越小，编码效率越高.感兴
趣区越大，所需比特越多，编码效率越低，在T 相对
较小时更加明显.随机刷新和固定刷新的编码效率
基本相同，效率最低.当刷新周期T 较大时,5组
数据的编码效率非常接近.这是因为T 很大时，尽
管感兴趣区大小不一，但每帧分配到的刷新个数基
本相近，所以编码效率相差不大.
图3给出解码后图像的信噪比与丢包率的关
系.由图3可见，感兴趣区越小，解码后图像的信噪
比越小，这种差异随着丢包率的增加更加明显.固
定刷新的信噪比最高，它是感兴趣区最大化的一个
特例.需要指出的是，这里所说的信噪比是指整幅图像的信噪比，而不是感兴趣区的信噪比.当丢包率很高、感兴趣区较小时，由于非重点保护区域的
37第3期桑亚林等：低码率无线视频传输中的帧内刷新技术
蓄电池模拟器图3 图像解码后信噪比对比情况Fig .3 The contrast chart of PSNR after image decoding
信噪比降低，且它在整幅图像中占很大比例，所以
整帧图像的信噪比随之下降，但这并不代表感兴
趣区图像质量的下降.
感兴趣区的图像质量可通过主观标准来衡
量.图4是在10%丢包率下的解码图像，除了未
使用帧内刷新外，其他图像人脸区域主观感觉都
汽车烧甲醇相似，并没有明显的错误扩散现象.但S 3,S 2,S 1的
背景区域质量却逐渐下降(可以从人物帽子上面
的大楼条纹看出).这是因为从S 3到S 1所保护的
感兴趣区越来越小、所用比特越来越少的缘故，因
此选择合适大小的感兴趣区非常重要.
笔者以感兴趣区S 1在10%丢包环境下的编
解码为例，其编码效率比不采用刷新降低了4.97kb ·s -1，解码后图像整体信噪比提高了1.27dB ，感
兴趣区图像质量无明显降低(见图4).可见在高误码的无线环境中以增加较少的码率为代价，换取整帧图像信噪比的提高，且保证感兴趣区经恶劣环境传输后质量基本不变，这种方法用在低码率无线传输中是完全可行的
.
包装箱制作
图4 图像解码后主观对比情况
Fig .4 The subjective contrast chart after image decoding
5 结语
针对低码率无线传输，本文提出一种经过改进的宏块刷新方法，将图像分为感兴趣区和非感兴趣区两大块，用有限的码流给予感兴趣区更好的保护，可以根据感兴趣区的位置、大小、形状及信道状况自动调整每帧刷新宏块个数，充分利用码率，而非感兴趣区则由其他抗差错工具进行保护.
实验表明，这种基于可变感兴趣区的帧内刷新方法在丢包率高的情况下效果比较明显，且能根据丢包率自动调整刷新周期，以保证感兴趣区的图像质量.相对于以前的随机刷新和固定刷新，改进后的方法无疑将更灵活、更有效.
虽然只对图像的部分区域进行刷新，减少了码流大小，但是感兴趣区大小变化太快时码率也会随38扬州大学学报(自然科学版)第11卷
之发生急剧变化，不利于码率的恒定.如何解决这一问题尚须今后进一步研究.
参考文献:
[1] JV T of ISO/IEC M P EG and IT U -T V CEG Document.I T U -T Rec.H.264 I SO /IEC 14496-10A V C.Draft
I T U -T recommendation and final dr aft international standar d of joint video specification [S ].
[2] WIEGA N D T ,SU LL IV A N G J ,BJON T EG A AR D G ,et al .Ov er view o f the H .264/AV C video coding standard
[J ].IEEE T r ans on Circuits &Syst V ideo T ech ,2003,13(7):560-575.
[3] R ICHA RD SO N I E G.H.264and M P EG-4video compression [M ].N ew Y ork:John Wiley &So ns Ltd,2003:
85-97.
[4] DHO ND T Y ,LA M BERT P .F lexible macroblock or dering an er ror resilience tool in H .264/A VC [C ]//Fifth
F T W PhD Sy mposium,F aculty of Engineering.Belgium:
G hent U niv ersity,2004,106:1-2.
[5] 吕 静，王海婴.H.264中FM O 的特点及应用研究[J].数字电视与数字视频,2005(z1):50-53.
[6] 朱秀昌.视频编码新技术12题：第二讲视频传输的差错控制[J].中国数据通信,2005,7(3):81-87.
[7] 沈兰荪，卓 力，田 栋，等.视频编码与低速率传输[M ].北京：电子工业出版社,2001:312-317.
[8] W A NG Y K ,HA N N U KSEL A M M.T he err or concealment feature in the H.26L test model [C ]//Imag e
P rocessing 2002P roceeding.N ew Y ork:R ochester,2002:729-732.
循环冷却水处理
[9] 龚时谬，朱秀昌.视频通信中的误码掩盖技术初探[J].电视技术,2000(6):72-73.
[10] 段大高，崔岩松，邓中亮，等.基于残差恢复的错误隐藏算法[J ].光电子·激光,2006,17(7):881-883.
[11] 王丽丰，牛建伟，肖 晨，等.基于H.264无线视频传输系统的研究[J].计算机应用与软件,2005,22(10):
139-141.
[12] 万里晴，李学明.H .264的差错控制与错误隐藏技术研究[J ].计算机工程与应用,2007,43(16):53-57.
Intra refresh technology for wireless video
transmission over low rate channels
SANG Ya-lin,ZHANG Zheng-hua *,LU Da-w ei
(Sch of Inf En gin ,Yangzh ou Univ,Yangzhou 225009,China)
Abstract :In wireless com munication system ,there are m any great challenges in transform ing reliable video signals.So,how to effectively control bits error becomes urgent and significant.This paper proposes a intra refresh technology for w ireless v ideo transmission over low rate channels .This method can use less overhead bits to control bits error of the interesting areas to improve the quality of the area of the im age,and can autom atically adjust the number of M B (macroblock)to m ake fully use of the limited bits rate according to the location ,the size and the shape of the interesting area .
Keywords :low bits rate ;error control ;w ireless transmission ;intra refresh
(责任编辑 贾慧鸣)39第3期桑亚林等：低码率无线视频传输中的帧内刷新技术
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议