影视内容的高端特效包装系统论述
作者：郑鹏，程见良，刘铁华
来源：《中国传媒科技》 2016年第11期
摘 要：影视内容的高端特效包装系统研发是面向数字影视行业特效处理的重大需求，研发无损抠像技术研发、遮罩技术研发、多点跟踪技术研发及三维合成技术研发等模块，最终形成符合国内用户操作习惯的全流程特效包装合成系统。该系统从一体化的工作流程理念出发，不仅是一个简单的包装软件，而是建立一个完整的工作站体系，完成影视后期制作从素材采集、在时间线上进行粗编，完成视觉特效制作、精编配乐，直至打包输出的全流程工作。 关键词：影视；特效；系统；
流量生成 中图分类号：TN948 文献标识码：A
文章编号：1671-0134（2016）11-076-03 DOI：10.19483/jki.11-4653/n.2016.11.032
预设与生成 该研发成果从底层开始拥有自主知识产权，提升了影视传媒领域的技术装备。研发成果将科技和百姓社会文化生活融合在一起，目的在于让电影和电视的画面更加精彩，以更好地服务百姓文化生活，满足
大众更高的精神文化追求，为社会文化事业的可持续发展作出贡献。
1. 高端特效包装系统简介
1.1 技术定义
影视节目的包装，是指由数字艺术工作者利用视觉特效合成系统，对原始实拍素材、辅助2D 及3D 素材，按照节目需求，进行编辑、特效处理及合成，并最终生成我们在影视中所见到的成片效果。混凝土裂缝论文
图1 表现的是实际拍摄的画面，图2 表现的是经过合成技术后呈现的包装效果。
1.2 产品现状
目前特效包装产品严重依赖国外，数字艺术人才严重短缺，高端影视后期包装产品一直是国外品牌的天下，其中最为知名的是全球最大的二维、三维设计和工程软件公司——Autodesk 公司。这类软件都运行在专业的图形工作站上，它们的功能非常强大，但是价位极昂贵，非一般电视台和影视制作公司能够承受。在产品性能方面也有明显地弊端：一般的后期包装合成系统采用的传统抠像技术只能通过给定的参数利用既定的算法计算出键图像，抠像结果不细致；二维动态跟踪无法兼备实时性和准确性；三维摄像机反求方面还存在诸多弊端，反求出的结果准确性无法得到验证。 1.3 要解决的主要技术和问题
影视特效包装系统的关键技术难点主要集中于特效处理的精细性、算法的实时性及系统各项关键算法有效集成与调用，系统主要包括抠像、校、合成、跟踪、噪声处理技术点，其中最为关键的是抠像技术和三维特征点跟踪技术。
2. 广播级的自适应抠像技术
抠像的特殊任务决定了它是整个特效合成系统的重中之重，处于整个软件处理流程的前端，它从拍摄素材中提取出的有用信息，直接应用到后续各种特效处理以及合成中。抠像的技术难点主要在于以下几个方面：第一，由于光照以及幕布本身彩纯度不均匀，导致抠像出的前景目标包含了背景信息。第二，噪声对于抠像过程的干扰无法避免。如数字摄像机在拍摄过程中会引入热噪声，胶片摄像机由于胶片的卤化银感光成像原理会产生颗粒噪声，这些都会影响抠像的质量。第三，对于头发、塑料瓶等细微或半透明的物体需要更加精细的抠像。
2.1 基础键
我们度键工作在YUV 空间也即亮度/ 差空间。在抠像之前我们需要先将原始的RGB 图像信号转换为YUV信号，然后根据用户抠像目标颜的度及饱和度信息在YUV 空间求解出原始图像每个象素的键值。同时，为了让抠像更为精确，我们还利用了抠像目标颜亮度与原始图像每个象素的亮度进行比较来优化键信号，从而达到了非常精确的抠像处理结果。
上面两张图中的图3 是原始的图像，图4 就是我们对原始图像中的蓝进抠像之后的键信号，可以看出我们的度键的效果还是很好的，抠像结果的键信号不仅将大面积的蓝都抠掉，并且最重要的是很多原始图像中不应该抠掉的细节，比如发丝都得到了保留。
2.2 对抠像原始图像进行去噪处理
去噪技术关注与图像边缘的清晰度以保证后续抠像的准确性，而对于图像细节的保护并不十分关心。因此，并不适合于想保留图像边缘的去噪处理。本系统提出了一种新型的去噪算法，该算法可以根据用户输入噪声的具体性质，如大小、增益、横纵比等因素对图像中的噪声有针对性地进行去噪。提出一种基于多参数曲线可调的图像彩噪声去除算法，可以根据划定的区域内白噪声进行双边滤波来去除图像中的噪声。
2.3 原始画面溢的处理
在实际的影片拍摄中，需要抠像的画面往往是在一个专门搭建的摄影棚里面拍摄的，这个摄影棚的背景一般是一大块绿布或者是蓝布，这样便于包装软件进行精确的抠像。这样做虽然有好处，但同时也带来一个问题，那就是绿布或者蓝布的颜会反射到演员的脸上或者衣服上，使得被抠的图像叠加了新的背景后显得非常假，这是由反射的颜与叠加的背景不符造成的，这种现象叫做溢。
正德皇帝下江南 我们的抠像算法对溢有专门的处理。像度键一样，我们也需要知道抠像目标颜，这个颜就作为去除溢的依据。我们会将原始图像变换YUV 空间，之后根据目标颜（也就是溢的那个颜）的度和饱和度信息对原始信号进行处理，将与溢颜相近的颜从原始信号中去掉，之后将溢处理过的图像与新的背景进行叠加，从而达到去溢的目的。 图7 是抠像合成图没有进行溢处理的效果，可以明显看出图中人物的头发边缘，脸颊以及衣服上都有明显的蓝反射光，这是由于摄影棚的蓝布导致的。图8 则是进行溢处理之后的效果，可以看出蓝的溢已经被去除，整个合成画面显得更为真实。
2.4 对度键进行补丁(Patch) 调优
基于补丁的键信号调优算法。这种算法的思想是：用户觉得初始的度键不满意，那么用户就通过某种交互方式告诉抠像工具具体是哪一部分颜他觉得抠的不干净。为此，我们给用户提供了抠像补丁功能，也就是让用户对抠像不满意的地方在图像上面进行直观地选取，在得到选取的颜信息之后，抠像补丁算法就会在RGB 空间依据所选取的颜进行三维包围盒建模，之后对原始的图像变换到三维包围盒建模之后的空间，然后再这个空间中对原始键信号进行处理，将本来应该抠掉的像素抠得更干净，从而达到了键信号调优的目的。
图9 是度键的直接结果，可以看到在人物的周围还是有一些没有抠干净的像素。图10 则是经过了
补丁调优后的键信号，可以看出人物的周围可以说是一干二净，完全达到了调优的目的。另外我们可以看出虽然我们抠掉了更多的东西，但是对于人物的头发丝等细节部分仍然保留得完好无损，这也说明我们的调优算法可以做到无损失，高质量的调优。
补丁（Patch） 数学模型如下：
3. 基于特征点跟踪技术
跟踪是通过对画面中的某个点或某些点的追踪，获取图像中运动元素的运动轨迹。
三维跟踪技术的核心之一是摄像机定标，它也是计算机视觉领域的一个重要课题，即需要根据摄像
王瓜根机拍摄的二维图象提取三维空间信息，建立起物景空间的世界坐标与图像空间的图像坐标的映射关系。
摄像机自定标指的是只利用图像之间的特征点对应关系，计算出摄像机内外参数的过程；三维点云指的是根据图像中特征点二维位置信息和摄像机参数反推出这些点的三维坐标信息。
像机参数标定和三维点云生成算法牵涉的技术很多，如图像特征点生成以及跟踪算法；摄像机模型；摄像机内外参数多视点几何关系；三维点重建；直接线性变换；Levenberg-Marquardt 优化方法等等。
自主开发的基于特征点跟踪技术算法将综合上述所有技术精确的标定摄像机参数和三维点云的生成。首先生成图像序列（视频）画面的特征点信息，包括特征点的像素位置和匹配关系、颜信息；然后根据视点对极几何关系[(Epipolargeometry)，即极线约束：m′TFm = 0，（其中F 是秩为2 的3×3矩阵，称为基础矩阵（Fundamental matrix），m为第一幅图象上的三维点投射点，m′ 为第二幅图象上的三同一个维点投射点），将那些不满足极线约束的特征点剔除。选取初始帧对结构与运动（Structure From Motion，SFM）进行初始化，初始帧的选取需要满足两个条件：需要有足够多的特征点匹配，帧之间距离不能太近，即基线（baseline）不能太短。否则求解的结构会有较大误差。基线的大小可以通过{ ( , )} ij kj b = median d Hu u ，其中单应矩阵（Homography）是一个3 * 3 的满秩
矩阵，表示两个平面之间的映射关系，用所有误差在阈值以内的匹配点，求取两帧（i,k）之间使得b 最小的 H。单应矩阵（Homography）要满足下面的公式：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议