图像解码方法及图像解码装置

著录项
  • CN201810244505.0
  • 20121121
  • CN108471532A
  • 20180831
  • 太阳专利托管公司
  • M·纳罗施克;T·韦丁
  • H04N19/117
  • H04N19/117 H04N19/139 H04N19/159 H04N19/176 H04N19/82 H04N19/86

  • 201280029993.4 2012.11.21
  • 美国纽约
  • 美国(US)
  • 20111125 US61/563,695
  • 永新专利商标代理有限公司
  • 吕文卓
摘要
图像解码方法,与使用滤波宽度不同的多个解块滤波器的至少一个将邻接的两个变换单元进行滤波相伴随,包括:决定步骤,根据第一值是否比规定值大,决定是否对邻接的两个变换单元应用解块滤波器,第一值是根据邻接的两个变换单元的像素间的像素值的差分绝对值是否比规定的判断值大而决定的;选择步骤,在通过决定步骤决定了应用解块滤波器的情况下,从多个解块滤波器中选择用于滤波的解块滤波器;应用步骤,对邻接的两个变换单元的邻接的边缘,应用所选择的解块滤波器;在选择步骤中,决定是否从多个解块滤波器中选择第一解块滤波器,在不选择的情况下决定是否从多个解块滤波器中选择具有比第一解块滤波器窄的滤波宽度的第二解块滤波器。
权利要求

1.一种图像解码方法,是与使用滤波宽度不同的多个解块滤波器的至少一个将邻接的 两个变换单元进行滤波相伴随的图像解码方法,其特征在于,

包括以下步骤:

决定步骤,根据第一值是否比规定值大的结果,决定是否对上述邻接的两个变换单元 应用解块滤波器,上述第一值是根据上述邻接的两个变换单元的像素间的像素值的差分绝 对值是否比规定的判断值大而决定的;

选择步骤,在通过上述决定步骤决定了对上述邻接的两个变换单元应用解块滤波器的 情况下,从上述多个解块滤波器中,选择用于滤波的解块滤波器;以及

应用步骤,对上述邻接的两个变换单元的邻接的边缘,应用所选择的上述解块滤波器;

在上述选择步骤中,决定是否从上述多个解块滤波器中选择第一解块滤波器,在不选 择上述第一解块滤波器的情况下,决定是否从上述多个解块滤波器中选择具有比上述第一 解块滤波器窄的滤波宽度的第二解块滤波器。

2.如权利要求1所述的图像解码方法,其特征在于,

在上述第一解块滤波器及上述第二解块滤波器不被选择的情况下,不选择任何解块滤 波器。

3.一种图像解码装置,用于进行解码,该解码与使用滤波宽度不同的多个解块滤波器 的至少一个将邻接的两个变换单元进行滤波相伴随,其特征在于,

包括:

决定部,根据第一值是否比规定值大的结果,决定是否对上述邻接的两个变换单元应 用解块滤波器,上述第一值是根据上述邻接的两个变换单元的像素间的像素值的差分绝对 值是否比规定的判断值大而决定的;

选择部,在上述决定部决定了对上述邻接的两个变换单元应用解块滤波器的情况下, 从上述多个解块滤波器中,选择用于滤波的解块滤波器;以及

应用部,对上述邻接的两个变换单元的邻接的边缘,应用所选择的上述解块滤波器;

上述选择部决定是否从上述多个解块滤波器中选择第一解块滤波器,在不选择上述第 一解块滤波器的情况下,决定是否从上述多个解块滤波器中选择具有比上述第一解块滤波 器窄的滤波宽度的第二解块滤波器。

4.如权利要求3所述的图像解码装置,其特征在于,

在上述第一解块滤波器及上述第二解块滤波器不被选择的情况下,不选择任何解块滤 波器。

5.一种图像解码装置,用于进行解码,该解码与使用滤波宽度不同的多个解块滤波器 的至少一个将邻接的两个变换单元进行滤波相伴随,其特征在于,

具备:

至少一个处理器;以及

能够由上述至少一个处理器访问的存储装置;

上述至少一个处理器利用上述存储装置执行以下步骤:

决定步骤,根据第一值是否比规定值大的结果,决定是否对上述邻接的两个变换单元 应用解块滤波器,上述第一值是根据上述邻接的两个变换单元的像素间的像素值的差分绝 对值是否比规定的判断值大而决定的;

选择步骤,在通过上述决定步骤决定了对上述邻接的两个变换单元应用解块滤波器的 情况下,从上述多个解块滤波器中,选择用于滤波的解块滤波器;以及

应用步骤,对上述邻接的两个变换单元的邻接的边缘,应用所选择的上述解块滤波器;

在上述选择步骤中,决定是否从上述多个解块滤波器中选择第一解块滤波器,在不选 择上述第一解块滤波器的情况下,决定是否从上述多个解块滤波器中选择具有比上述第一 解块滤波器窄的滤波宽度的第二解块滤波器。

6.如权利要求5所述的图像解码装置,其特征在于,

在上述第一解块滤波器及上述第二解块滤波器不被选择的情况下,不选择任何解块滤 波器。

说明书
技术领域

本发明涉及使用解块滤波器(deblocking filter)进行图像的滤波处理的图像处 理方法及图像处理装置。

在运动图像编码处理中,有多个标准化的标准。当前标准化的运动图像编码处理 的大半使用混合运动图像编码处理。在混合运动图像编码处理中,通常,为了得到希望的压 缩增益(compression gain),将可逆的压缩处理及不可逆的压缩处理组合使用。混合运动 图像编码处理不仅是ISO/IEC标准(MPEG-1、MPEG-2及MPEG-4等MPEG-X标准)的基础,也成为 ITU-T标准(H.261及H.263等H.26X标准)的基础。

在执行混合运动图像编码处理的运动图像编码装置中,输入表示由一系列的帧构 成的图像序列的视频信号。在混合运动图像编码处理中,将输入图像(帧)分割为多个块,按 分割的块单位进行编码处理。分割的块中的最大尺寸的块被称作最大编码单位LCU (Largest Codeing Unit)。最大编码单位LCU的大小例如在HEVC中是64×64像素。此外,在 H.264/MPEG-4AVC中,通常,将LCU进一步分割为16×16像素等的编码单位CU(Codeing Unit),按CU单位将图像编码。此外,编码单位CU有被分割为更小的尺寸的预测单位PU (Prediction Unit)、或变换单位TU(Transform Unit)的情况。另外,块的尺寸也可以根据 图像的内容的种类等而不同。进而,编码处理的方法也可以按每个块而不同。

如上述那样,编码处理按块单位执行,所以在将编码比特流解码时,有在解码图像 中成为能够辨识块的边界的状态的情况(块噪声(blocknoise))。块噪声特别在量化处理中 在进行了粗量化(rough quantization)的情况下显著地显现。这样的块噪声给人的视觉辨 识带来负效果。即,块噪声使画质下降。

作为降低块噪声的方法,例如有H.264/MPEG-4AVC运动图像编码标准或HM中的、进 行使用解块滤波器的滤波处理的方法(HM是HEVC运动图像编码标准化趋向的测试模型,参 照非专利文献3)。解块滤波器对在预测处理中参照的重构图像使用。

现有技术文献

专利文献

专利文献1:美国专利申请公开第2008/0025632号说明书

非专利文献1:JCT-VC,“WD3:Working Draft 3of High-Efficiency Video Coding”,JCTVC-E603,March 2011,段8.6.1.

非专利文献2:JCT-VC,“Common test conditions and software reference configurations”,JCTVC-F900,July 2011.

非专利文献3:JCT-VC,“WD4:Working Draft 4of High-Efficiency Video Coding”,JCTVC-F803_d2,July 2011.

发明概要

发明要解决的问题

在上述现有技术中,在使用解块滤波器的滤波处理中,使块噪声降低。

本发明的目的在于提供一种图像处理方法及图像处理装置,进行使用能够提高对 于块噪声的适应度并进一步实现降低的解块滤波器的滤波处理。

解决问题所采用的手段

为了达到上述目的,有关本发明的一技术方案的图像解码方法,是与使用滤波宽 度不同的多个解块滤波器的至少一个将邻接的两个变换单元进行滤波相伴随的图像解码 方法,其特征在于,包括以下步骤:决定步骤,根据第一值是否比规定值大的结果,决定是否 对上述邻接的两个变换单元应用解块滤波器,上述第一值是根据上述邻接的两个变换单元 的像素间的像素值的差分绝对值是否比规定的判断值大而决定的;选择步骤,在通过上述 决定步骤决定了对上述邻接的两个变换单元应用解块滤波器的情况下,从上述多个解块滤 波器中,选择用于滤波的解块滤波器;以及应用步骤,对上述邻接的两个变换单元的邻接的 边缘,应用所选择的上述解块滤波器;在上述选择步骤中,决定是否从上述多个解块滤波器 中选择第一解块滤波器,在不选择上述第一解块滤波器的情况下,决定是否从上述多个解 块滤波器中选择具有比上述第一解块滤波器窄的滤波宽度的第二解块滤波器。

有关本发明的一技术方案的图像解码装置,用于进行解码,该解码与使用滤波宽 度不同的多个解块滤波器的至少一个将邻接的两个变换单元进行滤波相伴随,其特征在 于,包括:决定部,根据第一值是否比规定值大的结果,决定是否对上述邻接的两个变换单 元应用解块滤波器,上述第一值是根据上述邻接的两个变换单元的像素间的像素值的差分 绝对值是否比规定的判断值大而决定的;选择部,在上述决定部决定了对上述邻接的两个 变换单元应用解块滤波器的情况下,从上述多个解块滤波器中,选择用于滤波的解块滤波 器;以及应用部,对上述邻接的两个变换单元的邻接的边缘,应用所选择的上述解块滤波 器;上述选择部决定是否从上述多个解块滤波器中选择第一解块滤波器,在不选择上述第 一解块滤波器的情况下,决定是否从上述多个解块滤波器中选择具有比上述第一解块滤波 器窄的滤波宽度的第二解块滤波器。

有关本发明的一技术方案的图像解码装置,用于进行解码,该解码与使用滤波宽 度不同的多个解块滤波器的至少一个将邻接的两个变换单元进行滤波相伴随,其特征在 于,具备:至少一个处理器;以及能够由上述至少一个处理器访问的存储装置;上述至少一 个处理器利用上述存储装置执行以下步骤:决定步骤,根据第一值是否比规定值大的结果, 决定是否对上述邻接的两个变换单元应用解块滤波器,上述第一值是根据上述邻接的两个 变换单元的像素间的像素值的差分绝对值是否比规定的判断值大而决定的;选择步骤,在 通过上述决定步骤决定了对上述邻接的两个变换单元应用解块滤波器的情况下,从上述多 个解块滤波器中,选择用于滤波的解块滤波器;以及应用步骤,对上述邻接的两个变换单元 的邻接的边缘,应用所选择的上述解块滤波器;在上述选择步骤中,决定是否从上述多个解 块滤波器中选择第一解块滤波器,在不选择上述第一解块滤波器的情况下,决定是否从上 述多个解块滤波器中选择具有比上述第一解块滤波器窄的滤波宽度的第二解块滤波器。

另外,这些全局性或具体的技术方案也可以由系统、集成电路、计算机程序或计算 机可读取的CD-ROM等记录介质实现,也可以由方法、装置、系统、集成电路、计算机程序及记 录介质的任意组合实现。

发明效果

根据本发明,在使用解块滤波器的图像处理方法及图像处理装置中,能够进一步 提高对于块噪声的适应度。

图1是表示实施方式1的运动图像编码装置的结构例的模块图。

图2A是表示在水平方向上邻接的两个编码块单位CU的例子的图。

图2B是表示在垂直方向上邻接的两个编码块单位CU的例子的图。

图3A是表示在水平方向上邻接的两个编码块单位CU中的像素值的例子的图。

图3B是表示图2A所示的邻接块A和处理对象块B的更详细的例子的图。

图4A是表示比较例的滤波处理的处理顺序的图。

图4B是表示在水平方向上邻接的两个块的图。

图4C是表示在垂直方向上邻接的两个块的图。

图5是表示比较例的边界强度BS的计算处理的处理顺序的流程图。

图6是表示实施方式的运动图像编码装置的解块滤波处理部的结构例的模块图。

图7A是表示实施方式的滤波处理的处理顺序的图。

图7B是表示在水平方向上邻接的两个块的图。

图7C是表示在垂直方向上邻接的两个块的图。

图8是表示实施方式的边界强度BS的计算处理及阈值tc的偏移值tc_offset的设定 的处理顺序的流程图。

图9A是表示在较强的滤波中使用的像素的例子的图。

图9B是表示用较强的滤波进行滤波的像素的例子的图。

图10A是表示在较弱的滤波中使用的像素的例子的图。

图10B是表示用较弱的滤波进行滤波的像素的例子的图。

图11是表示比较例的边界强度BS的计算处理及阈值tc的偏移值tc_offset的设定 的处理顺序的流程图。

图12A是表示比较例的编码效率和实施方式的编码效率的图。

图12B是表示比较例的编码效率和实施方式的编码效率的图。

图13是表示变形例1的边界强度BS的计算处理的处理顺序的流程图。

图14是表示比较例的编码效率和实施方式的编码效率的图。

图15是表示变形例1的阈值tc的设定例的图。

图16是表示变形例2的阈值tc的设定例的图。

图17是表示变形例3的阈值tc的设定例的图。

图18A是表示变形例4的滤波处理的处理顺序的图。

图18B是表示变形例4的阈值tc的设定例的图。

图19是表示实施方式2的运动图像解码装置的结构例的模块图。

图20是表示实施方式2的运动图像编码装置的结构例的模块图。

图21是实现内容分发服务的内容供给系统的整体结构图。

图22是数字广播用系统的整体结构图。

图23是表示电视机的结构例的模块图。

图24是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例 的模块图。

图25是表示作为光盘的记录介质的构造例的图。

图26A是表示便携电话的一例的图。

图26B是表示便携电话的结构例的模块图。

图27是表示复用数据的结构的图。

图28是示意地表示各流在复用数据中怎样被复用的图。

图29是更详细地表示在PES包序列中视频流怎样被保存的图。

图30是表示复用数据的TS包和源包的构造的图。

图31是表示PMT的数据结构的图。

图32是表示复用数据信息的内部结构的图。

图33是表示流属性信息的内部结构的图。

图34是表示识别影像数据的步骤的图。

图35是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电 路的结构例的模块图。

图36是表示切换驱动频率的结构的图。

图37是表示识别影像数据、切换驱动频率的步骤的图。

图38是表示将影像数据的标准与驱动频率建立了对应的查表的一例的图。

图39A是表示将信号处理部的模块共用的结构的一例的图。

图39B是表示将信号处理部的模块共用的结构的另一例的图。

(作为本发明的基础的认识/本发明的课题的详细情况)

在混合运动图像编码处理中,运动图像编码装置一般执行预测处理而生成预测图 像数据,对输入图像数据和预测图像数据的残差图像数据,执行变换处理或量化处理或其 两者。在预测处理中,一般使用空间预测或时间预测。在空间预测中,使用已经编码的块中 的、在空间上接近的块进行预测。在时间预测中,使用已经编码的块中的、在时间上接近的 块进行预测。在变换处理中,将预测残差数据(预测残差块)从空间(像素)域变换为频域,生 成变换系数。该变换的目的是降低输入块的相关。在量化处理中,进行变换系数的量化,生 成量化系数。量化通过不可逆的压缩进行。运动图像编码装置一般通过对量化系数进行熵 编码、将已经压缩的量化系数进一步压缩(可逆地压缩),来生成编码视频信号。进而,运动 图像编码装置将为了将编码比特流解码而需要的解码控制信息进行编码。该解码控制信息 例如是关于空间预测及/或时间预测、量化量等的信息。运动图像编码装置生成包含编码视 频信号和解码控制信息的编码比特流。

[比较例的运动图像编码装置的结构]

图1是表示使用H.264/MPEG-4AVC或HEVC的运动图像编码装置的结构例的模块图。

如图1所示,运动图像编码装置100具备减法部105、变换部110、量化部120、逆量 化/逆变换部130、加法部140、解块滤波处理部150、样本自适应偏移处理部(sample adaptive offsetting unit)155、自适应环路滤波处理部(adaptive loop filtering unit)165、帧存储器170、预测部180及熵编码部190。

在图1中,减法器105按每个块,从输入信号s0中包含的编码对象块的输入图像数 据中,减去与编码对象块对应的预测图像数据(预测图像信号s5),从而生成预测误差数据 (预测误差信号e0)。

变换部110对所生成的预测误差数据(预测误差信号e0)进行从图像域向频域的变 换。

量化部120对被变换为频域的预测误差数据(预测误差信号e1)进行量化处理,计 算量化系数。量化部120在这里使用2维离散余弦变换(DCT)将预测误差数据变换。通过DCT 计算的量化系数有集中于低频成分的倾向。另外,量化部120也可以使用整数变换等将预测 误差数据变换。

逆量化/逆变换部130对由量化部120量化处理后的预测误差数据(预测误差信号 e2)进行逆量化处理,进而进行从频域向图像域变换的逆变换处理。另外,预测误差信号e3 因为量化处理中的也称作量化噪声的量化误差的影响而与原来的预测误差信号e0不同。

加法部140按每个编码对象块,将预测图像数据(预测图像信号s5)、与由逆量化/ 逆变换部130进行了逆量化处理及逆变换处理的预测误差数据(预测误差信号e3)相加,从 而生成重构图像数据(重构图像信号s1)。

解块滤波处理部150进行对于重构图像数据(重构图像信号s1)的滤波处理。解块 滤波处理部150在这里对CU边缘、PU边缘及TU边缘执行滤波处理。CU边缘是指,在邻接的两 个编码单位CU的边界、因量化处理中的块噪声等而产生的边缘。同样,将两个预测单位(PU) 的边界的边缘称作PU边缘,将两个变换单位(TU)的边界的边缘称作TU边缘。

解块滤波处理部150虽然没有图示,但具备强度不同的多个解块滤波器、和控制多 个解块滤波器的滤波器控制部。这里,对解块滤波处理部150具备窄频带及宽频带的两种解 块滤波器的情况进行说明。例如,在H.264/MPEG-4AVC中,在块噪声较大的情况下,作为解块 滤波器而使用较强的(窄频带的)低通滤波器。另一方面,在块噪声较小的情况下,作为解块 滤波器而使用较弱的(宽频带的)低通滤波器。低通滤波器的强度由预测信号s’及量化预测 误差信号e’决定。解块滤波器一般使块边缘变平滑,所以解码图像的主观的品质提高。进 而,滤波处理后的重构图像数据(重构图像信号s2)由于在预测部180的基于运动补偿的预 测图像数据的生成中使用,所以预测图像数据的预测误差被降低。由此,编码的效率提高。

另外,关于滤波处理的详细情况在后面叙述。

样本自适应偏移处理部155对由解块滤波处理部150滤波处理后的重构图像数据 (重构图像信号s2),以像素单位进行赋予用来接近原来的像素值的偏移值的处理。

自适应环路滤波处理部165具备自适应环路滤波器(adaptive loop filter),对 从样本自适应偏移处理部155输出的重构图像数据(重构图像信号s3),进行补偿通过压缩 发生的图像的畸变(distortion)的处理。作为自适应环路滤波器,一般使用具有被决定为 使得重构图像信号s1与输入图像信号S0的均方误差为最小的滤波器系数的维纳滤波器 (Wiener filter)。

通过样本自适应偏移处理部155及自适应环路滤波处理部165,能够以像素单位使 对原来的图像的适应度提高,能够使品质提高。

在帧存储器170中,将应用了自适应环路滤波器的重构图像数据(重构图像信号 s4)以帧单位保存。

虽然没有图示,但预测部180具备进行使用空间预测(帧内预测)的预测图像的生 成的帧内预测部、和进行使用时间预测(帧间预测)的预测图像的生成的帧间预测部。预测 部180能够按每个帧或按每个块变更预测类型。帧内预测部通过使用保存在帧存储器170中 的块单位的重构图像数据进行帧内预测,生成编码对象块的帧内预测图像数据。帧间预测 部通过使用保存在帧存储器170中的帧单位的重构图像数据、和通过运动检测等导出的运 动矢量进行帧间预测,生成编码对象块的帧间预测图像数据。另外,运动矢量也可以用1/2 像素或1/4像素等的空间子像素的分辨率决定。

熵编码部190对预测误差数据(预测误差信号e2)进行可变长编码处理而生成编码 比特流。在可变长编码处理中,例如使用游程长度编码(run-length codes)进行编码。通过 可变长编码处理,数据量进一步缩小。

[比较例的解块滤波方法]

以下,基于图2A~图5对使用解块滤波器的滤波处理的详细情况进行说明。

另外,在使用解块滤波器的滤波处理中,包括进行滤波器的设定的控制处理、以及 按照控制处理的设定来执行对编码对象块CU的处理的滤波处理。在控制处理中,包括(1)滤 波处理的执行可否的判断处理、以及(2)使用的解块滤波器的选择处理。在(2)选择处理中, 包括规定解块滤波器的动作的各参数的计算,例如表示滤波器处理的限制范围的tc的计算 等。

[(1)滤波处理的执行可否的判断处理]

使用解块滤波器的滤波处理优选的是对基于块噪声的块边界的边缘进行应用,对 不是块噪声的输入图像的边缘不进行应用。这是因为,例如,如果对不是块噪声的输入图像 的边缘应用使用解块滤波器的滤波处理,则图像不必要地变得平滑,有可能发生图像的畸 变等。此外,如果对基于块噪声的块边界的边缘不执行使用解块滤波器的滤波处理,则有块 噪声残留的情况。

因此,在使用解块滤波器的滤波处理中,正确地判断基于通过量化处理等产生的 块噪声的块边界的边缘、和不是块噪声的输入图像的边缘是重要的。

以下,基于图2A~图3B对滤波处理的执行可否的判断处理进行说明。

另外,在滤波处理的执行可否的判断方法中,有多个判断方法,这里对基于块边界 的两侧的像素值进行判断的情况进行说明。

图2A是表示在水平方向上邻接的两个编码块单位CU的边界、在滤波处理的执行可 否的判断处理中使用的像素的图。图2B是表示在垂直方向上邻接的两个编码块单位CU的边 界、在滤波处理的执行可否的判断处理中使用的像素的图。另外,在图2A及图2B中,块340是 处理对象块,邻接块310、320及330是已处理(已编码或已解码)块。此外,在图2A中,以行单 位设定了由在水平方向上排列为一列的像素构成的像素行360。像素行360由边界的两侧的 3像素、合计6像素构成。同样,在图2B中,以列单位设定了由在垂直方向上排列为一列的像 素构成的像素列370。像素列370由边界的两侧的3像素、合计6像素构成。执行可否的判断处 理以像素列单位执行。

图3A是表示在图2A所示的像素行360中包含的各像素的像素值的例子的曲线图。 此外,图3B是图2A所示的邻接块330(在图3A及图3B中是块A)和处理对象块340(在图3A及图 3B中是块B)的更详细的例子的图。图3A所示的线410(行410)表示块A与块B的边界。在图3B 中,像素prc是块A中包含的像素。像素qrc是块B中包含的像素。另外,r是用来确定列的索引, 从线410侧起依次为0,1,…。此外,c是用来确定行的索引,从上侧起依次为0,1,…。

例如,在H.264/MPEG-4AVC中,用以下的方法进行执行可否的判断处理。在H.264/ MPEG-4AVC中,评价邻接块A及处理对象块B的一阶微分(一阶导函数)的绝对值(例如,参照 专利文献1)。这里,对使用图2A所示的像素行360的判断进行说明。此外,这里的判断,以像 素行单位对全部的像素行进行。像素p0及q0在满足由以下的式1~式3表示的条件的情况 下,判断为执行滤波处理。

[数学式1]

|p0-q0|<αH264(QPNew)…(式1)

[数学式2]

|p1-p0|<βH264(QPNew)…(式2)

[数学式3]

|q1-q0|<βH264(QPNew)…(式3)

这里,一般而言,βH264(QPNew)<αH264(QPNew)。

此外,在除了上述3条件以外还满足由以下的式4表示的条件的情况下,将像素p1 滤波。

[数学式4]

|p2-p0|<βH264(QPNew)…(式4)

进而,在除了由式1~式3表示的3条件以外还满足由以下的式5表示的条件的情况 下,将像素q1滤波。

[数学式5]

|q2-q0|<βH264(QPNew)…(式5)

式1~式5所示的条件相当于第一块内的一阶微分和第二块内的一阶微分的评价。 在式1~式5中,QP是表示在量化处理中应用的量化量(量化步骤的大小)的量化参数,β及α 是标量常数(scalarconstant)。特别地,QPNew如以下的式6所示那样,是基于分别在第一块A 及第二块B中使用的量化参数QPA及QPB导出的量化参数。

[数学式6]

QPNew=(QPA+QPB+1)>>1…(式6)

这里,“>>n”表示向右移位n比特(在上述式中是1比特)的量。

如上述那样,在H.264/MPEG-4AVC中,使用全部的像素行360进行执行可否的判断, 但并不限定于此。

例如,在HEVC中,将执行可否的判断使用像素行360中的一部分像素行360以块单 位进行(参照非专利文献1)。

以下,基于图3A及图3B对HEVC中的滤波处理的执行可否的判断处理进行说明。在 HEVC中,评价邻接块A及处理对象块B的二阶微分(二阶导函数)的绝对值。另外,在图3A及图 3B中,使用从上起第3行及第6行的两个像素行430,以块单位进行执行可否的判断。

具体而言,首先,使用以下的式7,计算用于执行可否的判断的评价值dp及评价值 dq。

[数学式7]

dp2=|p22-2·p12+p02|dq2=|q22-2·q12+q02|

dp5=|p25-2·p15+p05|dq5=|q25-2·q15+q05|

dp=dp2+dp5 dq=dq2+dq5…(式7)

这里,评价值dp及评价值dq相当于第一块内的二阶微分和第二块内的二阶微分的 评价结果。在满足以下的式8所示的条件的情况下,判断为对图3B所示的8个像素行的全部 执行滤波处理。

[数学式8]

d=dp+dq<β(QP)…(式8)

另外,在不满足上述条件的情况下,不执行滤波处理。

[(2)使用的解块滤波器的选择处理]

在通过上述判断处理判断为执行滤波处理的情况下,执行从强度不同的多个解块 滤波器中选择要使用的解块滤波器的选择处理。

在该比较例中,说明基于边界强度BS来选择要使用的解块滤波器的情况。

图4A是表示滤波处理的处理顺序的流程图。此外,图4B表示在水平方向上邻接的 两个块BP和BQ。图4C表示在垂直方向上邻接的两个块BP和BQ。

在步骤S1000中,图1所示的解块滤波处理部150的滤波器控制部,计算边界强度BS 作为第一参数。边界强度BS的值是0以上的整数。边界强度BS的计算顺序的详细情况在后面 叙述。

在步骤S1010中,滤波器控制部判断在步骤S1000中计算出的边界强度BS是否是正 数。在步骤S1010中判断为BS不是正数(BS=0)的情况下(S1010的“否”),滤波器控制部不执 行滤波处理,结束处理。

另一方面,在步骤S1010中判断为BS是正数的情况下(S1010的“是”),在步骤S1020 中,通过滤波器控制部,计算规定解块滤波器的输出范围的阈值tc、和用来选择要使用的解 块滤波器的阈值β。规定解块滤波器的输出范围的阈值tc和用来选择解块滤波器的阈值β的 计算方法的详细情况在后面叙述。

在步骤S1030中,滤波器控制部基于阈值β,选择解块滤波器。在该选择中,还包括 不选择解块滤波器的情况。具体而言,滤波器控制部基于阈值β,选择较强的滤波器、较弱的 滤波器或无滤波器的某个。

滤波器控制部,在步骤S1030中选择了较强的滤波器的情况下,对处理对象的块边 界,使用窄频带的解块滤波器进行滤波(S1032)。另一方面,滤波器控制部,在步骤S1030中 选择了较弱的滤波器的情况下,对处理对象的块边界,使用宽频带的解块滤波器进行滤波 (S1034)。另一方面,滤波器控制部,在步骤S1030中选择了无滤波器的情况下,不进行滤波 (S1036)。

通过执行滤波处理,能够使重构图像数据的块边界的边缘平滑,能够使重构图像 的画质提高。

对在上述解块滤波器的选择处理中执行的各种参数的计算处理更详细地说明。

首先,对边界强度BS的计算进行说明。

基于图5对图4A的步骤S1000的边界强度BS的计算方法进行说明。图5是表示步骤 S1000的边界强度BS的计算处理的处理顺序的流程图。

另外,在边界强度BS的值与块噪声的大小之间有相关性,一般而言,边界强度BS越 强,块噪声越大。在图5的流程图中,作为边界强度BS的判断条件,设定了(i)块是否是帧内 编码图像、(ii)是否是CU边缘、(iii)cbf标志(表示是否具有系数的标志)是否是0、(iv)与 边界相接的两个块的参照图片是否相同、(v)像素值的差分绝对值是否比规定的判断值大。 另外,边界强度BS的设定中的判断条件,也可以使用在编码对象块的运动补偿预测中使用 的运动矢量与在邻接块的运动补偿预测中使用的运动矢量是否相同等其他判断条件。

在步骤S210中,解块滤波处理部150(图1,图6)的滤波器控制部153(图6)判断是否 块BP和BQ的至少一方是帧内编码图像。帧内编码图像(I图片)一般而言与帧间编码图像等相 比有量化处理时的量化误差变大的倾向。因此,在块BP和BQ的至少一方是帧内编码图像的情 况下,作为边界强度而设定比较大的值。

在判断为块BP及BQ的至少一方是帧内编码图像的情况下(步骤S210的“是”),在步 骤S212中,滤波器控制部153判断当前处理中的块边界是否是编码单位CU的边界(是否是CU 边缘)。

在判断为当前处理中的块边界是CU边缘的情况下(步骤S212的“是”),将边界强度 BS的值设定为4(步骤S216)。另一方面,在判断为当前处理中的块边界不是CU边缘的情况下 (步骤S212的“否”),例如在当前处理中的块边界是PU边缘或TU边缘的情况下,将边界强度 BS的值设定为3(S214)。

在步骤S210中判断为块BP及BQ双方不是帧内编码图像的情况下(S210的“否”),判 断是否标志cbf-P或标志cbf-Q的某一方的值不是0(S220)。这里,标志cbf-P是表示块BP是 否具有系数的标志,在值不是0的情况下,表示有系数,在值为0的情况下,表示没有系数。同 样,标志cbf-Q是表示块BQ是否具有系数的标志。

在判断为标志cbf-P及标志cbf-Q双方是0的情况下(S220中“是”),在步骤S222中, 将边界强度BS的值设定为2。

另一方面,在判断为标志cbf-P或标志cbf-Q的某一方不是0的情况下(S220中 “否”),判断块BP的参照图片索引RefIdx-P和块BQ的参照图片索引RefIdx-Q是否相互不同 (S230)。另外,参照图片索引RefIdx-P是表示在块BP的预测处理中参照的图片的索引。参照 图片索引RefIdx-Q是表示在块BQ的预测处理中参照的图片的索引。

在判断为参照图片索引RefIdx-P和参照图片索引RefIdx-Q不同的情况下(S230的 “是”),将边界强度BS的值设定为1。

另一方面,在判断为参照图片索引RefIdx-P与参照图片索引RefIdx-Q相同的情况 下(S230的“否”),判断是否参数AbsHor及AbsVer的某一方比3大(S240)。这里,参数AbsHor 用在块BP的预测处理中使用的运动矢量与在块BQ的预测处理中使用的运动矢量之间的水平 成分的差的绝对值来表示。参数AbsVer用在块BP的预测处理中使用的运动矢量与在块BQ的 预测处理中使用的运动矢量之间的垂直成分的差的绝对值来表示。另外,在步骤S240中,作 为参数AbsHor及AbsVer的判断值而使用3,但并不限定于此。

在判断为参数AbsHor及AbsVer的某一方比3大的情况下(S240的“是”),将边界强 度BS的值设定为1(S242)。

在判断为参数AbsHor及AbsVer双方是3以下的情况下(S240的“否”),将边界强度 BS设定为0(S244)。

边界强度BS的值越大,解块滤波处理部150使用越强的滤波器进行滤波处理。在边 界强度BS的值是0的情况下,解块滤波处理部150不执行滤波处理。强度越强的解块滤波器 (“较强的滤波器”),对邻接于边界的像素的像素值进行越实质性的修正。

接着,对参数tc的计算进行说明。

对图4A的步骤S1020的解块滤波器的阈值tc的计算方法进行说明。

在解块滤波器的阈值tc的计算方法中,例如,在AVC中,如以下的式9所示,有使用 以量化参数QP和边界强度BS值为指标的2维的编码表将tc导出的方法。

[数学式9]

tc=cliptable[QP][BS]…(式9)

但是,在该方法中,由于2维的编码表的数据量较多,所以有为了存储2维的编码表 而需要大容量存储器的问题。此外,由于从大容量存储器进行大量的数据的读出,所以难以 实现处理效率的提高。

作为解块滤波器的阈值tc的其他计算方法,例如,在HEVC(从HM版本1.0开始)中, 有使用以可变tc_offset为指标的1维的编码表将阈值tc导出的方法。参数tc_offset基于在 图4A的步骤S1000中导出的边界强度BS的值计算。滤波器控制部在边界强度BS为2以下的情 况下对tc_offset设定0,在强化强度BS比2大的情况下对tc_offset设定2。并且,通过以下的 式10决定参数tc。

[数学式10]

tc=Tctable[QP+tc_offset]…(式10)

这里,当边界强度BS比2大时,将tc_offset的值设定为2,当边界强度BS为2以下 时,将tc_offset的值设定为0。函数Tctable[]是表形式的函数,基于[]内的自变量导出tc。 关于该表,在由上述引用的非专利文献3中定义。

[课题的详细情况]

以上,对比较例中的滤波处理进行了说明。

如上述那样,在解块滤波器的滤波处理中,要求进一步提高对于块噪声的适应度。 为了进一步提高对于块噪声的适应度,例如优选的是,从多个不同的解块滤波器中,适当地 选择在滤波处理中使用的解块滤波器。

为了解决这样的问题,有关本发明的一技术方案的解块滤波方法,使用滤波器强 度不同的多个解块滤波器进行对图像块的滤波处理,其特征在于,包括以下步骤:第一参数 计算步骤,计算表示邻接的两个图像块间的边界强度的第一参数;第二参数计算步骤,基于 上述第一参数及量化参数,计算表示上述解块滤波器的限制值的第二参数;以及选择步骤, 使用基于上述第二参数而决定的一个或多个阈值,从上述多个解块滤波器中选择在上述滤 波处理中使用的解块滤波器。

根据本结构的图像处理方法,由于在解块滤波器的选择中使用第二参数Tc,所以 能够进一步提高对于使用解块滤波器的滤波处理中的块噪声的适应度。由此,能够进一步 提高滤波处理后的图像的画质。

此外,例如也可以是,在上述第二参数计算步骤中,使用上述第一参数与上述量化 参数的线性和来计算上述第二参数。

如上述那样,在HEVC的方法中,存在可变tc_offset的计算、一维的编码表的参照 等处理变复杂的趋向。因此,希望在解块滤波器的选择处理中使用的参数的计算中不需要 较大的存储器空间,尽可能削减中间步骤及中间参数,使处理效率提高。

根据本结构的图像处理方法,由于基于第一参数(边界强度BS)与量化参数QP的线 性和来规定第二参数Tc,所以能够将第二参数Tc通过简单的运算导出。由此,不再需要较大 的存储器空间。进而,根据本结构的解块滤波方法,由于基于第一参数(边界强度BS)与量化 参数QP的线性和来规定第二参数Tc,所以能够减少中间步骤及中间参数的增大。

进而,如果使用这样通过简单的运算导出的第二参数Tc进行解块滤波器的选择, 则能够减少与选择有关的处理的处理量,能够使处理效率提高。

进而,根据本结构的图像处理方法,由于基于第一参数(边界强度BS)与量化参数 QP的线性和来规定第二参数Tc,所以能够使滤波处理后的图像的画质提高。

此外,例如也可以是,在上述第二参数计算步骤中,以使上述第一参数的值越大则 上述第二参数的值越大的方式,计算上述第二参数。进而,例如也可以是,在上述第二参数 计算步骤中,以使上述量化参数的值越大则上述第二参数的值越大的方式,计算上述第二 参数。

根据上述结构的图像处理方法,由于根据边界强度BS使第二参数Tc(例如,环路滤 波器的阈值)变化,所以能够使滤波处理后的图像的画质提高。

例如,在图5所示的比较例中,在BS=1及BS=2的情况下,例如都设定为Tc=0。即, 例如,不论边界强度BS如何,都将环路滤波器的阈值设定为相同的值。

相对于此,在上述结构的图像处理方法中,例如在BS=2的情况下对Tc设定1,在BS =1的情况下对Tc设定0等,根据边界强度BS设定第二参数Tc。能够进行更适应于图像的滤 波器的设定。

此外,例如也可以是,在上述选择步骤中,以使上述第二参数的值越大则上述阈值 的值越大的方式,计算上述阈值。

根据上述结构的图像处理方法,能够适当地设定阈值的值。

此外,例如也可以是,在上述选择步骤中,决定用来从上述多个解块滤波器中选择 一个解块滤波器的第一阈值、和用来判断是否选择解块滤波器的第二阈值;从上述多个解 块滤波器中选择一个解块滤波器,或者选择不使用解块滤波器。

此外,例如也可以是,在上述选择步骤的执行前,包括执行可否判断步骤,该执行 可否判断步骤,使用上述第一参数判断是否进行上述滤波处理。

此外,例如也可以是,上述第一参数计算步骤具有以下步骤:第一判断步骤,判断 是否上述邻接的两个图像块的至少一个是被帧内编码的块;以及在上述第一判断步骤中判 断为上述邻接的两个图像块的至少一个被帧内编码的情况下、对上述第一参数设定第一固 定值的步骤。

此外,例如也可以是,上述第一参数计算步骤还具有以下步骤,即:在上述第一判 断步骤中判断为上述邻接的两个图像块都是不被帧内编码的块的情况下,对上述第一参数 设定与上述第一固定值不同的第二固定值。

此外,例如也可以是,上述第一参数计算步骤还具有以下步骤:第二判断步骤,在 上述第一判断步骤中判断为上述邻接的两个图像块都是不被帧内编码的块的情况下,进一 步判断是否上述邻接的两个图像块的至少一个包含至少一个非零变换系数;以及使用上述 第二判断步骤的判断结果来设定上述第一参数的值的步骤。

此外,例如也可以是,上述第一参数计算步骤,在由上述第一判断步骤判断为上述 邻接的两个图像块都是不被帧内编码的块的情况下,还具有以下步骤:第二判断步骤,判断 是否上述邻接的两个图像块的至少一个包含至少一个非零变换系数;第三判断步骤,判断 在上述邻接的两个图像块中,表示帧间编码中的参照图片的参照索引是否不同;第四判断 步骤,判断在上述邻接的两个图像块间,水平运动矢量成分的差分绝对值及垂直运动矢量 成分的差分绝对值的至少一方的差分绝对值是否超过规定的阈值;以及设定步骤,在上述 第二判断步骤中判断为包含至少一个非零变换系数、并且在上述第三判断步骤中判断为参 照图片索引相同、并且在上述第四判断步骤中判断为差分绝对值超过上述规定的阈值的情 况下,对上述第一参数设定上述第一固定值,在其他情况下,对上述第一参数设定与上述第 一固定值不同的第二固定值。

此外,例如也可以是,上述图像处理方法具有以下步骤:压缩步骤,将由多个像素 构成的编码对象块与预测块之间的预测误差块压缩;重构步骤,将被压缩后的上述预测误 差块解码并加上上述预测块而生成重构块;滤波步骤,对上述重构块,执行上述第一参数计 算步骤、上述第二参数计算步骤和上述选择步骤;预测步骤,使用执行滤波步骤后的上述重 构块生成预测块;以及编码步骤,通过将被压缩后的上述预测误差块编码,生成编码比特 流。

此外,例如也可以是,上述图像处理方法具有以下步骤:取得步骤,取得包括解码 对象块的编码比特流;通过将上述解码对象块解码并加上预测块而生成重构块的步骤;滤 波步骤,对上述重构块,执行上述第一参数计算步骤、上述第二参数计算步骤和上述选择步 骤;以及预测步骤,使用执行滤波步骤后的上述重构块生成预测块。

为了解决这样的问题,有关本发明的一技术方案的图像处理装置,使用滤波器强 度不同的多个解块滤波器进行对图像块的滤波处理,其特征在于,具备:第一参数计算部, 计算表示邻接的两个图像块间的边界强度的第一参数;第二参数计算部,基于上述第一参 数及量化参数,计算表示上述解块滤波器的限制值的第二参数;以及选择部,使用基于上述 第二参数而决定的阈值,从上述多个解块滤波器中选择在上述滤波处理中使用的解块滤波 器;上述第二参数计算部,计算上述第一参数与上述量化参数的合计,作为上述第二参数的 值。

另外,这些全局性或具体的技术方案也可以由系统、集成电路、计算机程序或计算 机可读取的CD-ROM等记录介质实现,也可以由方法、装置、系统、集成电路、计算机程序及记 录介质的任意组合实现。

以下,参照附图对有关本发明的一技术方案的解块滤波方法(图像处理方法)及解 块滤波装置(图像处理装置)具体地说明。

另外,以下说明的实施方式都是表示本发明的一具体例的。在以下的实施方式中 表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等 是一例,并不意欲限定本发明。此外,关于以下的实施方式的构成要素中的、在表示最上位 概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。

(实施方式1)

使用图1~图3B、图7A~图9对实施方式1的图像处理方法及图像处理装置进行说 明。另外,在本实施方式中,图像处理方法及图像处理装置以应用到运动图像编码方法及运 动图像编码装置中的情况为例进行说明。

另外,本实施方式的运动图像编码装置的结构与图1所示的比较例的运动图像编 码装置相同。本实施方式的运动图像编码装置与比较例的运动图像编码装置100相比解块 滤波处理部150的结构不同。

解块滤波处理部150在本实施方式中,具备强度不同的多个解块滤波器、和控制多 个解块滤波器的滤波器控制部。

图6是表示解块滤波处理部150的结构例的模块图。如图1所示,本实施方式的解块 滤波处理部150具备第一解块滤波器151、第二解块滤波器152和滤波器控制部153。第一解 块滤波器是窄频带的较强的解块滤波器。第二解块滤波器是宽频带的较弱的解块滤波器。 另外,解块滤波器的数量及结构并不限定于此。

滤波器控制部153如图6所示,具备边界强度计算部154、Tc计算部155和滤波器选 择部156。

[1.1解块滤波方法的概要]

以下,基于图2A~图3B、图7A~图9,对本实施方式的解块滤波处理部150的滤波处 理的详细情况进行说明。

另外,在滤波处理中,与上述比较例同样,执行(1)滤波处理的执行可否的判断处 理(相当于执行可否判断步骤)、以及(2)使用的解块滤波器的选择处理。(1)滤波处理的执 行可否的判断处理与比较例相同。

[1.1.1(2)使用的解块滤波器的选择处理]

在通过上述判断处理判断为执行滤波处理的情况下,执行从强度不同的多个解块 滤波器中选择使用的解块滤波器的选择处理。

图7A是表示本实施方式的滤波处理的处理顺序的流程图。此外,图7B表示在水平 方向上邻接的两个块BP和BQ。图7C表示在垂直方向上邻接的两个块BP和BQ。

在步骤S100中,滤波器控制部153的边界强度计算部154计算边界强度BS作为第一 参数(第一参数计算步骤)。图8是表示本实施方式的边界强度BS的计算处理及阈值tc的偏 移值tc_offset的设定的处理顺序的流程图。边界强度BS的值是0以上的整数。另外,边界强 度BS的计算顺序(S210~S244)与比较例相同。

进而,在本实施方式中,边界强度计算部154如图8所示那样,根据边界强度BS的 值,设定阈值tc的偏移值tc_offset。在本实施方式中,在BS的值不同的情况下,tc_offset的 值也不同。具体而言,当BS=4时,设定tc_offset=3,当BS=3时,设定tc_offset=2,当BS= 2时,设定tc_offset=1,当BS=1时,设定tc_offset=0。在比较例中,不论边界强度BS如何 tc_offset的值都是固定的(AVC),或者对多个边界强度BS分配相同的tc_offset(HEVC)。

在步骤S110中,滤波器控制部153判断在步骤S100中计算出的边界强度BS是否是 正数。在步骤S110中判断为BS不是正数(BS=0)的情况下(S110的“否”),滤波器控制部153 不执行滤波处理,结束处理。

另一方面,在步骤S110中判断为BS是正数的情况下(S110的“是”),在步骤S120中, 滤波器控制部153的Tc计算部计算规定解块滤波器的输出范围的阈值tc(第二参数计算步 骤)。

在本实施方式中,以对将边界强度BS及量化参数QP组合的值、例如各自的合计值 考虑了tc_offset的值作为自变量而使用表形式的函数来设定阈值tc。在本实施方式中,在 边界强度BS不同的情况下,由于tc_offset的值也不同,所以阈值tc取的值的数量相比比较 例有变多的趋向。由此,能够提高解块滤波器的适应性。

进而,在步骤S120中,滤波器控制部153计算用来选择要使用的解块滤波器的阈值 β。阈值β能够表现为量化参数QP的函数(β(QP))。

在步骤S130中,滤波器控制部153的滤波器选择部156基于阈值tc及阈值β选择解 块滤波器(选择步骤)。在该选择中,也包括不选择解块滤波器。具体而言,滤波器选择部156 首先基于阈值β决定是否选择较强的滤波器。

具体而言,例如,在满足以下的式11所示的条件的情况下,选择较强的滤波器。

[数学式11]

在上述条件中,如上述那样,阈值β及tc都被表示为量化参数QP的函数。量化参数 QP也可以对图像的一部分等设定。一般而言,阈值β的值使用查表基于QP导出。

如果选择较强的滤波器,则通过第一解块滤波器151进行较强的滤波(S132)。较强 的滤波的详细情况在后面叙述。

在不满足式11所示的条件的情况下,滤波器选择部156进一步决定是选择较弱的 滤波器、还是选择无滤波器。

具体而言,滤波器选择部156使用以下的式12计算判别值Δ(绝对值)。

[数学式12]

Δ=|(9·(q0i-p0i)-3·(q1i-p1i)+8)>>4|…(式12)

在满足以下的式13的情况下,选择较弱的滤波器。

[数学式13]

Δ<10×Tc…(式13)

如果选择较弱的滤波器,则由第二解块滤波器152进行较弱的滤波(S134)。较弱的 滤波的详细情况在后面叙述。

在不满足式13的情况下,选择无滤波器,不进行使用解块滤波器的滤波(S136)。

[1.1.2使用较强的解块滤波器的滤波]

如上述那样,在图4A所示的步骤S130中,在通过使用式11的决定而选择了“较强的 滤波器”的情况下,通过第一解块滤波器151进行较强的滤波(S132)。具体而言,第一解块滤 波器151按照HEVC模型,使用像素p3i,p2i,p1i,p0i,q0i,q1i,q2i,q3i将像素p2i,p1i,p0i,q0i, q1i,q2i滤波。

图9A是表示在较强的滤波中使用的像素的例子的图。在图9A中,表示用于将在水 平方向上邻接的两个块间的垂直边缘水平地滤波的像素(样本)。由虚线包围的区域610内 的像素是在较强的滤波中使用的像素。图9B是表示被滤波的像素的图。由虚线包围的区域 620内的像素是被进行较强的滤波的像素。

第一解块滤波器151在本实施方式中,按照以下的式14,使用在边界的左侧邻接的 4像素,将在边界的左侧邻接的3像素滤波。

[数学式14]

同样,第一解块滤波器151在本实施方式中,按照以下的式15,使用在边界的右侧 邻接的4像素,将在边界的右侧邻接的3像素滤波。

[数学式15]

另外,函数Clip(x)用以下的式16定义。

[数学式16]

这里,max_allowed_value是Clip(x)的x能够具有的最大值。在使用k比特样本的 PCM编码的情况下,最大值被认为是max_allowed_value=2k-1。例如,在使用8比特样本的 PCM编码的情况下,最大值被认为是max_allowed_value=255。在使用10比特样本的PCM编 码的情况下,最大值被认为是max_allowed_value=1023。

根据上述等式可知,滤波以行单位进行。第一解块滤波器151依次变更为索引i= 0,1,2,3,4,5,6,7,进行对各行的滤波。

[1.1.3使用较弱的解块滤波器的滤波]

如上述那样,在图4A所示的步骤S130中,通过使用式12的决定选择了“较弱的滤波 器”的情况下,通过宽频带的第二解块滤波器152进行较弱的滤波(S134)。

在选择了“较弱的滤波器”的情况下,第二解块滤波器152进行较弱的滤波(S134)。 具体而言,第二解块滤波器152按照HEVC模型,使用像素p2i,p1i,p0i,q0i,q1i,q2i将像素 p1i,p0i,q0i,q1i滤波。

图10A是表示在较弱的滤波中使用的像素的例子的图。在图10A中,表示用于将在 水平方向上邻接的两个块间的垂直边缘水平地滤波的像素(样本)。由虚线包围的区域630 内的像素是在较弱的滤波中使用的像素。图10B是表示被滤波的像素的图。由虚线包围的区 域640内的像素是被进行较弱的滤波的像素。

第二解块滤波器152在本实施方式中,按照以下的式17,将最邻接于边界的左侧的 像素p0i、和最邻接于边界的右侧的像素q0i滤波。

[数学式17]

这里,q0i’是将像素q0i滤波后的像素值,q0i’是将像素q0i滤波后的像素值。此外, Δ1用以下的式18求出。

[数学式18]

Δ1=Clip3(-tc,tc,Δ)…(式18)

函数Clip3(x)用以下的式19定义。

[数学式19]

在将像素p0和像素q0滤波后,第二解块滤波器152对距边界第二近的像素p1i及像 素q1i分别判断是否进行滤波。另外,对于像素p1i的判断和对于像素q1i的判断分别地进 行。

对于像素p1i的判断使用在比较例的(1)滤波处理的执行可否的判断处理中说明 的、式7所示的评价值dp进行。具体而言,在满足dp<(β/6)的情况下,第二解块滤波器152按 照以下的式20将像素p1i滤波。

[数学式20]

p1′i=Clip(p1i+Δ2p)…(式20)

这里,p1i’是将像素p1i滤波后的像素值。此外,Δ2p用以下的式21求出。

[数学式21]

Δ2p=Clip3(-tc2,tc2,(((p2i+p0i+1)>>1)-p1i+Δ1)>>1)…(式21)

另一方面,对于像素q1i的判断使用在比较例的(1)滤波处理的执行可否的判断处 理中说明的、式7所示的评价值dq进行。具体而言,在满足dq<(β/6)的情况下,第二解块滤波 器152按照以下的式22将像素q1i滤波。

[数学式22]

q1′i=Clip(q1i-Δ2p)…(式22)

这里,q1i’是将像素q1i滤波后的像素值。此外,Δ2q通过以下的式23求出。

[数学式23]

Δ2q=Clip3(-tc2,tc2,(((q2i+q0i+1)>>1)-q1i-Δ1)>>1)…(式23)

其中,tc2=tc>>1。

另外,在本实施方式中,说明了对垂直边缘进行水平滤波的情况,但通过将水平方 向和垂直方向、行和列分别替换,对于进行对水平边缘的垂直滤波的情况也能够应用。

[1.1.4在解块滤波器的决定中使用tc的效果]

在上述比较例中,为了求出环路滤波器(loop filter)的阈值tc而使用表函数 (table function),所以难以减少存储器的使用区域并降低处理量。相对于此,在本实施方 式中,环路滤波器的阈值tc用使用量化参数QP与边界强度BS的线性和(linear sum)的函数 求出。此外,tc_offset由于基于BS求出,所以可以说不需要计算的工作量。因此,能够减少 存储器的使用区域、降低处理量。

此外,比较例中的tc_offset仅能取在全部的边界强度BS中共通的值或者两个值, 但本实施方式的tc_offset按照边界强度BS而设定不同的tc_offset。由此,能够更精细地对 应于块噪声。

这里,图11是表示比较例的阈值tc的偏移值tc_offset的设定的处理顺序的图。另 外,在图11中,对与图8相同的处理赋予相同的标号。

根据图11可知,在比较例中,对边界强度BS=2和边界强度BS=1分配了相同的tc_ offset。因此,在边界强度BS=2的情况及边界强度BS=1的情况下,都对阈值tc设定相同的 值。另一方面,在本实施方式中,如图8所示,在边界强度BS=2和边界强度BS=1中,对阈值 tc设定了不同的值。在本实施方式中,由于对不同的边界强度BS计算不同的阈值tc,所以能 够提高解块滤波器的对于图像的适应度。由此,能够实现编码效率的提高和主观的品质的 提高。

图12A是表示使用共通测试条件的情况下的比较例及本实施方式的编码效率的 图。此外,图12B是使用高变换参数(QP=39,41,43,和45)的情况的图。在图12A及图12B中, 表的左侧表示比较例的编码效率,表的右侧表示本实施方式的编码效率。编码效率用使用 分段三次插值(piece-wise cubic interpolation)计算出的BD率(BD rate)表示。

[1.1.5与BS值对应的Tc的决定(变形例1)]

基于图13~图15对本实施方式的变形例1进行说明。

在变形例1中,对与上述实施方式相比、边界强度BS的计算顺序(图7A的步骤S100) 不同的情况进行说明。

图13是表示本变形例的边界强度BS的计算处理的处理顺序的流程图。

在步骤S210中,滤波器控制部153(图6)与实施方式1同样,判断是否块BP及BQ的至 少一方是帧内编码图像。

在判断为块BP及BQ的至少一方是帧内编码图像的情况下(步骤S210的“是”),滤波 器控制部153将边界强度BS的值设定为3(S218)。另外,步骤S218的边界强度BS的值并不限 定于3,只要是比在其他步骤中设定的边界强度BS的值大的值就可以。

在步骤S210中判断为块BP和BQ双方不是帧内编码图像的情况下(S210的“否”)的处 理与实施方式1相同。

这里,图14是将非专利文献2中所示那样的、图13所示的变形例1的编码效率(图的 右侧)、与图5所示的比较例的编码效率(图的左侧)进行比较的图。

根据图14可知,编码效率与比较例大致相同。但是,如上述那样,能够减轻处理负 荷、使处理效率提高。

对变形例1的阈值tc的值的设定方法进行说明。在变形例1中,阈值tc用使用查表 函数Tctable的以下的式24求出。

[数学式24]

tc=Tctable[BS-1+QP]…(式24)

图15是表示在本变形例中设定的阈值tc的值的图。如图15所示,在变形例1中,也 对不同的边界强度BS分配了不同的阈值tc。

在变形例1中,如图13所示,由于a)没有确认是否是CU边缘的处理,所以能够减轻 运动图像编码装置100的处理负荷。进而,如式24所示,由于b)在阈值tc的计算中不使用偏 移值tc_offset,所以阈值tc的导出处理简单化,能够减轻运动图像编码装置100的处理负 荷。

[1.1.6与BS值对应的Tc的决定(变形例2)]

基于图16对本实施方式的变形例2进行说明。

在变形例2中,对与变形例1相比、边界强度BS的计算顺序相同但设定的边界强度 BS的值不同的情况进行说明。随之,变形例2与变形例1相比,阈值tc的导出方法不同。

基于图16对在变形例2中设定的边界强度BS的值进行说明。在图16中,设定的边界 强度BS的值分别为比变形例1的边界强度BS的值小1的值。

具体而言,在步骤S210中判断为块BP及BQ的至少一方是帧内编码图像的情况下(步 骤S210的“是”),将边界强度BS的值设定为2(S211)。

在步骤S220中,在判断为标志cbf-P或标志cbf-Q的某一方的值不是0(步骤S220的 “是”)的情况下,将边界强度BS的值设定为1(S224)。

在步骤S230中,在判断为参照图片索引RefIdx-P与参照图片索引RefIdx-Q不同的 情况下(S230的“是”),将边界强度BS的值设定为1(S234)。

在步骤S240中,在参数AbsHor及AbsVer的某一方比3大的情况下(S240的“是”),将 边界强度BS的值设定为0(S246)。另一方面,在参数AbsHor及AbsVer双方为3以下的情况下 (S240的“否”),将边界强度BS设定为0(S248)。

对变形例2中的阈值tc的值的设定方法进行说明。变形例2与变形例1同样,使用查 表函数Tctable,但索引的计算方法不同。在变形例2中,阈值tc用以下的式25求出。

[数学式25]

tc=Tctable[BS+QP]…(式25)

在变形例2中,与变形例1同样,由于a)没有确认是否是CU边缘的处理,b)在阈值tc 的计算中不使用偏移值tc_offset,所以能够减轻运动图像编码装置100的处理负荷。

[1.1.7与BS值对应的Tc的决定(变形例3)]

基于图17对本实施方式的变形例3进行说明。

在变形例3中,对与上述实施方式、变形例1及变形例2相比、边界强度BS的计算顺 序(图7A的步骤S100)不同的情况进行说明。

图17是表示本变形例的边界强度BS的计算处理的处理顺序的流程图。

在步骤S210中,通过解块滤波处理部150(图1,图6)的滤波器控制部153(图6),与 上述实施方式同样,判断是否块BP和BQ的至少一方是帧内编码图像。

在判断为块BP及BQ的至少一方是帧内编码图像的情况下(步骤S210的“是”),将边 界强度BS的值设定为2(步骤S211)。

在步骤S210中判断为块BP及BQ双方不是帧内编码图像的情况下(S210的“否”),判 断是否标志cbf-P或标志cbf-Q的某一方的值不是0(S220)。

在步骤S220中,在判断为标志cbf-P或标志cbf-Q的某一方不是0的情况下(S220中 “否”),判断是否块BP的参照图片索引RefIdx-P和块BQ的参照图片索引RefIdx-Q相互不同 (S230)。

在步骤S230中,在判断为参照图片索引RefIdx-P与参照图片索引RefIdx-Q不同的 情况下(S230的“是”),将边界强度BS的值设定为0(S236)。

另一方面,在步骤S230中,在判断为参照图片索引RefIdx-P与参照图片索引 RefIdx-Q相同的情况下(S230的“否”),判断是否参数AbsHor及AbsVer的某一方比3大 (S240)。

在步骤S240中,在判断为参数AbsHor及AbsVer的某一方比3大的情况下(S240的 “是”),将边界强度BS的值设定为0(S246)。另一方面,在步骤S240中,在判断为参数AbsHor 及AbsVer双方是3以下的情况下(S240的“否”),设定为无解块(S248)。

在步骤S220中,在判断为标志cbf-P及标志cbf-Q双方是0的情况下(S220中“是”), 判断是否块BP的参照图片索引RefIdx-P和块BQ的参照图片索引RefIdx-Q相互不同(S250)。

在步骤S250中判断为参照图片索引RefIdx-P和参照图片索引RefIdx-Q相同的情 况下(S250的“否”),将边界强度BS的值设定为1(S252)。

在步骤S250中,在判断为参照图片索引RefIdx-P与参照图片索引RefIdx-Q不同的 情况下(S250的“是”),判断是否参数AbsHor及AbsVer的某一方比3大(S260)。

在步骤S260中判断为参数AbsHor及AbsVer的某一方比3大的情况下(S260的 “是”),将边界强度BS的值设定为2(S264)。另一方面,在步骤S260中判断为参数AbsHor及 AbsVer双方是3以下的情况下(S240的“否”),将边界强度BS的值设定为1(S262)。

在变形例3中,如图17所示,在步骤S220中判断为标志cbf-P及标志cbf-Q双方是0 的情况下(S220中“是”),也通过基于参照索引是否相同、及运动矢量的绝对差的大小进行 判断,能够更加细分化而精细地设定边界强度BS的值。

[1.1.8与BS值对应的Tc的决定(变形例4)]

基于图18A及图18B对本实施方式的变形例4进行说明。

在变形例4中,对与上述实施方式及变形例1~3相比、滤波处理的处理顺序及边界 强度BS的计算顺序不同的情况进行说明。

图18A是表示变形例4的滤波处理的处理顺序的流程图。

如图18A所示,在步骤S300中,滤波器控制部153计算边界强度BS作为第一参数(第 一参数计算步骤)。

这里,图18B是表示边界强度BS的设定顺序的流程图。如图18B所示,判断是否块BP 和BQ的至少一方是帧内编码图像(S210)。在判断为块BP和BQ的至少一方是帧内编码图像的 情况下(S210中“是”),将边界强度BS的值设定为2(S211)。另一方面,在判断为块BP和BQ双方 不是帧内编码图像的情况下(S210中“否”),将边界强度BS的值设定为0(S213)。另外,边界 强度BS的设定值也可以是其他值。

在步骤S120中,滤波器控制部153计算规定解块滤波器的输出范围的阈值tc(第二 参数计算步骤)。进而,在步骤S120中,滤波器控制部153计算用来选择使用的解块滤波器的 阈值β。

在步骤S330中,滤波器控制部153基于阈值tc及阈值β,选择解块滤波器(选择步 骤)。

如果在步骤S330中选择较强的滤波器,则通过第一解块滤波器151进行较强的滤 波(S132)。如果在步骤S330中选择较弱的滤波器,则通过第二解块滤波器152进行较弱的滤 波(S134)。

如果在步骤S330中选择无滤波处理,则不进行使用解块滤波器的滤波(S136)。

在本变形例中,由于使滤波处理的处理顺序及边界强度BS的计算顺序简单化,所 以能够减轻运动图像编码装置100的处理负荷。进而,能够削减在边界强度BS的计算顺序中 使用的存储器的容量。即,由于边界强度BS能取的值是0~3,所以能够用2比特的信息量表 示边界强度BS。这样,本变形例的优点是,能够用更少的存储器容量进行处理、并且能得到 与当前的HM-4.0相同的解块的结果。

(实施方式2)

基于图19对实施方式2的运动图像解码方法及运动图像解码装置进行说明。

图19是表示基于H.264/MPEG-4AVC或HEVC运动图像编码标准的运动图像解码装置 的结构例的模块图。

如图19所示,运动图像解码装置200具备熵解码部290、逆量化/逆变换部230、加法 部240、解块滤波处理部250、样本自适应偏移处理部260、自适应环路滤波处理部255、帧存 储器270及预测部280。

在图19中,熵解码部290通过对输入的编码比特流进行可变长解码处理,将在预测 模式等的解码中需要的信息和量化系数解码。

逆量化/逆变换部230对通过可变长解码处理得到的量化系数进行逆量化处理,对 逆量化处理后的量化系数进行从频域向图像域的变换,从而生成预测误差数据e3。

加法部240按每个解码对象块,将预测图像数据(预测图像信号s5)、与由逆量化/ 逆变换部230进行了逆量化处理及逆变换处理的预测误差数据(预测误差信号e3)相加,从 而生成重构图像数据(重构图像信号s1)。

虽然没有图示,但解块滤波处理部250具备强度不同的多个解块滤波器、和控制多 个解块滤波器的滤波器控制部。解块滤波处理部250具备与运动图像编码装置100具备的解 块滤波器的种类对应的多个解块滤波器。例如,解块滤波处理部250可以与实施方式1同样 地,具备窄频带及宽频带的两种解块滤波器。另外,解块滤波处理部250的结构对应于实施 方式1的解块滤波处理部150的结构。

样本自适应偏移处理部260对由解块滤波处理部250滤波处理后的重构图像数据 (重构图像信号s2),进行以像素单位赋予用来向原来的像素值接近的偏移值的处理。

自适应环路滤波处理部255具备维纳滤波器等自适应环路滤波器,对从样本自适 应偏移处理部260输出的重构图像数据(重构图像信号s3),进行对通过压缩发生的图像的 畸变进行补偿的处理。自适应环路滤波处理部255的输出图像信号s4作为表示解码图像的 解码信号而被输出。

在帧存储器270中,以帧单位保存应用了自适应环路滤波器的重构图像数据(重构 图像信号s4)。

虽然没有图示,但预测部280具备进行使用空间预测(帧内预测)的预测图像的生 成的帧内预测部、和进行使用时间预测(帧间预测)的预测图像的生成的帧间预测部。预测 部280能够按每个帧或按每个块变更预测类型。

(实施方式3)

基于图20对实施方式3的运动图像编码方法及运动图像编码装置进行说明。

图20是表示本实施方式的运动图像编码装置(混合视频编码器)的结构例的模块 图。

如图20所示,运动图像编码装置300具备减法部105、变换部110、量化部120、逆量 化/逆变换部130、加法部140、水平解块滤波处理部310、垂直解块滤波处理部320、自适应环 路滤波处理部165、样本自适应偏移处理部160、预测部180及熵编码部190。

本实施方式的减法部105、变换部110、量化部120、逆量化/逆变换部130、加法部 140、自适应环路滤波处理部165、样本自适应偏移处理部160、预测部180及熵编码部190的 结构分别与实施方式1(比较例)的减法部105、变换部110、量化部120、逆量化/逆变换部 130、加法部140、自适应环路滤波处理部165、样本自适应偏移处理部155、预测部180及熵编 码部190的结构相同。

本实施方式的运动图像编码装置300与实施方式1的运动图像编码装置100不同的 点是,图1所示的解块滤波处理部150被细分为执行对垂直边缘的滤波处理的水平解块滤波 处理部310、和执行对水平边缘的滤波处理的垂直解块滤波处理部320。

另外,在本实施方式中,水平解块滤波处理部310对从加法部140输出的重构信号 s1,执行对垂直边缘的滤波处理,生成重构信号s6。此外,垂直解块滤波处理部320对重构信 号s6执行对水平边缘的滤波处理。

另外,在图20中,还示出了对熵编码部190、水平解块滤波处理部310及垂直解块滤 波处理部320输入量化参数QP。

(实施方式4)

通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运 动图像解码方法(图像解码方法)的结构的程序记录到存储介质中,能够将上述各实施方式 所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导 体存储器等,只要是能够记录程序的介质就可以。

进而,这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及 运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于,具有由 使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码 解码装置。关于系统的其他结构,可以根据情况而适当变更。

图21是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服 务的提供区划分为希望的大小,在各小区内分别设置有作为固定无线站的ex106、 ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网 ex104、及ex106~ex110连接着计算机ex111、PDA(PersonalDigital Assistant) ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是,内容供给系统ex100并不限定于图21那样的结构,也可以将某些要素组合连 接。此外,也可以不经由作为固定无线站的ex106~ex110将各设备直接连接在电话网 ex104上。此外,也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备,照相机ex116是能 够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外,便携电话ex114是GSM (注册商标)(Global System for MobileCommunications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或 LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS (Personal Handyphone System)等,是哪种都可以。

在内容供给系统ex100中,通过将照相机ex113等经由ex109、电话网ex104连 接在流媒体服务器ex103上,能够进行现场转播等。在现场转播中,对用户使用照相机ex113 摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理 (即,作为本发明的一个方式的图像编码装置发挥作用),向流媒体服务器ex103发送。另一 方面,流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户 端,有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电 话ex114、游戏机ex115等。在接收到分发的数据的各设备中,将接收到的数据解码处理而再 现(即,作为本发明的一个方式的图像解码装置发挥作用)。

另外,摄影的数据的编码处理既可以由照相机ex113进行,也可以由进行数据的发 送处理的流媒体服务器ex103进行,也可以相互分担进行。同样,分发的数据的解码处理既 可以由客户端进行,也可以由流媒体服务器ex103进行,也可以相互分担进行。此外,并不限 于照相机ex113,也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机 ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒 体服务器ex103的哪个进行都可以,也可以相互分担进行。

此外,这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。 LSIex500既可以是单芯片,也可以是由多个芯片构成的结构。另外,也可以将运动图像编码 解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD-ROM、软盘、硬盘等) 中、使用该软件进行编码解码处理。进而,在便携电话ex114是带有照相机的情况下,也可以 将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的 LSIex500编码处理的数据。

此外,也可以是,流媒体服务器ex103是多个服务器或多个计算机,是将数据分散 处理、记录、及分发的。

如以上这样,在内容供给系统ex100中,客户端能够接收编码的数据而再现。这样, 在内容供给系统ex100中,客户端能够将用户发送的信息实时地接收、解码、再现,即使是没 有特别的权利或设备的用户也能够实现个人广播。

另外,并不限定于内容供给系统ex100的例子,如图22所示,在数字广播用系统 ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解 码装置(图像解码装置)的某个。具体而言,在广播站ex201中,将对影像数据复用了音乐数 据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各 实施方式中说明的运动图像编码方法编码后的数据(即,通过本发明的一个方式的图像编 码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波,能够对该电波 进行卫星广播接收的家庭的天线ex204接收该电波,通过电视机(接收机)ex300或机顶盒 (STB)ex217等的装置将接收到的复用数据解码并将其再现(即,作为本发明的一个方式的 图像解码装置发挥作用)。

此外,也可以是,在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解 码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录 器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在 此情况下,可以将再现的影像信号显示在监视器ex219上,通过记录有复用数据的记录介质 ex215在其他装置或系统中能够再现影像信号。此外,也可以是,在连接在有线电视用的线 缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置,将其 用电视机的监视器ex219显示。此时,也可以不是在机顶盒、而在电视机内装入运动图像解 码装置。

图23是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码 方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线 缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到 的复用数据解调或调制为向外部发送的复用数据的调制/解调部ex302、和将解调后的复用 数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用 的复用/分离部ex303。

此外,电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编 码的声音信号处理部ex304和影像信号处理部ex305(作为本发明的一个方式的图像编码装 置或图像解码装置发挥作用)的信号处理部ex306;具有将解码后的声音信号输出的扬声器 ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而,电视机 ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而,电视机 ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部 ex317也可以除了操作输入部ex312以外,还具有与读取器/记录器ex218等的外部设备连接 的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外 部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外,记录介质 ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结 构。电视机ex300的各部经由同步总线相互连接。

首先,对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结 构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于具有CPU等的控制部 ex310的控制,将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而,电 视机ex300将分离的声音数据用声音信号处理部ex304解码,将分离的影像数据用影像信号 处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信 号分别从输出部ex309朝向外部输出。在输出时,可以暂时将这些信号储存到缓冲器ex318、 ex319等中,以使声音信号和影像信号同步再现。此外,电视机ex300也可以不是从广播等、 而从磁/光盘、SD卡等的记录介质ex215、ex216读出复用数据。接着,对电视机ex300将声音 信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接 受来自遥控器ex220等的用户操作,基于控制部ex310的控制,由声音信号处理部ex304将声 音信号编码,由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方 法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用,向外部输出。在复用时, 可以暂时将这些信号储存到缓冲器ex320、ex321等中,以使声音信号和影像信号同步再现。 另外,缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个,也可以是共用一个以 上的缓冲器的结构。进而,在图示以外,也可以是,在例如调制/解调部ex302或复用/分离部 ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外,电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外,也 可以具备受理麦克风或照相机的AV输入的结构,对从它们中取得的数据进行编码处理。另 外,这里,将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说 明,但也可以是,不能进行这些处理,而是仅能够进行上述接收、解码处理、外部输出的结 构。

此外,在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下,上 述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以,也可以是 电视机ex300和读取器/记录器ex218相互分担进行。

作为一例,将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的 结构表示在图24中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、 ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑 而写入信息,检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电 气地驱动内置在光头ex401中的半导体激光器,根据记录数据进行激光的调制。再现解调部 ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再 现信号放大,将记录在记录介质ex215中的信号成分分离并解调,再现所需要的信息。缓冲 器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。 盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一 边使光头ex401移动到规定的信息轨道,进行激光斑的追踪处理。系统控制部ex407进行信 息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持 在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调 制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信 息的记录再现来实现。系统控制部ex407例如由微处理器构成,通过执行读出写入的程序来 执行它们的处理。

以上,假设光头ex401照射激光斑而进行了说明,但也可以是使用近场光进行高密 度的记录的结构。

在图25中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面 上,以螺旋状形成有导引槽(沟),在信息轨道ex230中,预先通过沟的形状的变化而记录有 表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块 ex231的位置的信息,通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信 息,能够确定记录块。此外,记录介质ex215包括数据记录区域ex233、内周区域ex232、外周 区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233,配置在比数据记录区 域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定 用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声 音数据、影像数据或复用了这些数据的复用数据的读写。

以上,举1层的DVD、BD等的光盘为例进行了说明,但并不限定于这些,也可以是多 层构造、在表面以外也能够记录的光盘。此外,也可以是在盘的相同的地方使用不同波长的 颜的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的 光盘。

此外,在数字广播用系统ex200中,也可以由具有天线ex205的车ex210从卫星 ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另 外,车载导航仪ex211的结构可以考虑例如在图23所示的结构中添加GPS接收部的结构,在 计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图26A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方 法的便携电话ex114的图。便携电话ex114具有由用来在与ex110之间收发电波的天线 ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由 天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114 还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、 用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的 声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部 ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而,使用图26B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控 制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360,将电源电路部 ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(Liquid Crystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音 信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态,则通 过从电池组对各部供给电力,便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制,在语音通话模 式时,将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信 号,将其用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换 处理及频率变换处理后经由天线ex350发送。此外,便携电话ex114在语音通话模式时,将由 天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理,用调制/解调 部ex352进行波谱逆扩散处理,通过声音信号处理部ex354变换为模拟声音数据后,将其经 由声音输出部ex357输出。

进而,在数据通信模式时发送的情况下,将通过主体部的操作键部ex366 等的操作输入的的文本数据经由操作输入控制部ex362向主控制部ex360送出。主 控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实 施数字模拟变换处理及频率变换处理后,经由天线ex350向ex110发送。在接收电子邮 件的情况下,对接收到的数据执行上述处理的大致逆处理,并输出到显示部ex358。

在数据通信模式时,在发送影像、静止图像、或者影像和声音的情况下,影像信号 处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编 码方法进行压缩编码(即,作为本发明的一个方式的图像编码装置发挥作用),将编码后的 影像数据送出至复用/分离部ex353。另外,声音信号处理部ex354对通过照相机部ex365拍 摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码,将编码后的声 音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式,对从影像信号处理部ex355供给的编码后的 影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用,将其结果得到的 复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理,由发送/接收部 ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下,或者接 收到附加了影像或者声音的的情况下,为了对经由天线ex350接收到的复用数据 进行解码,复用/分离部ex353通过将复用数据分离,分为影像数据的比特流和声音数据的 比特流,经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给,并将编码 后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式 所示的运动图像编码方法相对应的运动图像解码方法进行解码,由此对影像信号进行解码 (即,作为本发明的一个方式的图像解码装置发挥作用),经由LCD控制部ex359从显示部 ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外,声音信号处理 部ex354对声音信号进行解码,从声音输出部ex357输出声音。

此外,上述便携电话ex114等的终端与电视机ex300同样,除了具有编码器、解码器 两者的收发型终端以外,还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种 安装形式。另外,在数字广播用系统ex200中,设为发送、接收在影像数据中复用了音乐数据 等得到的复用数据而进行了说明,但除声音数据之外复用了与影像关联的字符数据等的数 据也可以,不是复用数据而是影像数据本身也可以。

这样,将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在 上述哪种设备、系统中都可以,通过这样,能够得到在上述各实施方式中说明的效果。

此外,本发明并不限定于这样的上述实施方式,能够不脱离本发明的范围而进行 各种变形或修正。

(实施方式5)

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据 MPEG-2、MPEG4-AVC、VC-1等不同的标准的运动图像编码方法或装置根据需要而适当切 换,来生成影像数据。

这里,在生成分别依据不同的标准的多个影像数据的情况下,在解码时,需要选择 对应于各个标准的解码方法。但是,由于不能识别要解码的影像数据依据哪个标准,所以产 生不能选择适当的解码方法的问题。

为了解决该问题,在影像数据中复用了声音数据等的复用数据采用包含表示影像 数据依据哪个标准的识别信息的结构。以下,说明包括通过在上述各实施方式中示出的运 动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG- 2传输流形式的数字流。

图27是表示复用数据的结构的图。如图27所示,复用数据通过将视频流、音频流、 演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副 影像,音频流(IG)表示电影的主声音部分和与该主声音混合的副声音,演示图形流表示电 影的字幕。这里,所谓主影像,表示显示在画面上的通常的影像,所谓副影像,是在主影像中 用较小的画面显示的影像。此外,交互图形流表示通过在画面上配置GUI部件而制作的对话 画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的 MPEG-2、MPEG4-AVC、VC-1等标准的运动图像编码方法或装置编码。音频流由杜比AC-3、 Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如,对在电影的影像中使用的视频流 分配0x1011,对音频流分配0x1100到0x111F,对演示图形分配0x1200到0x121F,对交互图形 流分配0x1400到0x141F,对在电影的副影像中使用的视频流分配0x1B00到0x1B1F,对与主 声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图28是示意地表示复用数据怎样被复用的图。首先,将由多个视频帧构成的视频 流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239,并变换为 TS包ex237及ex240。同样,将演示图形流ex241及交互图形ex244的数据分别变换为PES包序 列ex242及ex245,再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条 流中而构成。

图29更详细地表示在PES包序列中怎样保存视频流。图29的第1段表示视频流的视 频帧序列。第2段表示PES包序列。如图29的箭头yy1、yy2、yy3、yy4所示,视频流中的多个作 为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有 效载荷中。各PES包具有PES头,在PES头中,保存有作为图片的显示时刻的PTS (PresentationTime-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

图30表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信 息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包,上述 PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下,对于TS包赋予4字节的TP_ Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在 复用数据中,源包如图30下段所示排列,从复用数据的开头起递增的号码被称作SPN(源包 号)。

此外,在复用数据所包含的TS包中,除了影像、声音、字幕等的各流以外,还有PAT (Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在复用数据中使用的PMT的PID是什么,PAT自身的PID被登记为0。 PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性 信息,还具有关于复用数据的各种描述符。在描述符中,有指示许可/不许可复用数据的拷 贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为 PTS及DTS的时间轴的STC(System TimeClock)的同步,拥有与该PCR包被转送至解码器的 ATS对应的STC时间的信息。

图31是详细地说明PMT的数据构造的图。在PMT的开头,配置有记述了包含在该PMT 中的数据的长度等的PMT头。在其后面,配置有多个关于复用数据的描述符。上述拷贝控制 信息等被记载为描述符。在描述符之后,配置有多个关于包含在复用数据中的各流的流信 息。流信息由记载有用来识别流的压缩编解码器等的流类型、流的PID、流的属性信息(帧速 率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下,将上述复用数据与复用数据信息文件一起记 录。

复用数据信息文件如图32所示,是复用数据的管理信息,与复用数据一对一地对 应,由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图32所示,由系统速率、再现开始时刻、再现结束时刻构成。系统 速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用 数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧 的PTS,再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图33所示,按每个PID登记有关于包含在复用数据中的各流的属性 信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性 信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多 少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编 解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信 息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中,使用上述复用数据中的、包含在PMT中的流类型。此外,在记录介 质中记录有复用数据的情况下,使用包含在复用数据信息中的视频流属性信息。具体而言, 在上述各实施方式示出的运动图像编码方法或装置中,设置如下步骤或单元,该步骤或单 元对包含在PMT中的流类型、或视频流属性信息,设定表示是通过在上述各实施方式中示出 的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构,能够识别通过在上 述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像 数据。

此外,在图34中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中,从 复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接 着,在步骤exS101中,判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中 示出的运动图像编码方法或装置生成的复用数据。并且,在判断为流类型、或视频流属性信 息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下,在 步骤exS102中,通过在上述各实施方式中示出的运动图像解码方法进行解码。此外,在流类 型、或视频流属性信息表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的复用数据 的情况下,在步骤exS103中,通过依据以往的标准的运动图像解码方法进行解码。

这样,通过在流类型、或视频流属性信息中设定新的固有值,在解码时能够判断是 否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而,在被输入了 依据不同的标准的复用数据的情况下,也能够选择适当的解码方法或装置,所以能够不发 生错误地进行解码。此外,将在本实施方式中示出的运动图像编码方法或装置、或者运动图 像解码方法或装置用在上述任何设备、系统中。

(实施方式6)

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置 典型地可以由作为集成电路的LSI实现。作为一例,在图35中表示1芯片化的LSIex500的结 构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、 ex509,各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各 部供给电力,起动为能够动作的状态。

例如在进行编码处理的情况下,LSIex500基于具有CPUex502、存储器控制器 ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制,通过AV I/Oex509 从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部 的存储器ex511中。基于控制部ex501的控制,将储存的数据根据处理量及处理速度适当地 分为多次等,向信号处理部ex507发送,在信号处理部ex507中进行声音信号的编码及/或影 像信号的编码。这里,影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号 处理部ex507中,还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理,从 流I/Oex506向外部输出。将该输出的比特流向ex107发送、或写入到记录介质ex215中。 另外,在复用时,可以暂时将数据储存到缓冲器ex508中以使其同步。

另外,在上述中,设存储器ex511为LSIex500的外部的结构进行了说明,但也可以 是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个,也可以具备多个缓冲 器。此外,LSIex500既可以形成1个芯片,也可以形成多个芯片。

此外,在上述中,假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器 ex504、驱动频率控制部ex512等,但控制部ex501的结构并不限定于该结构。例如,也可以是 信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU,能够进 一步提高处理速度。此外,作为其他例,也可以是CPUex502具备信号处理部ex507、或作为信 号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下,控制部ex501为 具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外,这里设为LSI,但根据集成度的差异,也有称作IC、系统LSI、超级(super) LSI、特级(ultra)LSI的情况。

此外,集成电路化的方法并不限定于LSI,也可以由专用电路或通用处理器实现。 也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构 LSI内部的电路单元的连接及设定的可重构处理器。

进而,如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化 的技术,则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

(实施方式7)

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据 解码的情况下,考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据解码 的情况相比处理量会增加。因此,在LSIex500中,需要设定为比将依据以往的标准的影像数 据解码时的CPUex502的驱动频率更高的驱动频率。但是,如果将驱动频率设得高,则发生消 耗电力变高的问题。

为了解决该问题,电视机ex300、LSIex500等的运动图像解码装置采用识别影像数 据依据哪个标准、并根据标准切换驱动频率的结构。图36表示本实施方式的结构ex800。驱 动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装 置生成的情况下,将驱动频率设定得高。并且,对执行在上述各实施方式中示出的运动图像 解码方法的解码处理部ex801指示将影像数据解码。另一方面,在影像数据是依据以往的标 准的影像数据的情况下,与影像数据是通过在上述各实施方式中示出的运动图像编码方法 或装置生成的数据的情况相比,将驱动频率设定得低。并且,对依据以往的标准的解码处理 部ex802指示将影像数据解码。

更具体地讲,驱动频率切换部ex803由图35的CPUex502和驱动频率控制部ex512构 成。此外,执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依 据以往的标准的解码处理部ex802对应于图35的信号处理部ex507。CPUex502识别影像数据 依据哪个标准。并且,基于来自CPUex502的信号,驱动频率控制部ex512设定驱动频率。此 外,基于来自CPUex502的信号,信号处理部ex507进行影像数据的解码。这里,可以考虑在影 像数据的识别中使用例如在实施方式5中记载的识别信息。关于识别信息,并不限定于在实 施方式5中记载的信息,只要是能够识别影像数据依据哪个标准的信息就可以。例如,在基 于识别影像数据利用于电视机还是利用于盘等的外部信号,来能够识别影像数据依据哪个 标准的情况下,也可以基于这样的外部信号进行识别。此外,CPUex502的驱动频率的选择例 如可以考虑如图38所示的将影像数据的标准与驱动频率建立对应的查表进行。将查表 预先保存到缓冲器ex508、或LSI的内部存储器中,CPUex502通过参照该查表,能够选择驱 动频率。

图37表示实施本实施方式的方法的步骤。首先,在步骤exS200中,在信号处理部 ex507中,从复用数据中取得识别信息。接着,在步骤exS201中,在CPUex502中,基于识别信 息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影 像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下,在步骤 exS202中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且,在驱 动频率控制部ex512中设定为高的驱动频率。另一方面,在表示是依据以往的MPEG-2、 MPEG4-AVC、VC-1等的标准的影像数据的情况下,在步骤exS203中,CPUex502向驱动频率 控制部ex512发送将驱动频率设定得低的信号。并且,在驱动频率控制部ex512中,设定为与 影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低 的驱动频率。

进而,通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加 的电压,由此能够进一步提高节电效果。例如,在将驱动频率设定得低的情况下,随之,可以 考虑与将驱动频率设定得高的情况相比,将对LSIex500或包括LSIex500的装置施加的电压 设定得低。

此外,驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定 得高、在解码时的处理量小的情况下将驱动频率设定得低就可以,并不限定于上述的设定 方法。例如,可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上 述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下, 与上述的情况相反地进行驱动频率的设定。

进而,驱动频率的设定方法并不限定于使驱动频率低的结构。例如,也可以考虑在 识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数 据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得高,在表示是依据以 往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,将对LSIex500或包括 LSIex500的装置施加的电压设定得低。此外,作为另一例,也可以考虑在识别信息表示是通 过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下,不使 CPUex502的驱动停止,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数 据的情况下,由于在处理中有富余,所以使CPUex502的驱动暂停。也可以考虑在识别信息表 示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下, 也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下,可以考虑与表示是依据以 往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比,将停止时间设定得短。

这样,根据影像数据所依据的标准来切换驱动频率,由此能够实现节电化。此外, 在使用电池来驱动LSIex500或包括LSIex500的装置的情况下,能够随着节电而延长电池的 寿命。

(实施方式8)

在电视机、便携电话等上述的设备、系统中,有时被输入依据不同的标准的多个影 像数据。这样,为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码, LSIex500的信号处理部ex507需要对应于多个标准。但是,如果单独使用对应于各个标准的 信号处理部ex507,则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题,采用将用来执行在上述各实施方式中示出的运动图像解码方法 的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部一部分共 用的结构。图39A的ex900表示该结构例。例如,在上述各实施方式中示出的运动图像解码方 法和依据MPEG4-AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等 的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容,共用对应于 MPEG4-AVC标准的解码处理部ex902,关于不对应于MPEG4-AVC标准的本发明的一个方式 所特有的其他的处理内容,使用专用的解码处理部ex901。关于解码处理部的共用,也可以 是如下结构:关于共通的处理内容,共用用来执行在上述各实施方式中示出的运动图像解 码方法的解码处理部,关于MPEG4-AVC标准所特有的处理内容,使用专用的解码处理部。

此外,用图39B的ex1000表示将处理一部分共用的另一例。在该例中,采用使用与 本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标 准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图 像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码 处理部ex1003的结构。这里,专用的解码处理部ex1001、ex1002并不一定是为本发明的一个 方式、或者其他的以往标准所特有的处理内容而特殊化的,可以是能够执行其他的通用处 理的结构。此外,也能够由LSIex500安装本实施方式的结构。

这样,对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解 码方法中共通的处理内容,共用解码处理部,由此能够减小LSI的电路规模并且降低成本。

另外、在上述各实施方式中,各结构单元可以通过专用的硬件构成,也可以通过执 行对各结构单元适用的软件程序来实现。各结构单元也可以通过由CPU或处理器等程序执 行部将在硬盘或半导体存储器等记录介质中记录的软件程序读出并执行来实现。这里,实 现上述各实施方式的图像解码装置等的软件是如下那样的程序。

即,该程序使计算机执行解块滤波方法的各步骤。

以上,对于本发明的一个或多个形态的解块滤波方法及解块滤波装置,基于实施 方式进行了说明,但本发明不限于该实施方式。只要不脱离本发明的主旨,对本实施方式实 施本领域技术人员想到的各种变形而得到的形态、或将不同实施方式的结构单元组合而构 筑的形态,也包含在本发明的一个或多个方案的范围内。

产业上的可利用性

有关本发明的图像处理方法能够在所有的多媒体数据的压缩解码处理中使用。有 关本发明的图像处理方法例如作为使用便携电话、DVD装置及个人计算机等的储存、传送、 通信等中的压缩解码处理而具有实用性。

标号说明

100、300 运动图像编码装置

105 减法部

110 变换部

120 量化部

130 逆量化/逆变换部

140 加法部

150 解块滤波处理部

151 第一解块滤波器

152 第二解块滤波器

153 滤波器控制部

154 边界强度计算部

155 Tc计算部

156 滤波器选择部

160 样本自适应偏移处理部

165 自适应环路滤波处理部

170 帧存储器

180 预测部

190 熵编码部

200 运动图像解码装置

290 熵解码部

230 逆量化/逆变换部

240 加法部

250 解块滤波处理部

260 样本自适应偏移处理部

255 自适应环路滤波处理部

270 帧存储器

280 预测部

310 水平解块滤波处理部

320 垂直解块滤波处理部

本文发布于:2024-09-24 23:25:53,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/3/70777.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议