解码方法及解码装置

著录项
  • CN201710181456.6
  • 20120706
  • CN107087185A
  • 20170822
  • 太阳专利托管公司
  • 笹井寿郎;西孝启;柴原阳司;杉尾敏康;谷川京子;松延彻
  • H04N19/196
  • H04N19/196 H04N19/176 H04N19/13 H04N19/91 H04N19/157

  • 201280028018.1 2012.07.06
  • 美国纽约
  • 美国(US)
  • 20110711 US61/506,430
  • 永新专利商标代理有限公司
  • 高迪
摘要
一种解码方法,包括上下文决定步骤。在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述对象块的上侧邻接的上块的已解码的控制参数,决定所述上下文,在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上下文,在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所述上块和所述左块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,与所述对象块的解码所使用的解码模式无关地决定所述上下文。
权利要求

1.一种解码方法,对控制图像的解码的控制参数进行解码,

包括:

上下文决定步骤,在多个上下文中决定对所述图像中包含的对象块使用的上下文;以 及

算术解码步骤,使用所决定的所述上下文,对与所述对象块对应的比特序列进行算术 解码,取得所述对象块的控制参数,

在所述上下文决定步骤中,

判定所述对象块的控制参数所被分类的信号种类,

在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述 对象块的上侧邻接的上块的已解码的控制参数,决定所述上下文,

在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左 块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上 下文,

在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所 述上块和所述左块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深 度,与所述对象块的解码所使用的解码模式无关地决定所述上下文,

表示所述对象块是否被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过 标志被分类到所述第1种类,

表示所述对象块是否包含亮度系数数据及差系数数据的残差标志被分类到所述第2 种类,

表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含非 零差系数的差系数标志被分类到所述第3种类,

用于所述亮度系数标志的上下文的数量与用于所述差系数标志的上下文的数量不 同。

2.一种解码装置,对控制图像的解码的控制参数进行解码,

具备:

上下文决定部,在多个上下文中决定对所述图像中包含的对象块使用的上下文;以及

算术解码部,使用所决定的所述上下文,对与所述对象块对应的比特序列进行算术解 码,取得所述对象块的控制参数,

所述上下文决定部,

判定所述对象块的控制参数所被分类的信号种类,

在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述 对象块的上侧邻接的上块的已解码的控制参数,决定所述上下文,

在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左 块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上 下文,

在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所 述上块和所述左块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深 度,与所述对象块的解码所使用的解码模式无关地决定所述上下文,

表示所述对象块是否被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过 标志被分类到所述第1种类,

表示所述对象块是否包含亮度系数数据及差系数数据的残差标志被分类到所述第2 种类,

表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含非 零差系数的差系数标志被分类到所述第3种类,

用于所述亮度系数标志的上下文的数量与用于所述差系数标志的上下文的数量不 同。

3.一种解码装置,对控制图像的解码的控制参数进行解码,

具备处理电路和能够与所述处理电路连接的存储装置,

所述处理电路使用所述存储装置执行如下的步骤:

上下文决定步骤,在多个上下文中决定对所述图像中包含的对象块使用的上下文;以 及

算术解码步骤,使用所决定的所述上下文,对与所述对象块对应的比特序列进行算术 解码,取得所述对象块的控制参数,

在所述上下文决定步骤中,

判定所述对象块的控制参数所被分类的信号种类,

在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述 对象块的上侧邻接的上块的已解码的控制参数,决定所述上下文,

在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左 块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上 下文,

在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所 述上块和所述左块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深 度,与所述对象块的解码所使用的解码模式无关地决定所述上下文,

表示所述对象块是否被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过 标志被分类到所述第1种类,

表示所述对象块是否包含亮度系数数据及差系数数据的残差标志被分类到所述第2 种类,

表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含非 零差系数的差系数标志被分类到所述第3种类,

用于所述亮度系数标志的上下文的数量与用于所述差系数标志的上下文的数量不 同。

说明书
技术领域

本发明涉及解码方法及解码装置,特别涉及使用算术编码或算术解码的解码方法 及解码装置。

自然图像的图像信号具有统计上的波动,该波动呈变动性的特性。在利用统计上 的波动的变动性的熵编码方式之一中,有Context-Based Adaptive Binary Arithmetic Coding(CABAC,基于上下文的自适应二进制算术编码)(参照非专利文献1)。该CABAC方式在 ITU-T/ISOIEC standard for video coding,H.264/AVC方式中被采用。

以下,说明在CABAC方式中使用的用语的意义。

(1)"Context-Based Adaptive"(基于上下文的自适应),是使编码及解码方法自 适应于统计性波动的变动。即,"Context-Based Adaptive"也可以说是在将某个码元编码 或解码的情况下,匹配于周围的条件的发生事件作为该码元的发生概率而预测适当的概 率。例如,在编码中,在决定某个码元S的各值的发生概率p(x)的情况下,使用以实际发生的 事件或事件的列F(z)为条件的带条件的发生概率。

(2)"Binary"(二进制)是指将码元用二进制排列表现。关于用多值表示的码元,一 次变形为称作bin string的二值排列。并且对于各个排列要素,一边切换使用预测概率(条 件概率),一边将发生了两个值的事件的哪个进行比特序列化。由此,能够用比信号种类的 单位更详细的单位(二进制数要素单位)对值的概率进行管理(初始化及更新)(参照非专利 文献1的图2等)。

(3)所谓"arithmetic"(算术),是指上述的比特序列生成处理不是通过表的对应、 而是通过计算输出。在使用H.263、MPEG-4及H.264中的可变长代码表的编码方式中,即使是 具有发生概率比0.5(50%)高的发生概率的码元,也需要使码元能够取的各个值对应于1个 二进制数列(比特序列)。由此,关于概率最高的值,也最短必须使1个比特与1个码元建立对 应。相对于此,算术编码能够将事件的较高的概率下的发生用整数值1比特以下表现。例如, 有第1个二进制数的值为“0”的发生概率超过0.9(90%)那样的信号种类,在作为事件而第1 个二进制数的值连续N次是“0”的情况下,不再需要对各个值“0”将1比特的数据输出N次。

现有技术文献

非专利文献

非专利文献1:Detlev Marpe,et.al.,"Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard",IEEE Transaction on circuits and systems for video technology,Vol.13,No.7,July 2003.

非专利文献2:Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting:Geneva,CH,16-23 March,2011 JCTVC-E603,ver.7”WD3:Working Draft 3 of High-Efficiency Video Coding”http:// phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg 11/JCTVC-E603- v7.zip

非专利文献3:Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28 January,2011," Common test conditions and software reference configurations",JCTVC-E700

非专利文献4:Gisle Bjontegaard,“Improvements of the BD-PSNR model," ITU-T SG16 Q.6 Document,VCEG-AI11,Berlin,July 2008

发明概要

发明要解决的问题

但是,在这样的图像编码方法及图像解码方法中,希望存储器使用量(使用的存储 器容量)的减少。

所以,本发明的目的是提供一种能够削减存储器使用量的图像编码方法或图像解 码方法。

用于解决问题的手段

为了达成上述目的,本发明的一个方式的解码方法,对控制图像的解码的控制参 数进行解码,包括:上下文决定步骤,在多个上下文中决定对所述图像中包含的对象块使用 的上下文;以及算术解码步骤,使用所决定的所述上下文,对与所述对象块对应的比特序列 进行算术解码,取得所述对象块的控制参数,在所述上下文决定步骤中,判定所述对象块的 控制参数所被分类的信号种类,在所述信号种类是第1种类的情况下,利用与所述对象块的 左侧邻接的左块和与所述对象块的上侧邻接的上块的已解码的控制参数,决定所述上下 文,在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左 块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上 下文,在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所 述上块和所述左块的已解码的控制参数,而是使用所述控制参数所属的数据单位的层级深 度,与所述对象块的解码所使用的解码模式无关地决定所述上下文,表示所述对象块是否 被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过标志被分类到所述第1种 类,表示所述对象块是否包含亮度系数数据及差系数数据的残差标志被分类到所述第2 种类,表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含 非零差系数的差系数标志被分类到所述第3种类,用于所述亮度系数标志的上下文的 数量与用于所述差系数标志的上下文的数量不同。

发明效果

本发明能够提供能削减存储器使用量的图像编码方法或图像解码方法。

图1是有关本发明的实施方式1的图像编码装置的功能框图。

图2是有关本发明的实施方式1的可变长编码部的功能框图。

图3是关于有关本发明的实施方式1的控制参数的上下文模型的表。

图4是表示有关本发明的实施方式1的算术编码方法的流程图。

图5是有关本发明的实施方式2的图像解码装置的功能框图。

图6是有关本发明的实施方式2的可变长解码部的功能框图。

图7是表示有关本发明的实施方式2的算术解码方法的流程图。

图8是表示有关本发明的实施方式2的算术解码方法的变形例的流程图。

图9A是用于说明本发明实施方式2的映射信息和上下文索引之间的对应的图。

图9B是表示有关本发明的实施方式2的HEVC的分割块(树构造)的图。

图10是用来说明有关本发明的实施方式2的多层级块构造的图。

图11是表示有关本发明的实施方式3的split_coding_unit_flag的算术解码方法 的表。

图12A是表示有关本发明的实施方式3的关于split_coding_unit_flag的验证结 果的表。

图12B是表示有关本发明的实施方式3的关于split_coding_unit_flag的验证结 果的表。

图13是表示有关本发明的实施方式3的skip_flag的算术解码方法的表。

图14A是表示有关本发明的实施方式3的关于skip_flag的验证结果的表。

图14B是表示有关本发明的实施方式3的关于skip_flag的验证结果的表。

图15是表示有关本发明的实施方式3的merge_flag的算术解码方法的表。

图16A是表示有关本发明的实施方式3的关于merge_flag的验证结果的表。

图16B是表示有关本发明的实施方式3的关于merge_flag的验证结果的表。

图17是表示有关本发明的实施方式3的ref_idx的算术解码方法的表。

图18A是表示有关本发明的实施方式3的关于ref_idx的验证结果的表。

图18B是表示有关本发明的实施方式3的关于ref_idx的验证结果的表。

图18C是表示有关本发明的实施方式3的关于ref_idx的上下文模型的表。

图18D是表示有关本发明的实施方式3的关于ref_idx的上下文模型的表。

图19是表示有关本发明的实施方式3的inter_pred_flag的算术解码方法的表。

图20A是表示有关本发明的实施方式3的关于inter_pred_flag的验证结果的表。

图20B是表示有关本发明的实施方式3的关于inter_pred_flag的验证结果的表。

图21是表示有关本发明的实施方式3的mvd的算术解码方法的表。

图22A是表示有关本发明的实施方式3的关于mvd的验证结果的表。

图22B是表示有关本发明的实施方式3的关于mvd的验证结果的表。

图22C是表示有关本发明的实施方式3的关于mvd的上下文模型的表。

图22D是表示有关本发明的实施方式3的关于mvd的上下文模型的表。

图23A是表示有关本发明的实施方式3的no_residual_data_flag的算术解码方法 的表。

图23B是表示有关本发明的实施方式3的no_residual_data_flag的语法的表。

图24A是表示有关本发明的实施方式3的关于no_residual_data_flag的验证结果 的表。

图24B是表示有关本发明的实施方式3的关于no_residual_data_flag的验证结果 的表。

图25A是表示有关本发明的实施方式3的intra_chroma_pred_mode的算术解码方 法的表。

图25B是表示有关本发明的实施方式3的、与intra_chroma_pred_mode对应的 IntraPredModeC的决定方法的表。

图26A是表示有关本发明的实施方式3的关于intra_chroma_pred_mode的验证结 果的表。

图26B是表示有关本发明的实施方式3的关于intra_chroma_pred_mode的验证结 果的表。

图27是表示有关本发明的实施方式3的cbf_luma(cr,cb)的算术解码方法的表。

图28A是表示有关本发明的实施方式3的关于cbf_luma(cr,cb)的验证结果的表。

图28B是表示有关本发明的实施方式3的关于cbf_luma(cr,cb)的验证结果的表。

图29A是表示有关本发明的实施方式3的验证结果的柱状图。

图29B是表示有关本发明的实施方式3的验证结果的柱状图。

图30A是表示有关本发明的实施方式3的验证结果的柱状图。

图30B是表示有关本发明的实施方式3的验证结果的柱状图。

图31A是表示有关本发明的实施方式3的验证结果的柱状图。

图31B是表示有关本发明的实施方式3的验证结果的柱状图。

图32A是表示有关本发明的实施方式3的验证结果的柱状图。

图32B是表示有关本发明的实施方式3的验证结果的柱状图。

图33A是表示有关本发明的实施方式3的参数集的一例的表。

图33B是表示有关本发明的实施方式3的验证结果的表。

图34A是表示有关本发明的实施方式3的参数集的一例的表。

图34B是表示有关本发明的实施方式3的验证结果的表。

图35是表示本发明的实施方式3的算术编码方法的流程图。

图36是表示本发明的实施方式3的算术解码方法的流程图。

图37是用来说明有关本发明的实施方式的、利用邻接两个块的对应的控制参数的 值的上下文模型的图。

图38是用来说明有关本发明的实施方式的、利用上块时的存储器使用量的增加的 图。

图39是实现内容分发服务的内容供给系统的整体结构图。

图40是数字广播用系统的整体结构图。

图41是表示电视机的结构例的模块图。

图42是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例 的模块图。

图43是表示作为光盘的记录介质的构造例的图。

图44A是表示便携电话的一例的图。

图44B是表示便携电话的结构例的模块图。

图45是表示复用数据的结构的图。

图46是示意地表示各流在复用数据中怎样被复用的图。

图47是更详细地表示在PES包序列中视频流怎样被保存的图。

图48是表示复用数据的TS包和源包的构造的图。

图49是表示PMT的数据结构的图。

图50是表示复用数据信息的内部结构的图。

图51是表示流属性信息的内部结构的图。

图52是表示识别影像数据的步骤的图。

图53是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电 路的结构例的模块图。

图54是表示切换驱动频率的结构的图。

图55是表示识别影像数据、切换驱动频率的步骤的图。

图56是表示将影像数据的标准与驱动频率建立了对应的查表的一例的图。

图57A是表示将信号处理部的模块共用的结构的一例的图。

图57B是表示将信号处理部的模块共用的结构的另一例的图。

(作为本发明的基础的认识)

本发明者发现,会发生以下的问题。

这里,在作为下一代编码方式的High-Efficiency Video Coding(HEVC)中,关于 各种控制参数的编码及解码中的上下文模型的研究也正在进展(非专利文献2)。所谓控制 参数,是指包含在编码比特流中、在编码处理或解码处理中使用的参数(标志等),具体而 言,是syntax element。

所谓上下文模型,是表示(1)对怎样的单位(多值、二进制数值、或二进制数排列 (bin string)的各个要素)的信号、(2)考虑怎样的条件(Condition)的信息。这里,所谓怎 样的条件,是应用怎样的条件的要素数的条件、或者作为条件考虑的控制参数的信号种类 最好是什么。将该条件越详细地区分,即,越是增加条件数τ(the number of conditions), 与1个条件对应的次数越减少。结果,通过每个条件的学习次数减少,概率的预测的精度下 降(例如,参照非专利文献1的"dilution effect")。

此外,越是减少条件数,越是不考虑上下文(周围的条件),越不追随于(adaptive) 统计性变动。

在上下文的模型设计中决定模型的设计方针后,需要通过进行图像内容的统计性 波动的验证、或控制图像的编码及解码的控制参数的统计性波动的验证等的为图像而特殊 化的验证来考虑其妥当性。

在H.264中,将在码元的编码中使用限定的数量的事前事件作为规则的规范,并将 上下文模型类型化为4个基本的类型(basic design types)。

第1及第2类型关于控制参数的编码及解码。

第1类型的上下文模型使用以两个为上限(up to two)的邻接的已编码的值(参照 非专利文献1)。邻接的两个已编码的值的定义依存于控制参数的各个信号种类,但通常使 用在左及上邻接的块中包含的对应的控制参数的值。

第2上下文模型的类型是作为发生概率而基于二进制数树决定上下文的类型。具 体而言,应用到控制参数mb_type及sub_mb_type中。

第3及第4类型关于图像数据等的残差值(residual data)的编码及解码。在第3类 型中,根据频率系数(或量化系数)的扫描的顺序,仅利用过去编码或解码的值。在第4类型 中,根据解码并累积的值(水平(level)值)决定上下文。

上述第1类型等的、H.264的概率转移(probability transition)模型的设计方针 及安装方法被较长地验证了效果,研究正在进展,以使得也应用到目前研究中的HEVC中(参 照非专利文献2)。例如正在研究将第1类型(使用相邻语法元素(using neighbouring syntax elements)的上下文模型)用在控制参数alf_cu_flag、split_coding_unit_flag、 skip_flag、merge_flag、intra_chroma_pred_mode、inter_pred_flag、ref_idx_lc、ref_ idx_l0、ref_idx_l1、mvd_l0、mvd_l1、mvd_lc、no_residual_data_flag、cbf_luma、cbf_cb 及cbf_cr中(参照非专利文献2的9.3.3.1.1节)。

但是,关于利用该第1类型“利用邻接两块的上下文模型”的编码,本发明者发现, 关于其存储器使用量存在以下的问题。

图37是用来说明利用邻接两块的对应的控制参数的值的上下文模型的图。此外, 图37表示H.264中的利用邻接块的上下文模型。

图中的块C包括作为当前(Current)的编码或解码对象的控制参数SE的值。在将该 SE的值编码的情况下,利用在已经编码的上块A及左块B中包含的同种控制参数SE的值。具 体而言,使用以上块A的控制参数SE的值和左块B的控制参数SE的值为条件的条件概率p(x| (condition A(上块的值)且condition B(左块的值)))预测块C的控制参数SE(或控制参数 SE的bin string的第1个二进制数)的值x是“1”还是“0”的概率p(x)。

图38是用来说明利用上块的情况下的存储器使用量的增加的图。

图中的(xP,yP)表示包含块C的Prediction Unit(PU:运动预测单位)的左上像素 位置。这里,块C是包括当前的编码对象的控制参数(例如skip_flag)的块。此外,图中的 (xP,yA)表示作为condition A(上块的控制参数skip_flag的值)使用的、块B中包含的像素 位置。图中(xL,yP)表示作为condition B(左块的控制参数skip_flag的值)使用的、块A中 包含的像素位置。

在此情况下,为了将块C的控制参数skip_flag的值编码或解码,编码或解码装置 需要保持与上块B中包含的(xP,yA)的位置对应的PU的skip_flag的值(或条件的判断结 果)、和与左块A中包含的(xL,yP)的位置对应的PU的skip_flag的值(或条件的判断结果)。 这里,如果设该图片的横宽是4096像素,则为了1个控制参数skip_flag的编码,需要保持上 块行(图38所示的Line L)中包含的全部的判断值。即,为了1个控制参数,需要4096像素÷ 块尺寸的存储器容量。

这里,编码对象的块C的块尺寸是可变的,例如是64×64、16×16或4×4等。此外, 在包含(xP,yA)的上方的行(Line L)中包含的块的编码或解码时,在之后编码或解码的块C 的块尺寸不能预测。这是因为,编码或解码装置在上方的行(包含块A的行)的编码或解码的 时点,不知道其之下的行(包含块C的行)的各块的尺寸。因而,编码或解码装置设想作为下 方的行的块尺寸而使用应用该控制参数的块尺寸中的最小的块尺寸的情况,必须按照每个 该最小的块尺寸保持控制参数的值(或判断值)。在多数信号种类中,该最小的块尺寸为4× 4。此外,在特別的信号种类中,该最小的块尺寸为8×8或16×16。例如,最小的块尺寸为4× 4的情况下,必须保持的控制参数的值(或判定值)为4096像素÷4=1024bits。另外,图38的 黑圈的位置表示实际在下方的行(包含块C的行)的编码或解码中尽管不需要该条件值但必 须保持的条件。

进而,图38所示的邻接两块(左块A和上块B)表示H.264时点的邻接块的概念,没有 导入新的层级块分割的观点。如后述那样,对适应于计划用HEVC导入的递归4分块分割树构 造(quad tree partitioning)的控制参数,根据递归的执行顺序、层级深度或块的位置,有 由图38表示的参照的条件值没有意义的情况。

这样,本发明者发现,通过在控制参数的算术编码或解码中利用上块的条件值,存 储器使用量增加。进而,本发明者发现,在HEVC中,该存储器使用量进一步增加。

对此,本发明的一个方式的图像解码方法,使用算术解码,其特征在于,包括:上下 文控制步骤,在多个上下文中决定对处理对象块使用的上下文;算术解码步骤,将通过对控 制参数进行算术编码而得到的与所述处理对象块对应的比特序列,使用所决定的所述上下 文进行算术解码,由此将二值排列复原;以及多值化步骤,通过将所述二值排列多值化,将 所述控制参数复原;在所述上下文控制步骤中,判断所述处理对象块的控制参数的信号种 类;在所述信号种类是第1种类的情况下,使用利用与所述处理对象块邻接的左块及上块的 已解码的控制参数的第1条件,决定所述上下文;在所述信号种类是与所述第1种类不同的 第2种类的情况下,使用不利用所述上块的已解码的控制参数的第2条件,决定所述上下文; 在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使用不利用所 述上块的已解码的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级的 深度的第3条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_ flag";所述第2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_ flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_ cr"中的1个以上;所述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_ pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或" cbf_cr"中的所述第2种类以外的信号种类。

据此,该图像解码方法能够削减存储器使用量。具体而言,该图像解码方法由于对 第2种类的控制参数不使用上块的控制参数,所以不需要保持上块的第2种类的控制参数。 由此,该图像解码方法与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利 用左块和上块的情况相比能够削减存储器使用量。进而,该图像解码方法能够不损害图像 的BD-rate值评价等而适当地削减第2种类的控制参数的存储器使用量。

此外,该图像解码方法能够进行在现有技术的H.264中没有考虑的、适合于新的 HEVC特有的数据构造的层级树构造的上下文的利用或存储器参照。

进而,该图像解码方法对于第3种类的控制参数,利用处理对象块的控制参数所属 的数据单位的层级的深度来决定上下文,由此能够削减存储器使用量而选择适当的上下 文。

此外,也可以是,所述第3种类是"inter_pred_flag"。

此外,也可以是,所述第3种类是"cbf_cb"及"cbf_cr"。

此外,也可以是,所述第3种类是"cbf_luma"。

此外,也可以是,所述第1种类是"split_coding_unit_flag"及"skip_flag",所述 第2种类是"merge_flag"、"ref_idx_l0"及"ref_idx_l1"、"mvd_l0"及"mvd_l1"、"intra_ chroma_pred_mode",所述第3种类是"inter_pred_flag"、"cbf_luma"、"cbf_cb"及"cbf_ cr"。

此外,也可以是,所述第2条件及所述第3条件是不利用所述上块的已解码的控制 参数也不利用所述左块的已解码的控制参数的条件。

据此,该图像解码方法通过除了上块以外也不使用左块的控制参数,能够进一步 削减存储器使用量。

此外,也可以是,在所述上下文控制步骤中,在所述信号种类是所述第2种类的情 况下,作为所述第2条件,将预先设定的上下文决定为在所述对象块的算术解码中使用的上 下文。

据此,该图像解码方法能够降低处理量。

此外,也可以是,在所述上下文控制步骤中,还基于所述处理对象块的位置,判断 在解码时是否能够利用所述上块的控制参数;在不能利用所述上块的控制参数的情况下, 使用所述第2条件或所述第3条件决定所述上下文。

据此,该图像解码方法能够降低处理量。

此外,也可以是,在所述上下文控制步骤中,在所述处理对象块属于切片边界的情 况下,判断为在解码时不能利用所述上块的控制参数。

此外,也可以是,在所述上下文控制步骤中,根据所述处理对象块的控制参数所属 的数据单位的层级的深度判断在解码时是否能够利用所述上块的控制参数。

此外,也可以是,所述第2种类或所述第3种类是具有预先设定的数据构造的控制 参数。

此外,也可以是,在所述上下文控制步骤中,还基于第1单位的控制参数的值,对比 所述第1单位小的第2单位的控制参数,切换是使用所述第1条件决定所述上下文、使用所述 第2条件决定上下文、还是使用所述第3条件决定所述上下文。

此外,也可以是,所述"split_coding_unit_flag"表示所述处理对象块是否被分 割为多个块;所述"skip_flag"表示是否将所述处理对象块跳过;所述"merge_flag"表示对 所述处理对象块是否使用合并模式;所述"ref_idx_l0"表示所述处理对象块用的列表0的 参照图片索引;所述"ref_idx_l1"表示所述处理对象块用的列表1的参照图片索引;所述" inter_pred_flag"表示对所述处理对象块使用uni-prediction及bi-prediction的哪个; 所述"mvd_l0"表示对所述处理对象块使用的列表0的运动矢量成分与其预测值的差分;所 述"mvd_l1"表示对所述处理对象块使用的列表1的运动矢量成分与其预测值的差分;所述" intra_chroma_pred_mode"表示所述处理对象块的差样本用的帧内预测模式;所述"cbf_ luma"表示所述处理对象块的亮度变换块是否包括级别不是0的一个以上的变换系数;所 述"cbf_cb"表示所述处理对象块的Cb变换块是否包括级别不是0的一个以上的变换系数; 所述"cbf_cr"表示所述处理对象块的Cr变换块是否包括级别不是0的一个以上的变换系 数。

此外,也可以是,所述图像解码方法根据编码信号中包含的表示第1标准或第2标 准的识别符,对依据所述第1标准的解码处理和依据所述第2标准的解码处理进行切换;在 所述ID表示第1标准的情况下,作为依据所述第1标准的解码处理,进行所述上下文控制步 骤、所述算术解码步骤和所述多值化步骤。

此外,本发明的一个方式的图像编码方法,使用算术编码,其特征在于,包括:二值 化步骤,通过将处理对象块的控制参数二值化,生成二值排列;上下文控制步骤,在多个上 下文中,决定对所述处理对象块使用的上下文;以及算术编码步骤,通过使用所决定的所述 上下文对所述二值排列进行算术编码,生成比特序列;在所述上下文控制步骤中,判断所述 处理对象块的控制参数的信号种类;在所述信号种类是第1种类的情况下,使用利用与所述 处理对象块邻接的左块及上块的控制参数的第1条件,决定所述上下文;在所述信号种类是 与所述第1种类不同的第2种类的情况下,使用不利用所述上块的控制参数的第2条件,决定 所述上下文;在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使 用不利用所述上块的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级 的深度的第3条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_ flag";所述第2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_ flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_ cr"中的1个以上;所述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_ pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或" cbf_cr"中的所述第2种类以外的信号种类。

据此,该图像编码方法能够削减存储器使用量。具体而言,该图像编码方法由于对 第2种类的控制参数不使用上块的控制参数,所以不需要保持上块的第2种类的控制参数。 由此,该图像编码方法与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利 用左块和上块的情况相比能够削减存储器使用量。进而,该图像编码方法能够不损害图像 的BD-rate值评价等而适当地削减第2种类的控制参数的存储器使用量。

此外,该图像编码方法能够进行在现有技术的H.264中没有考虑的、适合于新的 HEVC特有的数据构造的层级树构造的上下文的利用或存储器参照。

进而,该图像解码方法对于第3种类的控制参数,利用处理对象块的控制参数所属 的数据单位的层级的深度来决定上下文,由此能够削减存储器使用量而选择适当的上下 文。

此外,本发明的一个方式的图像解码装置,使用算术解码,其特征在于,包括:上下 文控制部,在多个上下文中决定在处理对象块的算术解码中使用的上下文;算术解码部,将 通过对控制参数进行算术编码而得到的与所述处理对象块对应的比特序列,使用所决定的 所述上下文进行算术解码,由此将二值排列复原;以及多值化部,通过将所述二值排列多值 化,将所述控制参数复原;所述上下文控制部,判断所述处理对象块的控制参数的信号种 类;在所述信号种类是第1种类的情况下,使用利用与所述处理对象块邻接的左块及上块的 已解码的控制参数的第1条件,决定所述上下文;在所述信号种类是与所述第1种类不同的 第2种类的情况下,使用不利用所述上块的已解码的控制参数的第2条件,决定所述上下文; 在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使用不利用所 述上块的已解码的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级的 深度的第3条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_ flag";所述第2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_ flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_ cr"中的1个以上;所述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_ pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或" cbf_cr"中的所述第2种类以外的信号种类。

据此,该图像解码装置能够削减存储器使用量。

此外,本发明的一个方式的图像编码装置,使用算术编码,其特征在于,包括:二值 化部,通过将处理对象块的控制参数二值化,生成二值排列;上下文控制部,在多个上下文 中,决定对所述处理对象块使用的上下文;以及算术编码部,通过使用所决定的所述上下文 对所述二值排列进行算术编码,生成比特序列;所述上下文控制部,判断所述处理对象块的 控制参数的信号种类;在所述信号种类是第1种类的情况下,使用利用与所述处理对象块邻 接的左块及上块的控制参数的第1条件,决定所述上下文;在所述信号种类是与所述第1种 类不同的第2种类的情况下,使用不利用所述上块的控制参数的第2条件,决定所述上下文; 在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使用不利用所 述上块的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级的深度的第3 条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_flag";所述第 2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或" mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的1个以上;所 述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0" 或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的所述第2 种类以外的信号种类。

据此,该图像编码装置能够削减存储器使用量。

此外,本发明的一个方式的图像编解码装置包括所述图像解码装置和所述图像编 码装置。

另外,这些总括性或具体的形态也可以通过系统、方法、集成电路、计算机程序或 记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实 现。

以下,参照附图对有关本发明的一形态的图像解码装置及图像编码装置具体地说 明。

另外,以下说明的实施方式都是表示本发明的一具体例的。在以下的实施方式中 表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等 是一例,不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上 位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明

(实施方式1)

以下,对有关本发明的实施方式1的图像编码装置进行说明。有关本发明的实施方 式1的图像编码装置在算术编码中根据控制参数的信号种类,切换(1)利用上块决定上下 文、还是(2)不利用上块决定上下文。由此,能够在抑制画质的劣化的同时削减存储器使用 量。

首先,说明有关本发明的实施方式1的图像编码装置的结构。

图1是有关本实施方式的图像编码装置100的框图。

图1所示的图像编码装置100是使用算术编码的图像编码装置,通过将输入图像信 号121编码而生成比特流124。该图像编码装置100包括控制部101、差分部102、变换及量化 部103、可变长编码部104、逆量化及逆变换部105、加法部106、画面内预测部107、画面间预 测部108和开关109。

控制部101基于编码对象的输入图像信号121计算控制参数130。例如,控制参数 130包括表示编码对象的输入图像信号121的图片类型的信息、编码对象块的运动预测单位 (Prediction Unit PU)的尺寸及运动预测单位的控制信息等。这里,控制参数130(Control data)其自身为编码对象。由此,控制部101将该控制参数130向可变长编码部104输出。

差分部102计算作为块单位的输入图像信号121与预测图像信号129的差值(残差 值)的残差信号122。

变换及量化部103将残差信号122变换为频率系数值,通过将得到的频率系数值量 化,生成量化变换系数123(residual data)。

逆量化及逆变换部105将量化变换系数123逆量化为频率系数值,通过将得到的频 率系数值逆变换,生成复原的残差信号125。

加法部106通过将残差信号125与预测图像信号129相加,输出复原图像信号126。

画面内预测部107通过使用复原图像信号126进行画面内预测处理而生成预测图 像信号127。画面间预测部108通过使用复原图像信号126进行画面间预测处理而生成预测 图像信号128。

开关109选择预测图像信号127及预测图像信号128的一方,将所选择的信号作为 预测图像信号129输出。

可变长编码部104通过将输入的各块的量化变换系数123及控制参数130使用上述 的CABAC编码而生成比特流124。

接着,说明可变长编码部104的结构。

图2是可变长编码部104的功能框图。可变长编码部104包括二值化部141、上下文 控制部142和二值算术编码部143。以下,对控制参数130的可变长编码处理进行说明。另外, 关于量化变换系数123的可变长编码处理省略说明,例如可以使用已知的技术实现。

二值化部141通过将控制参数130二值化,生成二值排列151。具体而言,二值化部 141是执行非专利文献1中的II.1)binarizaion处理的处理部。该二值化部141将控制参数 130通过按照每个信号种类事前设定的二值化处理方法变换为称作bin string的二值排列 151。另外,关于信号种类与二值化处理方法的对应在后面叙述。此外,二值化部141在输入 的控制参数130是flag等的1个二进制数值的情况下,将该控制参数130原样作为二值排列 151输出。

上下文控制部142在多个上下文(概率状态表)中,决定在包含于处理对象的块中 的控制参数130的算术编码中使用的上下文。此外,上下文控制部142将指定所决定的上下 文的上下文索引152向二值算术编码部143输出。

具体而言,上下文控制部142是执行非专利文献1中的2)context modeling处理的 处理部。对于该上下文控制部142,依次输入在二值算术编码部143输出的二值排列151中包 含的多个要素。上下文控制部142根据控制参数130的信号种类和该二进制数的二值排列 151中的要素位置,在多个上下文中选择在该二进制数中使用的上下文,将表示所选择的上 下文的索引即上下文索引152向二值算术编码部143输出。

此外,上下文控制部142作为上下文的状态而保持着将控制参数130的二值排列的 各个要素进一步详细区分化为条件概率的条件的数量(所谓的上下文索引数)的概率状态 表,将该概率状态表初始化及更新。

此外,上下文控制部142作为按照每个信号种类(在二值排列的要素数是2以上的 情况下,是控制参数130的二值排列的每个要素号码。以下相同)更加详细区分而保持每个 发生条件τ(每个上下文)的状态(probability state index:概率状态索引)。该状态是“0” 或“1”的二值中的概率较低一方的发生概率P(内分比率:典型地是6比特的值)、与概率较高 一方是哪个的值(1比特)的合计7比特值。此外,所谓保持状态,是初始化及更新。例如,所谓 更新处理,与H264同样,是64个有限的状态间的转变,是将现在处于哪个概率状态 probability state(即哪个概率)的indexing变更。

具体而言,上下文控制部142在二值中的概率较高的most probable侧的事件X发 生的情况下,使作为most probable侧的概率的比例稍稍增加。例如,上下文控制部142通过 使与64个表对应的概率索引(probability state index)的值增减1,能够使作为most probable侧的概率的比例稍稍增加。另一方面,在(与预测的概率相反)而概率较低的事件 not X发生的情况下,上下文控制部142使保持的most probable的概率的比例变大,基于规 定的缩放系数α(例如≒0.95)减少(参照非专利文献1,图6)。本实施方式的上下文控制部 142与H.264同样,基于建立了对应的表索引变更值使状态转变并保持,以便对应于考虑到 该α的变更。

二值算术编码部143通过使用由上下文控制部142决定的上下文将二值排列151算 术编码,生成比特流124(比特序列)。

具体而言,二值算术编码部143是执行非专利文献1的3)binary arithmetic coding处理的处理部。该二值算术编码部143通过使用由上下文索引152指定的上下文将二 值排列151算术编码,从而生成比特流124。这里,所谓算术编码,是指将关于各种信号种类 的控制参数130发生的事件作为概率的累计处置,将进行怎样的事件一边缩窄范围一边与1 个数线(number line)上的规定范围建立对应。

首先,二值算术编码部143将1个数线根据从上下文控制部142给出的、二进制数能 够取的两个值的发生概率内分为两个半区间。在实际发生的二进制数的值(例如“0”)是较 高的概率(超过0.5的概率(例如0.75))侧的值的情况下,二值算术编码部143不变更而维持 数线中的范围的下值限值low,将与对此次的概率0.75乘以1次缩放系数0.95的结果相对应 的值设定为新的幅度Range。另一方面,在实际发生的二进制数的值是预测的较低的概率侧 的值的情况下,二值算术编码部143使范围的下限值low移动较高的概率的量,使幅度Range 根据较低的概率而变更。这样,通过概率幅度Range的相乘结果的累计而保持区间,但在概 率较低的值连续发生的情况下,幅度Range的长度成为在运算中能够确保的精度以下。在此 情况下,二值算术编码部143为了维持精度而进行将幅度Range扩大的处理(renorm)并且将 用来表示当前时点的范围的比特序列输出。相反,在概率较高(0.95等)的值连续发生的情 况下,即使乘以该概率值,在幅度Range的长度变得比规定的长度短之前也能够进行多次的 运算(在基于表的安装的情况下是状态转变)。因而,在此情况下,在将比特输出之前能够累 计的码元数较多。

图3是将利用基于邻接块的控制参数130的值的上下文模型的控制参数130整理的 表。

从左起,说明列的意义。

(c2)信号种类(syntax element)表示控制参数130的信号种类的具体名称。另外, 各信号种类的意义后述。

(c3)二值化方式(binarization scheme)表示在由紧挨着的左方的列指定的控制 参数130(SE)中应用的二值化方式。另外,二值化处理由上述二值化部141执行。此外,所谓 栏中“固定长”,是指二值化部141将紧挨着的左方的控制参数130的值用固定长(Fixed Length)的二值排列(bin string)输出。在HEVC中信号种类名用"flag"结束的信号种类的 控制参数130是取“0”或“1”的某个值的1个二进制数值。因而,二值化部141输出的二值排列 151的要素只是第1个要素(binIdx=0),第2个以后的要素(binIdx>=1的要素不输出。即, 二值化部141将控制参数130的值原样作为二值排列151输出。

此外,栏中“可变长”,表示二值化部141将控制参数130的值,使用以成为以该值的 发生频度顺序由短到长的二进制数长的方式建立了对应的可变长的二进制数列(bin string或二值排列,要素数≧1)来进行二值排列化并输出。例如,二值化部141将 (Truncated)Unary型或Unary型与其他指数的Golomb方式等的多个方式的组合等的、对应 于信号种类的方式输出(参照非专利文献1,A.Binarization)。另外,在可变长的情况下,也 有二值排列151的排列要素是1个的情况,但也有为两个以上的情况。此外,在后述的图像解 码装置的多值化部中,通过进行该二值化方式的逆变换,将输入的二值排列复原为多值或 标志值。

(c4)第1个要素(binIdx=0)上下文索引表示上下文控制部142对在通过由c3的栏 指定的二值化方式生成的二进制数排列中包含的第1个要素应用的上下文索引(增值)的选 择分支。在栏中记载有“0,1,2”的情况下,意味着上下文控制部142从3个概率状态表(上下 文)中选择应用一个概率状态表。例如,对于信号种类"skip_flag",关于该1个信号种类准 备3个用条件细分化的上下文索引,即意味着准备3个上下文进行算术编码。

同样,在c4栏中记载有“0,1,2,3”的情况下,意味着在将由c2栏指定的信号种类的 控制参数130的值应用到在通过c3栏的二值化方式二值排列化的二值排列151中包含的第1 要素(binIdx=0)中的上下文是0、1、2或3的4个择一。另外,关于栏中的条件式在后面叙述。

(c5)左块条件L(condL)表示上下文控制部142用来在栏c4中选择0、1、2的值的某 个值的左块的条件(condition)。该条件对应于编码对象(或解码对象)的控制参数,取根据 左块的控制参数的值决定的true或false的值。

例如,在控制参数(SE)是skip_flag的情况下,如果skip_flag[xL][yL]的值是 true(例如“1”)则输出true,如果是false(例如“0”)则输出false。

(c6)上块条件A(condA)表示上下文控制部142用来在由栏c4指定的排列要素的编 码及解码中选择0、1、2的值的某个值的上块的条件(condition)。该条件取与编码对象(或 解码对象)的控制参数对应的、根据上块的控制参数的值决定的true或false的值。例如,在 控制参数(SE)是skip_flag的情况下,如果skip_flag[xA][yA]的值是true(例如“1”)则输 出true,如果是false(例如“0”)则输出false。

另外,虽然没有图示,但将对(c7)“binIdx>=1应用的上下文增量值”与2比特以上 的信号种类建立了对应。该(c7)表示上下文控制部142对二值排列的第2要素以后的二进制 数(具有binIdx>=1的索引值的二进制数排列要素的二进制数值)应用的上下文模型。

有关本实施方式的图像编码方法对于上述左块条件L及上块条件A,根据控制参数 130的信号种类切换以下的动作(利用不同的模式动作)。

(模式1)使用两个邻接块(左块条件L的判断值和上块条件A的判断值)。

(模式2)使用1个邻接块(仅左块条件L的判断值)。

(模式3)使用0个邻接块(左块条件L和上块条件A都不使用)。

图4是表示图2所示的可变长编码部104执行的有关本实施方式的图像编码方法的 流程图。

首先,二值化部141将控制参数130的值以与该控制参数130的信号种类对应的方 式二值排列化(S101)。

接着,上下文控制部142取得在该控制参数130的算术编码中使用的上下文的基本 值(S102)。例如,上下文控制部142根据图片类型(I,P,B)决定该基本值。

接着,上下文控制部142根据控制参数130的信号种类,使用上述模式1~模式3的 某个来决定上下文值(S103)。这里,所谓决定上下文值,与决定上下文的相对于基本值的调 整值(递增值CtxIdxInc)是等价的。

首先,上下文控制部142判别控制参数130的信号种类(S103)。在控制参数130的信 号种类是与模式1对应的第1种类的情况下(S104中第1种类),上下文控制部142使用根据邻 接的两个块(块A和块B)的各自的控制参数的值导出的判断值决定上下文值(S105)。换言 之,上下文控制部142使用利用左块及上块的两个邻接块的控制参数的条件来决定上下文。 在此情况下,上下文控制部142利用图3所示的(c5)CondL的判断结果和(c6)condA的判断结 果的两者的值。因而,对于第1种类的控制参数保持图片的横一列的数据。

另一方面,在控制参数130的信号种类是与模式2对应的第2种类的情况下(S104中 第2种类),上下文控制部142决定使用1个邻接块(在编码顺序上最近的邻接块)的控制参数 的值决定上下文值(S106)。换言之,上下文控制部142使用不利用上块的控制参数的条件决 定上下文。

另一方面,在控制参数130的信号种类是与模式3对应的第3种类的情况下(S104中 第3种类),上下文控制部142对上块及左块的控制参数都不利用,固定地决定上下文值 (S107)。

接着,上下文控制部142通过对在步骤S102中决定的上下文的基本值加上在步骤 S103中决定的增量值,导出上下文索引值(S108)。

最后,二值算术编码部143通过将第1要素的二进制数值使用由在步骤S108中决定 的上下文索引值指定的上下文值,进行算术编码,生成比特序列(比特流124)(S109)。

接着,在步骤S102~S109的处理的执行对二值排列中包含的全部的要素没有完成 的情况下(S110中否),可变长编码部104对二值排列中包含的下个要素执行步骤S102~ S109的处理。另一方面,在对二值排列中包含的全部的要素完成了步骤S102~S109的处理 的执行的情况下(S110中“是”),可变长编码部104结束对于处理对象块的控制参数的编码 处理。

如以上这样,有关本实施方式的图像编码装置100在算术编码中,对第1种类的控 制参数利用上块决定上下文,对第2种类及第3种类的控制参数不利用上块而决定上下文。

通过该结构,该图像编码装置100与划一地作为“利用基于邻接块的控制参数的值 的上下文模型”而利用左块和上块的情况相比能够削减存储器使用量。由此,该图像编码装 置100能够在抑制画质的劣化的同时削减存储器使用量。

(实施方式2)

在本实施方式中,对将由上述图像编码装置100生成的比特流124解码的图像解码 装置进行说明。

图5是有关本实施方式的图像解码装置200的框图。该图像解码装置200是使用算 术解码的图像解码装置,通过将比特流124解码而生成图像信号229。这里,比特流124例如 是由上述图像编码装置100生成的比特流124。

图像解码装置200包括控制部201、可变长解码部202、逆量化部204、逆变换部205、 加法部206、画面内预测部207和画面间预测部208。

图像解码装置200按照规定的处理单位的每个代码序列进行解码处理。这里,处理 单位例如是切片(slice)单位或块单位。

可变长解码部202通过对比特流124进行算术解码,生成控制参数230(control data syntax element)和量化变换系数223(Residual data syntax element值)。将所生 成的控制参数230向控制部201输出。

控制部201根据控制参数230控制图像解码装置200中包含的处理部。

逆量化部204通过将量化变换系数223逆量化,生成正交变换系数224。

逆变换部205通过将正交变换系数224逆变换,将残差信号225复原。加法部206通 过将残差信号225与预测图像信号(图像信号229)相加,生成解码图像信号226。

画面内预测部207通过使用解码图像信号226进行画面内预测处理而生成预测图 像信号227。画面间预测部208通过使用解码图像信号226进行画面间预测处理而生成预测 图像信号228。

开关209选择预测图像信号227及预测图像信号228的一方,将所选择的信号作为 图像信号229(预测图像信号)输出。

接着,说明可变长解码部202的结构。

图6是表示可变长解码部202的结构的功能框图。可变长解码部202包括二值算术 解码部243、上下文控制部242和多值化部241。以下,对控制参数230的可变长解码处理进行 说明。另外,关于量化变换系数223的可变长解码处理省略说明,例如可以使用已知的技术 实现。

上下文控制部242在多个上下文中,决定在处理对象的块的控制参数230的算术解 码中使用的上下文。此外,上下文控制部242将指定所决定的上下文的上下文索引252向二 值算术解码部243输出。

具体而言,上下文控制部242使用与图2所示的上下文控制部142相同的上下文模 型作为所保持的概率转移模型。在二值算术编码部143使用64个概率状态的情况下,二值算 术解码部243也具有64个概率状态。这是因为,需要将编码的数线上的范围在编码侧及解码 侧的两侧同样地解释。由此,在解码装置侧也使用与编码侧从上述模式1~3的3个模式中选 择的模式相同的模式。

二值算术解码部243通过使用由上下文控制部242决定的上下文将比特序列(比特 流124)算术解码,将二值排列251复原。具体而言,二值算术解码部243使用由从上下文控制 部242给出的上下文索引指定的上下文(概率状态表),将输入的比特序列复原为二值排列 251。

多值化部241将二值排列251根据需要进行多值化从而复原为控制参数230。这样, 图像编码装置100具备的上下文控制部142和图像解码装置200具备的上下文控制部242在 某个信号种类的控制参数的算术编码及算术解码时在两者中利用相同的上下文模型。

图7是表示可变长解码部202执行的有关本实施方式的图像解码方法的流程图。

首先,可变长解码部202取得比特流124(S201)。

接着,上下文控制部242根据比特流124的数据构造决定解码对象的控制参数的信 号种类(S202)。

接着,上下文控制部242决定在解码对象的控制参数的算术解码中使用的上下文 的基本值(S203)。例如,上下文控制部242根据图片类型(I,P,B)决定该基本值。

接着,上下文控制部242根据控制参数的信号种类,使用上述模式1~模式3的某个 决定上下文值(S204)。这里,所谓决定上下文值,与决定上下文的相对于基本值的调整值 (递增值CtxIdxInc)等价。例如,上下文控制部242根据控制参数的信号种类,按照静态地事 前决定的表进行使用模式1~模式3的哪个的判断。

上下文控制部242根据控制参数的信号种类,切换在为了通过算术解码得到二值 排列251中包含的第1要素的二进制数的值而使用的上下文的决定中搜索使用的邻接块。

首先,上下文控制部242判断控制参数230的信号种类(S205)。在信号种类是与模 式1对应的第1种类的情况下(S205中第1种类),上下文控制部242使用邻接的两个块的各自 的控制参数决定上下文值(S206)。换言之,上下文控制部242使用利用左块及上块的两个邻 接块的已解码的控制参数的条件来决定上下文。

另一方面,在信号种类是与模式2对应的第2种类的情况下(S205中第2种类),上下 文控制部242使用1个邻接块(在编码顺序上最近的邻接块)的控制参数的值决定上下文值 (S207)。换言之,上下文控制部242使用不利用上块的已解码的控制参数的条件来决定上下 文。

另一方面,在信号种类是与模式3对应的第3种类的情况下(S205中第3种类),上下 文控制部242固定地决定上下文值(S208)。换言之,上下文控制部242使用对上块及左块的 已解码的控制参数都不利用的条件来决定上下文。

接着,上下文控制部242通过将在步骤S203中决定的上下文索引的基本值与在步 骤S204中决定的增量值相加,决定上下文索引值(S209)。

接着,二值算术解码部243使用由从上下文控制部242给出的上下文索引值表示的 上下文值,通过解码得到二值排列的要素的1个(S210)。

接着,在步骤S203~S210的处理的执行对于二值排列中包含的全部的要素没有完 成的情况下(S211中“否”),可变长解码部202对二值排列中包含的下个要素执行步骤S203 ~S210的处理。

另一方面,在对二值排列中包含的全部的要素完成了步骤S203~S210的处理的执 行的情况下(S211中“是”),多值化部241通过将通过重复1次以上上述步骤S203~S210的处 理而得到的二值排列251的1个以上的要素多值化,生成控制参数230(S212)。

根据以上,有关本实施方式的图像解码装置200在算术解码中,对第1种类的控制 参数利用上块决定上下文,对于第2种类及第3种类的控制参数不利用上块而决定上下文。

通过该结构,该图像解码装置200与划一地作为“利用基于邻接块的控制参数的值 的上下文模型”而利用左块和上块的情况相比能够削减存储器使用。由此,该图像解码装置 200能够在抑制画质的劣化的同时削减存储器使用量。

另外,多值化部241在二值排列251是flag等、要素数是1个情况下,即在1binary的 情况下,也可以将该二值排列251原样输出。

此外,除了上述说明以外,控制部101或201也可以经由未图示的信号线进行控制 各处理部的处理、或参照存储器的值的处理等。

此外,在上述说明中,上下文控制部142或242根据控制参数的信号种类切换模式1 ~模式3的3个模式,但也可以根据信号种类切换模式1~模式3中的两个模式。换言之,上下 文控制部142或242也可以根据控制参数的信号种类对利用/不利用上块条件进行切换。

此外,上下文控制部142或242也可以将这样的选择的上下文模型的切换方法(也 包括变更上下文模型增量值的情况,以下相同)根据规定的图像信息变更。例如,上下文控 制部142或242也可以根据对存储器保持量及各上下文的学习次数有影响的图像的横宽的 尺寸或采样格式等进一步切换该切换方针本身。

此外,在上述说明中,为了说明的简略化,上下文控制部142或242对利用/不利用 上块条件进行切换,但上下文控制部142或242也可以将上块原本不能利用的情况与其组合 而应用。例如,上下文控制部142或242也可以根据处理对象的切片是否是熵切片(entropy_ slice_flag是1还是0)来切换该切换方针本身。同样,在原本不能保证上邻接块的可利用性 的情况下,上下文控制部142或242也可以不利用上块而变更切换方针。

例如,如图8所示,上下文控制部142或242也可以根据规定的单位的参数的值 (S301),将上下文模型的决定方针通过第1决定规范(S302)和第2决定规范(S303)切换。这 里,所谓根据规定的单位的参数的值,如上述那样,是根据切片是否是entropy slice等。此 外,所谓第1决定规范,是进行图7所示的处理的规范。所谓第2决定规范,是不包含图7所示 的步骤S204的决定规范,例如是现有技术的决定规范。这与将上下文索引的增量值通过局 部的规定的单位的参数和比该单位大的单位的参数的值决定是等价的。

即,上下文控制部142或242也可以基于第1单位的控制参数的值,将在比第1单位 小的单位中应用的决定规范切换为其他决定规范。

图9A是用于说明上述映射信息和上下文索引之间的对应(assignment)的图。图9A 中表示信号mvd_l0,l1,lc的例子。另外,对于其他信号种类也是同样的。

图9A所示的指配901B是非专利文献1中使用的上下文索引的指配。14个偏移值0~ 13分配给P图片。并且,14个偏移值14~27被分配给B图片。另外,mvd_l0[][][0]和mvd_l0 [][][1]分别是运动矢量的差分中的各成分值(水平方向以及垂直方向)。当前研究中的 HEVC中,作为用于计算二值排列的第1个要素(binIdx=0)的二进制的上下文条件值(通过 condA和condL而被细化的条件),分配有3个偏移值0~2、3个偏移值7~9、3个偏移值14~ 16、以及3个偏移值21~23。并且,信号种类和上下文索引之间的关系与各个图像系列无关 而被设定为是固定的。

图9A所示的上下文索引的指配902B~904B是本实施方式的上下文索引值的指配。

指配902B表示使用模式2(不利用上块)时的上下文索引的分配(allocation)。这 种情况下,作为条件值不需要分配3个偏移值0~2等,偏移值0和1这两个足以。这是因为不 利用condA。因此,不需要针对图9A所示的阴影线的部分进行上下文索引的分配。因此,即使 与指配901B同样地对一个binIdx>0分配各4个的上下文索引,合计的上下文索引是0~23这 24个即足以。因此能够削减至少4个上下文。

指配903B表示使用模式3(不利用上块及左块这双方)时的上下文索引的分配。这 种情况下,作为条件值不需要分配0~2等3个,只分配0这一个即足以。这是因为不利用 condA也不利用condL。因此,不需要对图9A所示的阴影线的部分进行上下文索引的指配。因 此,合计的上下文索引是0~19这20个即足以。因此能够削减至少8个上下文。

指配904B是作为比前述的信号种类的块的单位大的单位而图像系列不包含B图片 地构成的情况、或者在仅使用前方参照的情况下利用的指配的例子。在此,仅使用前方参照 的情况指的是,图像系列仅包含I图片和P图片的情况、或者图像系列中包含的B图片仅使用 前方参照的情况。该情况下,作为上下文索引本来就不需要利用B图片用的上下文索引。这 是因为,在仅使用前方参照的情况下,不需要将上下文分为P图片用的上下文和B图片用的 上下文。

因此,作为上下文索引(相对值),如图9A所示,0~9的10个就足够。因此,至少削减 了18个上下文。即,削减了初始化对象及更新对象的上下文的数量。

另外,在此,以mvd为例进行了说明,多数使用B图片用的上下文和P图片用的上下 文的其他信号种类的上下文的指配也是同样的。

并且,图8中说明的切换标准也可以是指,针对图像系列的全部或者一部分 (predetermined unit),对应于其参数的种类,切换所使用的指配901B~904B。

这样,根据本实施方式,能够根据多个标准来切换上下文索引,而现有技术中是根 据静态的1个标准(利用上块和左块的标准)来分配上下文索引。因此,不仅能够削减存储器 使用量,还能够根据规定的单位的性质,仅切换所需的上下文的分配方针。

此外,上下文控制部142或242也可以根据图像系列的特征来变更所使用的决定规 范。例如,上下文控制部142或242也可以根据I图片的间隔(IntraPeriod的设定值)来变更 所使用的决定规范。

另外,这里上下文控制部142或242根据上述条件切换决定规范,但也可以切换是 否利用上块。

此外,上下文控制部142或242也可以基于在位置上上块的控制参数是否能够在编 码或解码时利用,来决定是否利用上块的控制参数。即,上下文控制部142或242也可以基于 处理对象的块位置,判断在解码时是否能够利用上块的控制参数,在不能利用上块的控制 参数的情况下,使用模式2或模式3决定上下文。进而,上下文控制部142或242也可以基于 TU、CU或PU块分割的树构造决定是否能够利用该上块的参照值。即,上下文控制部142或242 也可以根据处理对象的控制参数所属的数据单位的层级的深度判断在解码时是否能够利 用上块的控制参数。

图9B是表示HEVC标准中的图片(picture)、切片和块的关系的图。1个图片被分割 为1个以上的切片。在图9B所示的例子中,图片被分割为两个切片(SLICE1及SLICE2)。1个切 片由多个块301(例如treeblocks)构成。这里,块301在将切片分割为规定的尺寸的情况下, 作为某种控制单位是最大的单位,是将该单位作为层级分割的root(根)的情况下的该root 的尺寸。

在图9B所示的例子中,SLICE2由从块301A(startTb)开始、包括经由被涂阴影的块 301到右下角的块的多个块的1个序列构成。另外,图中被涂阴影的块是作为当前的处理对 象的1个块(Treeblock)。

各个块301由N×M像素构成。此外,1个块301在内部被递归地分割(典型地是4分 割)。即,1个Treeblock在概念上构成1个4叉树(QuadTree)。在图9B所示的块301B中,4分割 后的右上的块遍及2层级被递归地4分割。即,块301B从左上的0号到右下的9号,包括以规定 的观点分割的10个逻辑单元。

这里,所谓观点,是指关于编码单位(CU)的tree、或关于residual_data的Tree等, 以某个root为基点相互深度可能不同的多个树。这里,各种控制参数的值属于某个叶节点。

这里,实际在上块中包含的某个信号种类的控制参数的值“是否能够利用 (available)”,依存于该控制参数属于的树的种类。由此,上下文控制部142或242也可以按 照控制参数所属的树的种类来变更决定规范。这与变更为语法单位是等价的。例如,上下文 控制部142或242也可以对关于自适应滤波器的alf_param等的数据构造的数据使用不利用 上块的模式2或模式3,对于其他语法使用现有技术那样的上下文模型方针(模式1)。即,上 述第2种类或第3种类也可以是具有预先设定的数据构造的控制参数。此外,这意味着根据 邻接的定义的树的种类而变化。

实际是否能够利用该控制参数的值、或者在存储器使用量的削减中是否发生效 果,根据块的层级关系上的位置而不同。即,上下文控制部142或242也可以根据块的层级及 层级内的位置切换是否利用上块。

例如,假设图9B所示的块301B的各号码0~9是解码顺序。在此情况下,在将号码4 的块编码或解码的情况下,能够利用号码1的块及号码2的块的控制参数。

进而,从存储器使用量的削减的观点,上下文控制部142或242也可以如果是不为 Depth0的块、并且是自己的位置为纵向分割的第二个以上的要素则选择利用上块的模式1。 这里,所谓depth(深度),表示从root起的层级数。即,在将某个块规定为block[xn],[y0] [depth]的情况下,也可以根据处理对象的块是否是block[xn][(y0)+1][depth])成立的块 来变更决定规范。即,对图9B所示的号码4~9的块利用上块。这是因为,如果该树的编码或 解码是图示的号码顺序(从0开始、以9结束的顺序),则在号码4~9的块中显然能够利用上 块中包含的控制参数。进而,在这些块中,还有数据的保持为暂时就可以的优点。此外,这也 可以说是除了x、y坐标以外还根据包括层级的三维的位置决定上下文值。另外,也可以根据 x、y坐标及层级中的至少一个位置来决定上下文值。

此外,也能够将上层级的块的条件值作为下层级的块的条件值来利用(沿用)。同 样,也能够将下层级的块的条件值作为上层级的块的条件值来利用(沿用)。

将该情况进一步扩展,如图38中说明,以最小单位(例如4×4)为基准,也可以不保 持用于下一行的值,而使用以下的方法。该方法例如以32×32或64×64等比最小单位大的 单位保持条件值或用于导出条件值的值。该方法在下一行中,从上一行的2个块的值使用该 2个块与处理对象的块的位置关系通过内插或内分等计算与位于处理对象的块之上的块相 对的值。例如,该方法对于上一行以比最小单位(例如4×4)大的单位保持样本值,根据下一 行的块(例如4×4~64×64等)的位置,通过内分导出上一行的样本值。由此,虽然增加了计 算量,但是能够减少存储器使用量。这样,该方法与设想最坏的情况来以最小单位保持样本 值的情况相比,能够减少针对上一行的存储器使用量。例如以32×32的单位保持样本值的 情况下,与使用最小单位(4×4)的情况相比,存储器使用量为8分之1。

此外,例如split_coding_unit_flag是表示是否将块4分割的标志。关于该标志 (split_condig_unit_flag),可以对左块保持条件值condL,对上块不使用条件值(condA), 而根据当前块的层级深度来决定上下文。此外,根据信号种类而支配因素不是上及左而是 层级的情况下,上下文控制部142或242也可以将“层级”单独作为上下文的决定条件来使 用。即,上下文控制部142或242对于其他信号种类,也可以不参照上块及左块而使用层级来 决定上下文。

进而,上下文控制部142或242也可以考虑处理对象的块与其他切片的位置关系来 变更这些规范。以下,说明图9B所示的3个涂阴影的块301A、301B及301C的例子。

这里,块301A是开始块,左块及上块都包含在其他切片中。块301B的上块包含在别 的切片中。块301C的上块及左块都包含在与包含自身的块的切片相同的切片中。上下文控 制部142或242也可以根据这样的条件来切换规范。即,上下文控制部142或242(1)也可以根 据上块是否包含在其他切片中来切换规范,(2)也可以根据左块是否包含在其他切片中来 切换规范,(3)也可以根据它们双方来切换规范。换言之,上下文控制部142或242也可以在 处理对象的块属于切片边界的情况下,判断为在解码时不能利用上块的控制参数。由此,例 如在上方的切片1的解码处理没有结束的情况下,能够实现考虑到在切片2的内部中是否自 己能得到信息的解码处理。

以下,对层级化的处理单位(多层级块构造)进行说明。图10是用来说明层级化的 处理单位(多层级块构造)的说明图。

上述图像编码装置100将运动图像按照每个处理单位编码,图像解码装置200将编 码流按照每个处理单位解码。以将该处理单位分割为多个较小的处理单位、将该较小的处 理单位再分割为多个更小的处理单位的方式,进行层级化。另外,处理单位越小,该处理单 位所处的层级越深,处于低层,表示该层级的值较大。相反,处理单位越大,该处理单位所处 的层级越浅,处于高层,表示该层级的值较小。

在处理单位中,有编码单位(CU)、预测单位(PU)和变换单位(TU)。CU是最大由128 ×128像素构成的块,是相当于现有技术的宏块的单位。PU是画面间预测的基本单位。TU是 正交变换的基本单位,该TU的尺寸是与PU相同、或比PU小一个级别的尺寸。CU例如被分割为 4个子CU,其中的1个子CU包括与该子CU相同的尺寸的PU及TU(在此情况下,PU和TU处于相互 重叠的状态)。例如,该PU被进一步分割为4个子PU,TU也被进一步分割为4个子TU。另外,在 处理单位被分割为多个较小的处理单位的情况下,将该较小的处理单位称作子处理单位。 例如,在处理单位是CU的情况下,子处理单位是子CU,在处理单位是PU的情况下,子处理单 位是子PU,在处理单位是TU的情况下,子处理单位是子TU。

具体而言,是以下这样的。

图片被分割为切片。切片是最大编码单位的序列。最大编码单位的位置由最大编 码单位地址lcuAddr表示。

包括最大编码单位的各个编码单位被分割为4个编码单位。结果,构成编码单位的 大小的四叉树分割。编码单位的位置由以最大编码单位的左上端的样本(像素或系数)为起 点的编码单位索引cuIdx表示。

在许可编码单位的分割的情况下,将该编码单位作为预测单位处置。与编码单位 同样,预测单位的位置由以最大编码单位的左上端的样本为起点的预测单位索引puIdx表 示。

预测单位也可以包括多个分区(预测单位分区或子PU)。预测单位分区由以预测单 位的左上端的样本为起点的预测单位分区索引puPartIdx表示。

预测单位也可以包括多个变换单位。与编码单位同样,变换单位也可以被分割为4 个较小的尺寸的变换单位(子变换单位)。这许可残差信号的四叉树分割。变换单位的位置 由以预测单位的左上端的样本为起点的变换单位索引tuIdx表示。

这里,各处理单位的定义是以下这样的。

CTB(coding tree block,编码树块):用来确定正方形区域的四叉树分割的基本 单位。CTB具有正方形的多种多样的尺寸。

LCTB(largest coding tree block,最大编码树块):在切片中许可的最大的尺寸 的CTB。切片由不重复的多个LCTB构成。

SCTB(smallest coding tree block,最小编码树块):在切片中许可的最小的尺 寸的CTB。不许可将SCTB分割为更小的CTB。

PU(prediction unit,预测单位):用来确定预测处理的基本单位。PU的尺寸与不 被许可分割的CU的尺寸相同。在CU中,许可将CU分割为4个正方形区域,相对于此,在PU中, 能够将PU分割为任意的形状的多个分区。

TU(transform unit,变换单位):用来确定变换及量化的基本单位。

CU(coding unit,编码单位):与CTB相同。

LCU(largest coding unit,最大编码单位):与最大CTB相同。

SCU(smallest coding unit,最小编码单位):与最小CTB相同。

此外,量化参数包括德尔塔量化缩放参数(delta QP或QP delta)、量化偏移参数、 索引(Qmatrix select idc)及量化死区偏移参数中的至少1个。另外,索引是用来从多个量 化缩放矩阵中选择1个的。

德尔塔量化缩放参数(delta QP或QP delta)是应在变换系数中应用的量化缩放 参数、与由序列头或切片头指定的量化缩放参数(或在z扫描顺序上紧接着的之前的量化缩 放参数)的差。

量化偏移参数也称作量化偏移,是进行量化时的信号的取整方式的调整值(偏移 值)。因而,图像编码装置100在进行量化时,将其量化偏移编码,图像解码装置200将该编码 后的量化偏移解码。并且,图像解码装置200在将变换系数逆量化时,进行使用该量化偏移 的修正。

索引(Qmatrix select idc)也称作自适应量化矩阵,是表示从多个量化缩放矩阵 中使用哪个量化缩放矩阵的索引。此外,Qmatrix select idc在仅有1个量化缩放矩阵的情 况下表示是否使用该量化缩放矩阵。另外,自适应用量化矩阵能够以块单位(处理单位)控 制。

量化死区偏移参数也称作自适应死区,是用来将死区按照每个块自适应地变更的 控制信息。死区是频率系数通过量化成为0的幅度(在量化后为+1或-1的之前的幅度)。

另外,在上述说明中,作为模式3而叙述了使用预先设定的固定值作为上下文值的 例子,但只要是对上块及左块的控制参数都不利用的条件就可以,作为模式3也可以使用不 包含上块及左块的控制参数的条件的条件。例如,作为模式3,上下文控制部142或242也可 以根据控制参数所属的数据单位的层级的深度决定上下文。

(实施方式3)

在本实施方式中,对作为上述第1种类及第2种类(或第3种类)应利用怎样的信号 种类进行说明。

具体而言,本发明者对在图3(非专利文献2,9.3.3.1.1.1节)所示的信号种类中的 以下的各个信号种类进行了验证。对各个信号种类进行验证是因为,参数遍及多个分支,根 据关于1个信号种类的验证结果(模式1~模式3的哪个更好)难以进行其他信号种类的各模 式是否满足妥当性。

验证依据在JCTVC-E700,"Common test conditions and software reference configurations"(参照非专利文献3)中记载的结构(设定参数,及软件版本HM3.0)。此外, 是测试图像的长度全部被限制为49帧的结果。

有关本实施方式的图像编码方法及图像解码方法是关于CABAC的。由此,作为 Entropy Coding(熵编码)模式,使用作为SymbolMode的值是1(

本文发布于:2024-09-25 09:28:42,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/71691.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议