视频编码装置及视频编码方法

本发明可以用于任何多媒体数据编码中，并且更加具体地，本发明可以用于利用 图片间预测的图像和视频内容的编码中。

诸如MPEG-4 AVC/H.264和即将到来的HEVC(高效视频编码)的现有技术的视频编 码方案，使用根据先前编码或解码的参照图片的图片间预测来执行图像/视频内容的编码， 以便利用时间上连续的图片之间的信息冗余。在MPEG-4 AVC视频编码方案中，解码图片缓 冲器(DPB)中的参照图片通过以下方式进行管理：使用用于从DPB中去除编码顺序中的较早 图片的预定义的滑动窗方案，或者明确地使用编码视频比特流中的多个缓冲器管理信号来 对未使用的参照图片进行管理和移除。

HEVC视频编码方案的近来发展包括引入使用缓冲器描述的DPB管理。基本上，缓冲 器描述定义被保持/包括在DPB中的图片而不是定义要被从DPB移除的图片。缓冲器描述是 指示存储在DPB中的所有参照图片的唯一图片标识符的列表。在图片的编码/解码的开始处 激活缓冲器描述。没有包括在活动的缓冲器描述中的图片被从DPB移除。缓冲器描述相较于 传统方法的益处包括关于传输/传送损失的改善的稳健性以及不存在图片的简化处理。

在编码视频序列中经常在多个图片之间重复图片参照结构。例如，如图1所示，低 延迟编码结构可以使用尺寸为四的周期性集。

在这一示例中，图片编号(0到12)指示编码顺序和图片的显示/输出顺序。图片P0、 P4、P8和P12构成图片的第一时间层并且被以最高的画质进行编码(例如通过最强烈地应用 量化)。图片P2、P6和P10构成第二时间层并且被利用比第一层低的画质进行编码。图片P1、 P3、P5、P7、P9和P11构成第三时间层并且被利用最低的画质进行编码。在这样的周期性集 结构中，位于其集内相同的相对位置中的图片(例如，P1、P5和P9)经常使用相同的相对图 片参照结构。例如，P5使用P4和P2作为参照图片，而P9使用P8和P6作为参照图片。

为了适应诸如上面的示例性结构的周期性集结构，引入了缓冲器描述的周期性 信号传送。周期性缓冲器描述通过指定参照图片关于要被编码/解码的目标图片的时间距 离/位置来列出存储在DPB中的参照图片。在现有技术中，在图片参数集合(PPS)中对周期性 缓冲器描述进行信号传送一次，并且然后在周期性集内具有相同的相对位置的图片的切 片报头中被重复地参照。例如，指定具有{-1，-3}相对位置的周期性缓冲器描述可以用在P5 中用于指定{P4，P2}作为参照图片并且由P9使用以便指定{P8，P6}作为参照图片。

图2示出了现有技术中周期性缓冲器描述的信号传送结构的示例。在图片参数集 合中指定多个周期性缓冲器描述。每一个PPS由唯一的“PPS_id”参数识别。在切片报头中， “PPS选择”参数识别在切片的编码/解码期间被参照的PPS。在图2的示例中，选择具有PPS_ id＝0的PPS。多个“BD更新”参数选择预定义的缓冲器描述中的周期性缓冲器描述。在图2的 示例中，选择缓冲器描述BD1。此外，“BD更新”参数还包括缓冲器描述修改命令。缓冲器修改 命令将图片标识符指派到选择的缓冲器描述内的选择的缓冲器元素。这里指定唯一/绝对 的图片标识符来代替相对图片标识符。在图2的示例中，唯一的图片PG被指派到缓冲器描述 BD1内的缓冲器元素BE0。这一修改仅应用于当前目标切片。为了在随后的切片中使用相同 的修改，这些随后的切片的切片报头应该相应地指定“BD更新”参数。

[发明要解决的技术问题]

现有技术的周期性缓冲器描述的一个问题在于用于修改周期性缓冲器描述的参 数仅被应用一次(即，应用在要被编码/解码的当前切片中)。结果，需要对相同的修改进行 信号传送多次以便多于一次地对其进行使用。

现有技术的另一问题在于在图片参数集合(PPS)中对用于创建周期性缓冲器描述 的参数进行信号传送。然而，周期性图片集结构通常在大量图片上并且经常在整个编码 视频序列上使用。因此，在整个编码视频序列中，相同的参数会在多个图片参数集合中被重 复地进行信号传送。这样重复的信号传送在编码视频比特流中不必要地占用比特。

[用于解决问题的手段]

为了解决上面的问题，本发明引入了用于对编码视频比特流中的周期性缓冲器描 述进行信号传送的新的方法和装置。

本发明的新颖性在于，其提供了用于按照层级的方式创建和修改周期性缓冲器描 述的手段，从而实现与编码视频比特流中被层级构造的信号传送单元(例如，网络抽象层单 元)的改善的协调。

本发明提供一种视频编码装置，包括：第一写入单元，将预定的多个缓冲器描述写 入到编码视频比特流的序列参数集合中；第二写入单元，将用于选择并且修改所述多个缓 冲器描述中的一个缓冲器描述的多个更新参数，写入到所述编码视频比特流的切片报头 中；以及生成单元，使用所述切片报头和修改的所述缓冲器描述，对切片进行编码并生成所 述编码视频比特流；所述更新参数包括：用于选择缓冲器描述的缓冲器描述标识符；用于选 择所选择的所述缓冲器描述内的缓冲器要素的缓冲器要素标识符，其中缓冲器要素与唯一 的参照图片相对应；以及用于重新指派与所述所选择的缓冲器描述内的选择的所述缓冲器 要素相关联的唯一的参照图片的图片标识符，所述生成单元，在根据所述缓冲器描述标识 符选择的所述缓冲器描述内，使用所述图片标识符，重新指派与根据所述缓冲器要素标识 符选择的所述缓冲器要素相关联的唯一的参照图片，由此修改所述缓冲器描述。

本发明还提供一种视频编码方法，包括：第一写入步骤，将预定的多个缓冲器描述 写入到编码视频比特流的序列参数集合中；第二写入步骤，将用于选择并且修改所述多个 缓冲器描述中的一个缓冲器描述的多个更新参数，写入到所述编码视频比特流的切片报头 中；以及生成步骤，使用所述切片报头和修改的所述缓冲器描述，对切片进行编码并生成所 述编码视频比特流；所述更新参数包括：用于选择缓冲器描述的缓冲器描述标识符；用于选 择所选择的所述缓冲器描述内的缓冲器要素的缓冲器要素标识符，其中缓冲器要素与唯一 的参照图片相对应；以及用于重新指派与所述所选择的缓冲器描述内的选择的所述缓冲器 要素相关联的唯一的参照图片的图片标识符，所述生成步骤，在根据所述缓冲器描述标识 符选择的所述缓冲器描述内，使用所述图片标识符，重新指派与根据所述缓冲器要素标识 符选择的所述缓冲器要素相关联的唯一的参照图片，由此修改所述缓冲器描述。

[发明效果]

本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲 器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。

图1示出了图片参照结构的示例。

图2是表示根据现有技术用于创建和修改编码视频比特流中的缓冲器描述的参数 的位置的图。

图3是表示本发明中的视频/图像编码装置的方框图。

图4是表示根据本发明第一实施例的图片编码处理的流程图。

图5A是表示在本发明第一实施例的示例实施例中用于创建和修改编码视频比特 流中的缓冲器描述的参数的位置的句法图。

图5B是表示在本发明第一实施例的示例实施例中用于创建和修改编码视频比特 流中的缓冲器描述的参数的位置的句法图。

图6是表示本发明中的视频/图像解码装置的结构的方框图。

图7是表示根据本发明第一实施例的图片解码处理的流程图。

图8是表示根据本发明第二实施例的图片编码处理的流程图。

图9A是在本发明第二实施例的示例实施例中用于创建和修改编码视频比特流中 的缓冲器描述的参数的位置的句法图。

图9B是在本发明第二实施例的示例实施例中用于创建和修改编码视频比特流中 的缓冲器描述的参数的位置的句法图。

图10是表示根据本发明第二实施例的图片解码处理的流程图。

图11是表示根据本发明第三实施例的图片编码处理的流程图。

图12A是表示缓冲器描述在SPS中的示例位置的表。

图12B是表示用于选择并且修改切片报头中的缓冲器描述的更新参数的示例位置 的表。

图12C是表示用于选择并且修改切片报头中的缓冲器描述的更新参数的示例位置 的表。

图13是表示在本发明第三实施例的示例实施例中用于创建并且修改编码视频比 特流中的缓冲器描述的参数的位置的句法图。

图14是表示根据本发明第三实施例的图片解码处理的流程图。

图15示出了用于实现内容分发服务的内容提供系统的整体配置。

图16示出了数字广播系统的整体配置。

图17示出了说明电视机的配置示例的方框图。

图18示出了说明信息再现/记录单元的配置示例的方框图，该信息再现/记录单元 从作为光盘的记录介质读取信息并且在作为光盘的记录介质上写入信息。

图19示出了作为光盘的记录介质的配置示例。

图20A示出了蜂窝电话的示例。

图20B是表示蜂窝电话的配置示例的方框图。

图21说明了复用数据的结构。

图22示意性示出了如何在复用数据中复用每一个流。

图23更加详细地示出了如何将视频流存储在PES分组流中。

图24示出了复用数据中的TS分组和源分组的结构。

图25示出了PMT的数据结构。

图26示出了复用数据信息的内部结构。

图27示出了流属性信息的内部结构。

图28示出了用于识别视频数据的步骤。

图29示出了用于实现根据每一个实施例的运动图片编码方法和运动图片解码方 法的集成电路的配置示例。

图30示出了用于在驱动频率之间进行切换的配置。

图31示出了用于识别视频数据并且在驱动频率之间进行切换的步骤。

图32示出了其中使视频数据标准与驱动频率相关联的查表的示例。

图33A是表示用于共享信号处理单元的模块的配置示例的图。

图33B是表示用于共享信号处理单元的模块的另一配置示例的图。

下面将参照附图来描述根据本发明方面的图像解码装置和图像编码装置。

注意到，下面描述的实施例示出了本发明的具体示例。在下面的示例性实施例中 示出的数字值、形状、材料、结构元件、该结构元件的布置和连接、步骤以及该步骤的处理顺 序等等只是示例。因此，在下面的示例实施例中的结构元件中间，将在定义本发明概念的最 广泛部分的任一独立权利要求中没有引述的结构元件描述为任意结构元件。

下面描述本发明的三个实施例。对于本领域的普通技术人员显而易见的是，可以 执行所述实施例的组合以便进一步增加周期性缓冲器描述的适用性和灵活性。

(实施例1)

(编码装置)

图3是表示本发明中的视频/图像编码装置200的结构的方框图。

视频编码装置200是逐块地对输入视频/图像比特流进行编码以便生成编码输出 比特流的装置。如图3所示，图像编码装置200包括变换单元201、量化单元202、逆量化单元 203、逆变换单元204、块存储器205、帧存储器206、帧内预测单元207、帧间预测单元208、熵 编码单元209、帧存储器控制单元210。

将输入视频输入到加法器，并且将加和的值输出到变换单元201。变换单元201将 加和的值变换为频率系数，并且将产生的频率系数输出到量化单元202。量化单元202对输 入的频率系数进行量化，并且将产生的量化值输出到逆量化单元203和熵编码单元209。熵 编码单元209对从量化单元202输出的量化值进行编码，并且输出比特流。

逆量化单元203对从量化单元202输出的采样值进行逆量化，并且将频率系数输出 到逆变换单元204。逆变换单元204对频率系数执行逆变换以便将该频率系数变换为比特流 的采样值，并且将产生的采样值输出到加法器。加法器将从逆变换单元204输出的比特流的 采样值加和到从帧间/帧内预测单元207，208输出的预测的视频/图像值，并且将产生的加 和值输出到块存储器205或者帧存储器206(经过帧存储器控制单元210)，用于进一步预测。 帧间/帧内预测单元207、208在存储在块存储器205或者帧存储器206中的重构的视频/图像 内进行搜索，并且估计例如与输入视频/图像最类似的视频/图像区域用于预测。

帧存储器控制器单元210管理存储在帧存储器206中的重构的图片。其也发送帧存 储器控制参数以便由熵编码单元208写入到输出比特流中。

(编码处理)

图4是表示根据本发明第一实施例的图片编码处理400的流程图。

步骤401确定要在编码视频序列中的多个图片上使用的多个预定的周期性缓冲器 描述。步骤402然后将所述多个缓冲器描述写入编码视频流的序列参数集合中。接下来，步 骤403确定要对于所述多个缓冲器描述中的缓冲器描述的子集执行的多个修改。步骤404然 后将多个更新参数写入所述编码视频比特流的图片参数集合中用于执行对于所述缓冲器 描述的子集的修改。在目标图片的编码期间，步骤405将缓冲器描述标识符写入所述编码视 频比特流中的所述目标图片的报头中用于选择多个修改的缓冲器描述中的一个缓冲器描 述。步骤406然后使用所述图片参数集合和选择的缓冲器描述来将所述目标图片编码在所 述编码视频比特流中。

在步骤404中写入的所述更新参数包括用于选择缓冲器描述的缓冲器描述标识 符，用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素标识符，以及用于重新指 派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相关联的图片 标识符。缓冲器描述由多个缓冲器要素构成，其中每一个缓冲器要素与存储在帧存储器中 的唯一的参照图片相对应。

在步骤404中写入的所述更新参数可以附加地包括标志/参数以便指示没有执行 缓冲器描述修改并且在序列参数集合中定义的所述缓冲器描述为原样。当在所述编码视频 比特流中存在多个图片参数时，在不同的图片参数集合中指定的缓冲器描述修改彼此独 立。即，当第二图片参数集合为活动(在使用中)时，不应用在第二图片参数集合中指定的修 改，并且在序列参数集合中定义的初始缓冲器描述的顶部上应用在所述活动的第二图片参 数集合中指定的修改。

在步骤404中写入的所述更新参数包括多个参数以便创建/定义除了在序列参数 集合中定义的多个缓冲器描述之外的新的附加的缓冲器描述。

在本发明的可能实现中，在步骤402中写入的所述序列参数集合包括指示所述多 个缓冲器描述是否存在于所述序列参数集合中的标志。当缓冲器描述没有存在于所述序列 参数集合中时，所述图片参数集合中的所述更新参数包括用于创建一个或多个缓冲器描述 的多个参数。

(编码发明的效果)

本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲 器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。使用本发 明，去除了用于创建和修改周期性缓冲器描述的编码视频比特流中的相同参数的冗余重 复。

(句法图)

图5A和5B分别是表示在本发明示例实施例中用于创建并且修改编码视频比特流 中的缓冲器描述的参数的位置的句法图。

在图5A中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数 集合使用唯一的SPS_id参数由图片参数集合参照。用于更新所述多个缓冲器描述的参数位 于图片参数集合中。在编码图片的图片报头中，使用唯一的SPS_id参数来参照图片参数集 合。图片由图片报头和一个或多个切片(或者子图片)构成。用于选择多个修改的缓冲器描 述中的一个缓冲器描述的缓冲器描述选择参数位于所述编码图片的所述图片报头中。

在图5B中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数 集合使用唯一的SPS_id参数由图片参数集合参照。用于更新所述多个缓冲器描述的参数位 于图片参数集合中。在编码切片(或者子图片单元)的切片报头(或者子图片单元报头)中， 使用唯一的SPS_id参数来参照图片参数集合。用于选择多个修改的缓冲器描述中的一个缓 冲器描述的缓冲器描述选择参数位于所述切片报头(或者子图片单元报头)中。

在本发明的可能实现中，子图片单元的示例包括片段、熵切片以及构成处理子图 片划分的波阵面的一组块。

(解码装置)

图6是表示本发明中的视频解码装置300的结构的方框图。

视频解码装置300是用于逐块地对输入编码比特流进行解码并且输出视频/图像 的装置，并且如图6所示包括熵解码单元301、逆量化单元302、逆变换单元303、块存储器 304、帧存储器305、帧内预测单元306、帧间预测单元307、帧存储器控制单元308。

将输入编码比特流输入到熵解码单元301。在将输入编码比特流输入到熵解码单 元301之后，熵解码单元301对输入编码比特流进行解码，并且将解码值输入到逆量化单元 302。逆量化单元302对解码值进行逆量化，并且将频率系数输出到逆变换单元303。逆变换 单元303对频率系数执行逆频率变换以便将频率系数变换为采样值，并且将产生的像素值 输出到加法器。加法器将产生的像素值加和到从帧内/帧间预测单元306、307输出的预测的 视频/图像值，并且将产生的值输出到显示器，并且将产生的值输出到块存储器304或者帧 存储器305(经过帧存储器控制单元308)用于进一步预测。此外，帧内/帧间预测单元306、 307在存储在块存储器304或者帧存储器305中的视频/图像内进行搜索，并且估计例如与解 码的视频/图像最类似的视频/图像区域用于预测。

帧存储器控制单元308管理存储在帧存储器305中的重构的图片。其从熵解码单元 301读取帧存储器控制参数并且相应地执行存储器控制操作。

(解码处理)

图7是表示根据本发明第一实施例的图片解码处理500的流程图。

步骤501从编码视频比特流的序列参数集合解析多个缓冲器描述。接下来，步骤 502从所述编码视频比特流的图片参数集合解析多个更新参数用于修改所述多个缓冲器描 述中的缓冲器描述的子集。步骤503然后从所述编码视频比特流中的图片的报头解析缓冲 器描述标识符用于选择多个修改的缓冲器描述中的一个缓冲器描述。最后，步骤504使用所 述图片参数集合和选择的缓冲器描述来对来自所述编码视频比特流的图片进行解码。

(解码发明的效果)

本发明的效果在于使能以改善的编码效率以及缓冲器描述数据的协调设计进行 编码的编码视频比特流的解码。

(实施例2)

(编码装置)

图3是表示本发明中视频/图像编码装置200的结构的方框图。

视频编码装置200是用于逐块地对输入视频/图像比特流进行编码以便生成编码 输出比特流的装置。如图3所示，图像编码装置200包括变换单元201、量化单元202、逆量化 单元203、逆变换单元204、块存储器205、帧存储器206、帧内预测单元207、帧间预测单元 208、熵编码单元209、帧存储器控制单元210。

将输入视频输入到加法器，并且将加和的值输出到变换单元201。变换单元201将 加和的值变换为频率系数，并且将产生的频率系数输出到量化单元202。量化单元202对输 入的频率系数进行量化，并且将产生的量化值输出到逆量化单元203和熵编码单元209。熵 编码单元209对从量化单元202输出的量化值进行编码，并且输出比特流。

逆量化单元203对从量化单元202输出的采样值进行逆量化，并且将频率系数输出 到逆变换单元204。逆变换单元204对频率系数执行逆变换以便将该频率系数变换为比特流 的采样值，并且将产生的采样值输出到加法器。加法器将从逆变换单元204输出的比特流的 采样值加和到从帧间/帧内预测单元207，208输出的预测的视频/图像值，并且将产生的加 和值输出到块存储器205或者帧存储器206(经过帧存储器控制单元210)，用于进一步预测。 帧间/帧内预测单元207、208在存储在块存储器205或者帧存储器206中的重构的视频/图像 内进行搜索，并且估计例如与输入视频/图像最类似的视频/图像区域用于预测。

帧存储器控制器单元210管理存储在帧存储器206中的重构的图片。其也发送帧存 储器控制参数以便由熵编码单元208写入到输出比特流中。

(编码处理)

图8是表示根据本发明第二实施例的图片编码处理600的流程图。

步骤601确定要在编码视频序列中的多个图片上使用的多个预定的周期性缓冲器 描述。步骤602然后将所述多个缓冲器描述写入编码视频流的序列参数集合中。接下来，步 骤603选择所述多个缓冲器描述中的一个缓冲器描述并且确定要对于选择的缓冲器描述执 行的多个修改。步骤604然后将多个更新参数写入所述编码视频比特流的图片参数集合中 用于选择并且修改选择的缓冲器描述。最后，步骤605使用所述图片参数集合和修改的缓冲 器描述来将一个或多个目标图片编码在所述编码视频比特流中。

在步骤604中写入图片参数集合的所述更新参数包括用于选择缓冲器描述的缓冲 器描述标识符，用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素标识符，以及 用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择的缓冲器要素相 关联的图片标识符。缓冲器描述由多个缓冲器要素构成，其中每一个缓冲器要素与存储在 帧存储器中的唯一的参照图片相对应。

在步骤604中写入的所述更新参数可以附加地包括标志/参数以便指示选择的缓 冲器描述是否被修改。当所述标志指示没有修改选择的缓冲器描述时，根据所述选择的缓 冲器描述在序列参数集合中的初始定义来使用所选择的缓冲器描述。根据本发明第二实施 例，所述图片参数集合中的所述更新参数(步骤604)仅选择并且修改在所述序列参数集合 中定义的所述多个缓冲器描述中的一个缓冲器描述。

当多个图片参数集合存在于所述编码视频比特流中时，在不同的图片参数集合中 指定的缓冲器描述修改彼此独立。即，不同的图片参数集合可以选择不同的缓冲器描述；而 且，当第二图片参数集合为活动(在使用中)时，不应用在第一图片参数集合中指定的修改， 并且在序列参数集合中定义的传输缓冲器描述的顶部上应用在所述活动的第二图片参数 集合中指定的修改。

在本发明的可能实现中，在步骤602中写入的所述序列参数集合包括指示所述多 个缓冲器描述是否存在于所述序列参数集合中的标志。当缓冲器描述没有存在于所述序列 参数集合中时，所述图片参数集合中的所述更新参数包括用于创建缓冲器描述的多个参 数。

(编码发明的效果)

本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲 器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。使用本发 明，去除了用于创建和修改周期性缓冲器描述的编码视频比特流中的相同参数的冗余重 复。

(句法图)

图9A和9B分别是表示在本发明示例实施例中用于创建并且修改编码视频比特流 中的缓冲器描述的参数的位置的句法图。

在图9A中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数 集合使用唯一的SPS_id参数由图片参数集合参照。用于选择并且修改所述多个缓冲器描述 中的一个缓冲器描述的参数位于图片参数集合中。在图片报头中，使用唯一的SPS_id参数 来参照图片参数集合。包括多个切片(或者子图片单元)的多个图片可以参照与唯一的SPS_ id值相关联的相同的图片参数集合。当在图片报头中参照图片参数集合时，由参照的图片 参数集合选择和修改的缓冲器描述变为活动(在使用中)。

在图9B中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数 集合使用唯一的SPS_id参数由图片参数集合参照。用于选择并且修改所述多个缓冲器描述 中的一个缓冲器描述的参数位于图片参数集合中。在编码切片(或者子图片单元)的切片报 头(或者子图片单元报头)中，使用唯一的SPS_id参数来参照图片参数集合。多个切片可以 参照与唯一的SPS_id值相关联的相同的图片参数集合。当在切片报头中参照图片参数集合 时，由参照的图片参数集合选择和修改的缓冲器描述变为活动(在使用中)。

在本发明的可能实现中，子图片单元的示例包括片段、熵切片以及构成处理子图 片划分的波阵面的一组块。

(解码装置)

图6是表示本发明中的视频解码装置300的结构的方框图。

视频解码装置300是用于逐块地对输入编码比特流进行解码并且输出视频/图像 的装置，并且如图6所示包括熵解码单元301、逆量化单元302、逆变换单元303、块存储器 304、帧存储器305、帧内预测单元306、帧间预测单元307、帧存储器控制单元308。

将输入编码比特流输入到熵解码单元301。在将输入编码比特流输入到熵解码单 元301之后，熵解码单元301对输入编码比特流进行解码，并且将解码值输入到逆量化单元 302。逆量化单元302对解码值进行逆量化，并且将频率系数输出到逆变换单元303。逆变换 单元303对频率系数执行逆频率变换以便将频率系数变换为采样值，并且将产生的像素值 输出到加法器。加法器将产生的像素值加和到从帧内/帧间预测单元306、307输出的预测的 视频/图像值，并且将产生的值输出到显示器，并且将产生的值输出到块存储器304或者帧 存储器305(经过帧存储器控制单元308)用于进一步预测。此外，帧内/帧间预测单元306、 307在存储在块存储器304或者帧存储器305中的视频/图像内进行搜索，并且估计例如与解 码的视频/图像最类似的视频/图像区域用于预测。

帧存储器控制单元308管理存储在帧存储器305中的重构的图片。其从熵解码单元 301读取帧存储器控制参数并且相应地执行存储器控制操作。

(解码处理)

图10是表示根据本发明第二实施例的图片解码处理700的流程图。

步骤701从编码视频比特流的序列参数集合解析多个缓冲器描述。接下来，步骤 702从所述编码视频比特流的图片参数集合解析多个更新参数用于选择并且修改所述多个 缓冲器描述中的一个缓冲器描述。步骤703使用所述图片参数集合和修改的缓冲器描述来 对来自所述编码视频比特流的一个或者多个图片进行解码。

(解码发明的效果)

本发明的效果在于使能以改善的编码效率以及缓冲器描述数据的协调设计进行 编码的编码视频比特流的解码。

(实施例3)

(编码装置)

图3是表示本发明中的视频/图像编码装置200的结构的方框图。

视频编码装置200是逐块地对输入视频/图像比特流进行编码，以便生成编码输出 比特流的装置。如图3所示，图像编码装置200包括变换单元201、量化单元202、逆量化单元 203、逆变换单元204、块存储器205、帧存储器206、帧内预测单元207、帧间预测单元208、熵 编码单元209、帧存储器控制单元210。

将输入视频输入到加法器，并且将加和的值输出到变换单元201。变换单元201将 加和的值变换为频率系数，并且将产生的频率系数输出到量化单元202。量化单元202对输 入的频率系数进行量化，并且将产生的量化值输出到逆量化单元203和熵编码单元209。熵 编码单元209对从量化单元202输出的量化值进行编码，并且输出比特流。

逆量化单元203对从量化单元202输出的采样值进行逆量化，并且将频率系数输出 到逆变换单元204。逆变换单元204对频率系数执行逆变换以便将该频率系数变换为比特流 的采样值，并且将产生的采样值输出到加法器。加法器将从逆变换单元204输出的比特流的 采样值加和到从帧间/帧内预测单元207，208输出的预测的视频/图像值，并且将产生的加 和值输出到块存储器205或者帧存储器206(经过帧存储器控制单元210)，用于进一步预测。 帧间/帧内预测单元207、208在存储在块存储器205或者帧存储器206中的重构的视频/图像 内进行搜索，并且估计例如与输入视频/图像最类似的视频/图像区域用于预测。

帧存储器控制器单元210管理存储在帧存储器206中的重构的图片。其也发送帧存 储器控制参数以便由熵编码单元208写入到输出比特流中。

(编码处理)

图11是表示根据本发明第三实施例的图片编码处理800的流程图。

步骤801确定要在编码视频序列中的多个图片上使用的多个预定的周期性缓冲器 描述。步骤802然后将所述多个缓冲器描述(图12A的1300)写入编码视频流的序列参数集合 中。缓冲器描述是在当前和未来的编码图片的解码处理中使用的参照图片(存储在缓冲器 中)的绝对描述。缓冲器描述的另一可能名称是参照图片集合(RPS)。接下来，步骤803选择 所述多个缓冲器描述(RPS)中的一个缓冲器描述(RPS)并且确定要对选择的缓冲器描述执 行的多个修改。步骤804然后将多个更新参数(例如，图12B和图12C的1302、1304和1308)写 入所述编码视频比特流的切片报头中用于选择并且修改所选择的缓冲器描述。最后，步骤 805使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中。

在步骤804中写入的所述更新参数包括用于选择缓冲器描述的缓冲器描述标识符 (图12C的1304)，被识别用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素，以及 用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的所述选择的缓冲器要 素相关联的图片标识符(图12C的1308)。缓冲器描述由多个缓冲器要素构成，其中每一个缓 冲器要素与存储在帧存储器中的唯一的参照图片相对应。

在步骤804中写入切片报头中的所述更新参数可以附加地包括标志/参数以便指 示是否修了选择的缓冲器描述。当所述标志指示没有修改选择的缓冲器描述，则根据其在 序列参数集合中的初始定义来使用所述选择的缓冲器描述。根据本发明第三实施例，所述 切片报头中的所述更新参数(步骤804)仅选择并且修改在所述序列参数集合中定义的所述 多个缓冲器描述中的一个缓冲器描述。

在不同的切片报头中指定的缓冲器描述修改彼此独立。即，在切片报头中指定的 修改仅应用于相关联的切片的编码/解码而不应用于任何其它切片；并且，在所述序列参数 集合中定义的初始缓冲器描述的顶部上应用在每一个活动的切片报头中指定的修改。

在本发明的可能实现中，在步骤802中写入的所述序列参数集合包括指示所述多 个缓冲器描述是否存在于所述序列参数集合中的标志。当缓冲器描述没有存在于所述序列 参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器描述的多个参数(例 如，图12C的1310)。

(编码发明的效果)

本发明的效果在于编码视频比特流中缓冲器描述数据的编码效率改善以及缓冲 器描述数据单元与编码视频比特流中的层级构造的信号传送单元的设计协调。使用本发 明，去除了用于创建和修改周期性缓冲器描述的编码视频比特流中的相同参数的冗余重 复。

(句法图)

图13是表示在本发明示例实施例中用于创建并且修改编码视频比特流中的缓冲 器描述的参数的位置的句法图。

在图13中，用于定义/创建多个缓冲器描述的参数位于序列参数集合中。序列参数 集合使用唯一的SPS_id参数由图片参数集合参照。编码切片(或者子图片单元)的切片报头 (或者子图片单元报头)使用唯一的SPS_id 参数来参照图片参数集合及其相关联的序列参 数集合。用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的参数位于所述切片 报头(或者子图片单元报头)中。在本发明的可能实现中，子图片单元的示例包括片段、熵切 片以及构成处理子图片划分的波阵面的一组块。

(解码装置)

图6是表示本发明中的视频解码装置300的结构的方框图。

视频解码装置300是用于逐块地对输入编码比特流进行解码并且输出视频/图像 的装置，并且如图6所示包括熵解码单元301、逆量化单元302、逆变换单元303、块存储器 304、帧存储器305、帧内预测单元306、帧间预测单元307、帧存储器控制单元308。

将输入编码比特流输入到熵解码单元301。在将输入编码比特流输入到熵解码单 元301之后，熵解码单元301对输入编码比特流进行解码，并且将解码值输入到逆量化单元 302。逆量化单元302对解码值进行逆量化，并且将频率系数输出到逆变换单元303。逆变换 单元303对频率系数执行逆频率变换以便将频率系数变换为采样值，并且将产生的像素值 输出到加法器。加法器将产生的像素值加和到从帧内/帧间预测单元306、307输出的预测的 视频/图像值，并且将产生的值输出到显示器，并且将产生的值输出到款存储器304或者帧 存储器305(经过帧存储器控制单元308)用于进一步预测。此外，帧内/帧间预测单元306、 307在存储在块存储器304或者帧存储器305中的视频/图像内进行搜索，并且估计例如与解 码的视频/图像最类似的视频/图像区域用于预测。

帧存储器控制单元308管理存储在帧存储器305中的重构的图片。其从熵解码单元 301读取帧存储器控制参数并且相应地执行存储器控制操作。

(解码处理)

图14是表示根据本发明第三实施例的图片解码处理900的流程图。

步骤901从编码视频比特流的序列参数集合解析多个缓冲器描述(例如，图12A的 1300)。缓冲器描述是在当前和未来的编码图片的解码处理中使用的参照图片(存储在缓冲 器中)的绝对描述。缓冲器描述的另一可能名称是参照图片集合(RPS)。接下来，步骤902从 所述编码视频比特流的切片报头解析多个更新参数(例如，图12B和图12C的1302、1304和 1308)用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述。步骤903使用所述切片 报头和修改的缓冲器描述来对来自所述编码视频比特流的切片进行解码。

在步骤902中从切片报头解析的所述更新参数包括用于选择缓冲器描述的缓冲器 描述标识符(例如，图12C的1304)、用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器 要素标识符以及用于重新指派唯一的参照图片以便与所述所选择的缓冲器描述内的选择 的缓冲器要素相关联的图片标识符(例如，图12C的1308)。缓冲器描述由多个缓冲器要素构 成，其中每一个缓冲器要素与存储在图片存储器中的唯一的参照图片相对应。

在步骤902中写入切片报头中的所述更新参数可以附加地包括用于指示是否修改 选择的缓冲器描述的标志/参数(例如，图12B的1302)。当所述标志指示没有修改选择的缓 冲器描述，则根据其在序列参数集合中的初始定义来使用所述选择的缓冲器描述。根据本 发明的第三实施例，所述切片报头中的所述更新参数(步骤902)仅选择并且修改在所述序 列参数集合中定义的所述多个缓冲器描述中的一个缓冲器描述。

在不同的切片报头中指定的缓冲器描述修改彼此独立。即，在切片报头中指定的 修改仅应用于相关联的切片的编码/解码并且不应用于任何其它切片；而且，在所述序列参 数集合中定义的初始缓冲器描述的顶部上应用在每一个活动的切片报头中指定的修改。

在本发明的可能实现中，在步骤901中解析的所述序列参数集合包括用于指示所 述多个缓冲器描述是否存在于所述序列参数集合中的标志(例如，图12A的1312)。当缓冲器 描述没有存在于所述序列参数集合中时，切片报头中的所述更新参数包括用于创建缓冲器 描述的多个参数(例如，图12C的1310)。

(解码发明的效果)

本发明的效果在于使能以改善的编码效率以及缓冲器描述数据的协调设计进行 编码的编码视频比特流的解码。

如上所述，根据本发明的对视频进行编码的方法包括：将多个预定的缓冲器描述 写入编码视频比特率的序列参数集合中；将多个更新参数写入所述编码视频比特流的图片 参数集合中用于修改所述多个缓冲器描述中的缓冲器描述的子集；将缓冲器描述标识符写 入所述编码视频比特流中的图片的报头中用于选择多个修改的缓冲器描述中的一个缓冲 器描述；使用所述图片参数集合以及选择的缓冲器描述将所述图片编码在所述编码视频比 特流中。

而且，一种对视频进行解码的方法包括：从编码视频比特流的序列参数集合解析 多个缓冲器描述；从所述编码视频比特流的图片参数集合解析多个更新参数用于修改所述 多个缓冲器描述中的缓冲器描述的子集；从所述编码视频比特流中的图片的报头解析缓冲 器描述标识符用于选择多个修改的缓冲器描述中的一个缓冲器描述；使用所述图片参数集 合以及选择的缓冲器描述来对来自所述编码视频比特流的所述图片进行解码。

而且，一种对视频进行编码的方法包括：将多个预定的缓冲器描述写入编码视频 比特流的序列参数集合中；将多个更新参数写入所述编码视频比特流的图片参数集合中用 于选择并且修改所述多个缓冲器描述中的一个缓冲器描述；使用所述图片参数集合和修改 的缓冲器描述来将一个或多个图片编码在所述编码视频比特流中。

而且，一种对视频进行解码的方法包括：从编码视频比特流的序列参数集合解析 多个缓冲器描述；从所述编码视频比特流的图片参数集合解析多个更新参数用于选择并且 修改所述多个缓冲器描述中的一个缓冲器描述；使用所述图片参数集合以及修改的缓冲器 描述来对来自所述编码视频比特流的一个或者多个图片进行解码。

而且，一种对视频进行编码的方法包括：将多个预定的缓冲器描述写入编码视频 比特流的序列参数集合中；将多个更新参数写入所述编码视频比特流的切片报头中用于选 择并且修改所述多个缓冲器描述中的一个缓冲器描述；使用所述切片报头和修改的缓冲器 描述来将切片编码在所述编码视频比特流中。

而且，一种对视频进行解码的方法包括：从编码视频比特流的序列参数集合解析 多个缓冲器描述；从所述编码视频比特流的切片报头解析多个更新参数用于选择并且修改 所述多个缓冲器描述中的一个缓冲器描述；使用所述切片报头以及修改的缓冲器描述来对 来自所述编码视频比特流的切片进行解码。

而且，所述对视频进行编码或者解码的方法，其中所述更新参数包括：用于选择缓 冲器描述的缓冲器描述标识符；用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要 素标识符，其中缓冲器要素与唯一的参照图片相对应；用于重新指派唯一的参照图片以便 与所述选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。

而且，所述对视频进行编码或者解码的方法，其中所述更新参数指示没有修改被 写入在所述序列参数集合中的所述缓冲器描述中的任意一个。

而且，所述对视频进行编码或者解码的方法，其中所述更新参数包括用于创建除 了被写入在所述序列参数集合中的多个缓冲器描述的附加的多个缓冲器描述的参数。

而且，所述对视频进行编码或者解码的方法，其中所述图片参数集合包括用于指 示是否修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述 时，所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器 描述。

而且，所述对视频进行编码或者解码的方法，其中所述切片报头包括用于指示是 否修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述时，所 述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器描述。

而且，所述对视频进行编码或者解码的方法，其中所述序列参数集合包括用于指 示缓冲器描述是否存在于所述序列参数集合中的标志。

而且，所述对视频进行编码或者解码的方法，其中当如由所述标志指示的缓冲器 描述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建 一个或者多个缓冲器描述的参数。

而且，所述对视频进行编码或者解码的方法，其中当如由所述标志指示的缓冲器 描述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建 缓冲器描述的参数。

而且，所述对视频进行编码或者解码的方法，其中当如由所述标志指示的缓冲器 描述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲 器描述的参数。

而且，一种视频比特流编码装置包括：用于将多个预定的缓冲器描述写入编码视 频比特流的序列参数集合中的写入单元；用于将多个更新参数写入所述编码视频比特流的 图片参数集合中用于修改所述多个缓冲器描述中的缓冲器描述的子集的写入单元；用于将 缓冲器描述标识符写入所述编码视频比特流的图片的报头中用于选择多个修改的缓冲器 描述中的一个缓冲器描述的写入单元；用于使用所述图片参数集合和选择的缓冲器描述将 所述图片编码在所述编码视频比特流中的编码单元。

而且，一种视频比特流解码装置包括：用于从编码视频比特流的序列参数集合解 析多个缓冲器描述的解析单元；用于从所述编码视频比特流的图片参数集合解析多个更新 参数用于修改所述多个缓冲器描述中的缓冲器描述的子集的解析单元；用于从所述编码视 频比特流中的图片的报头解析缓冲器描述标识符用于选择多个修改的缓冲器描述中的一 个缓冲器描述的解析单元；用于使用所述图片参数集合以及选择的缓冲器描述来对来自所 述编码视频比特流的所述图片进行解码的解码单元。

而且，一种视频比特流编码装置包括：用于将多个预定的缓冲器描述写入编码视 频比特流的序列参数集合中的写入单元；用于将多个更新参数写入所述编码视频比特流的 图片参数集合中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的写入单元； 用于使用所述图片参数集合和修改的缓冲器描述将一个或者多个图片编码在所述编码视 频比特流中的编码单元。

而且，一种视频比特流解码装置包括：用于从编码视频比特流的序列参数集合解 析多个缓冲器描述的解析单元；用于从所述编码视频比特流的图片参数集合解析多个更新 参数用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的解析单元；用于使用所 述图片参数集合以及修改的缓冲器描述来对来自所述编码视频比特流的一个或者多个图 片进行解码的解码单元。

而且，一种视频比特流编码装置包括：用于将多个预定的缓冲器描述写入编码视 频比特流的序列参数集合中的写入单元；用于将多个更新参数写入所述编码视频比特流的 切片报头中用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的写入单元；用于 使用所述切片报头和修改的缓冲器描述来将切片编码在所述编码视频比特流中的编码单 元。

而且，一种视频比特流解码装置包括：用于从编码视频比特流的序列参数集合解 析多个缓冲器描述的解析单元；用于从所述编码视频比特流的切片报头解析多个更新参数 用于选择并且修改所述多个缓冲器描述中的一个缓冲器描述的解析单元；用于使用所述切 片报头以及修改的缓冲器描述来对来自所述编码视频比特流的切片进行解码的解码单元。

而且，所述视频比特流编码或者解码装置，其中所述更新参数包括：用于选择缓冲 器描述的缓冲器描述标识符；用于选择所选择的缓冲器描述内的缓冲器要素的缓冲器要素 标识符，其中缓冲器要素与唯一的参照图片相对应；用于重新指派唯一的参照图片以便与 所述选择的缓冲器描述内的选择的缓冲器要素相关联的图片标识符。

而且，所述视频比特流编码或者解码装置，其中所述更新参数指示没有修改被写 入在所述序列参数集合中的所述缓冲器描述中的任意一个。

而且，所述视频比特流编码或者解码装置，其中所述更新参数包括用于创建除了 被写入在所述序列参数集合中的多个缓冲器描述的附加的多个缓冲器描述的参数。

而且，所述视频比特流编码或者解码装置，其中所述图片参数集合包括用于指示 是否修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述时， 所述更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器描 述。

而且，所述视频比特流编码或者解码装置，其中所述切片报头包括用于指示是否 修改选择的缓冲器描述的标志，其中当所述标志指示没有修改选择的缓冲器描述时，所述 更新参数选择所述多个缓冲器描述中的一个缓冲器描述但是不修改选择的缓冲器描述。

而且，所述视频比特流编码或者解码装置，其中所述序列参数集合包括用于指示 缓冲器描述是否存在于所述序列参数集合中的标志。

而且，所述视频比特流编码或者解码装置，其中当如由所述标志指示的缓冲器描 述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建一 个或者多个缓冲器描述的参数。

而且，所述视频比特流编码或者解码装置，其中当如由所述标志指示的缓冲器描 述不存在于所述序列参数集合中时，所述图片参数集合中的所述更新参数包括用于创建缓 冲器描述的参数。

而且，所述视频比特流编码或者解码装置，其中当如由所述标志指示的缓冲器描 述不存在于所述序列参数集合中时，所述切片报头中的所述更新参数包括用于创建缓冲器 描述的参数。

应该注意到，这些广泛和具体的方面可以使用系统、方法、集成电路、计算机程序 或记录介质或者系统、方法、集成电路、计算机程序或记录介质的任何组合来实现。

(实施例4)

通过将用于实现在每一个实施例中描述的运动图片编码方法(图像编码方法)和 运动图片解码方法(图像解码方法)的配置的程序记录在记录介质中，能够将在每一个实施 例中描述的处理简单地实现在独立的计算机系统中。所述记录介质可以是只要能够记录程 序的任何记录介质，例如磁盘、光盘、磁光盘、IC卡和半导体存储器。

以下将描述在每一个实施例中描述的运动图片编码方法(图像编码方法)和运动 图片解码方法(图像解码方法)以及使用其的系统的应用。所述系统具有下列特征：具有包 括使用图像编码方法的图像编码装置和使用图像解码方法的图像解码装置的图像编码和 解码装置。所述系统的其它配置可以根据情况而适当改变。

图15说明了用于实现内容分发服务的内容提供系统ex100的整体配置。将用于提 供通信服务的区域划分为具有期望尺寸的单元，并且在每一个单元中放置作为固定无线站 的ex106、ex107、ex108、ex109和ex110。

所述内容提供系统ex100经由互联网ex101、互联网服务提供商ex102、电话网络 ex104和ex106到ex110分别连接到诸如计算机ex111、个人数字助理(PDA)ex112、照相 机ex113、蜂窝电话ex114和游戏机ex115的设备。

然而，内容提供系统ex100的配置并不局限于图15所示的配置，并且其中连接任何 要素的组合是可接受的。此外，每一个设备可以直接连接到电话网络ex104，而不是经由作 为固定无线站的ex106到ex110。而且，也可以经由短距离无线通信等等将设备彼此互 连。

诸如数码摄像机的照相机ex113能够拍摄视频。诸如数码相机的照相机ex116能够 拍摄静止图像和视频。而且，蜂窝电话ex114可以是满足任何标准的设备，这些标准例如是 全球移动通信系统(GSM)(注册商标)、码分多址(CDMA)、宽带码分多址(W-CDMA)、长期演进 (LTE)和高速分组接入(HSPA)。或者，蜂窝电话ex114可以是个人手持电话系统(PHS)。

在内容提供系统ex100中，经由电话网络ex104和ex109将流媒体服务器ex103 连接到照相机ex113，这能够进行现场的图像等等的分发。在这样的分发中，按照上面在每 一个实施例中描述的那样对由使用照相机ex113的用户拍摄的内容(例如音乐会现场的视 频)进行编码(即，照相机起根据本发明方面的图像编码装置的作用)，并且将编码的内容传 输到流媒体服务器ex103。另一方面，流媒体服务器ex103将传输的内容数据根据客户端的 请求而向客户端执行流分发。所述客户端包括能够对上述编码数据进行解码的计算机 ex111、PDA ex112、照相机ex113、蜂窝电话ex114和游戏机ex115。接收到分发的数据的每一 个设备对该编码数据进行解码和再现(即，起根据本发明方面的图像解码装置的作用)。

可以通过照相机ex113或传输数据的流媒体服务器ex103对拍摄的数据进行编码， 或者所述编码处理可以在照相机ex113和流媒体服务器ex103之间共享。类似地，可以通过 客户端或流媒体服务器ex103解码分发的数据，或者所述解码处理可以在客户端和流媒体 服务器ex103之间共享。而且，可以将不仅由照相机ex113而且由照相机ex116拍摄的静止图 像和视频的数据经过计算机ex111传输到流媒体服务器ex103。所述编码处理可以通过照相 机ex116、计算机ex111或流媒体服务器ex103执行，或者可以在它们之间共享。

并且，可以由通常包括在每一个计算机ex111和所述设备中的LSI ex500执行所述 编码和解码处理。LSI ex500可以配置有单个芯片或多个芯片。可以将用于对视频进行编码 和解码的软件集成到能够由计算机ex111等等读取的某一类型的记录介质(例如CD-ROM、软 盘、硬盘)中，并且可以使用所述软件执行编码和解码处理。而且，当蜂窝电话ex114配备有 照相机时，可以传输通过所述照相机获得的视频数据。视频数据是由包括在蜂窝电话ex114 中的LSI ex500编码的数据。

而且，流媒体服务器ex103可以由服务器和计算机组成，并且可以使数据分散且处 理分散的数据、记录或者分发数据。

如上所述，客户端可以在内容提供系统ex100中接收并且再现编码数据。换句话 说，在内容提供系统ex100中，客户端能够接收和解码由用户传输的信息，并且实时地再现 解码数据，以使得不具有任何特定权利和设备的用户能够实现个人广播。

除了内容提供系统ex100的示例之外，可以在图16中说明的数字广播系统ex200中 实现在每一个实施例中描述的运动图片编码装置(图像编码装置)和运动图片解码装置(图 像解码装置)中的至少一个。更具体地说，广播站ex201经由无线电播将通过将音频数据等 等复用到视频数据上获得的复用数据通信或者传输到广播卫星ex202。该视频数据是通过 在每一个实施例中描述的运动图片编码方法进行编码的数据(即，由根据本发明方面的图 像编码装置进行编码的数据)。在接收到该复用数据时，广播卫星ex202发射无线电波用于 广播。然后，具有卫星广播接收功能的家庭用天线ex204接收该无线电波。接下来，诸如电视 机(接收机)ex300或机顶盒(STB)ex217的设备对接收到的复用数据进行解码，并且再现解 码数据(即，起根据本发明方面的图像解码装置的作用)。

而且，读取器/记录仪ex218(ⅰ)对记录在诸如DVD和BD等等的记录介质ex215上的 复用数据进行读取和解码，或者(ⅱ)对记录介质ex215中的视频信号进行编码，并且在一些 情况下，对通过将音频数据复用在编码数据上获得的数据进行写入。读取器/记录仪ex218 能够包括在每一个实施例中示出的运动图片解码装置或运动图片编码装置。在这一情况 下，可以将再现的视频信号显示在监视器ex219上，并且能够通过使用其上记录有复用数据 的记录介质ex215的另一设备或系统来再现视频信号。也能够在连接到用于有线电视的电 缆ex203或用于卫星/地面广播的天线ex204的机顶盒ex217中实现运动图片解码装置，以便 在电视机ex300的监视器ex219上显示视频信号。可以不是在机顶盒中而是在电视机ex300 中实现运动图片解码装置。

图17说明了使用在每一个实施例中描述的运动图片编码方法和运动图片解码方 法的电视机(接收机)ex300。电视机ex300包括：获得或者提供通过经由接收广播的天线 ex204或电缆ex203将音频数据复用到视频数据上获得的复用数据的调谐器ex301；解调接 收到的复用数据或者将数据调制为要被供应到外部的复用数据的调制/解调单元ex302；以 及将调制的复用数据解复用为视频数据和音频数据或者将由信号处理单元ex306编码的视 频数据和音频数据复用为数据的复用/解复用单元ex303。

电视机ex300进一步包括：包括分别对音频数据和视频数据进行解码并且对音频 数据和视频数据进行编码的音频信号处理单元ex304和视频信号处理单元ex305(起根据本 发明方面的图像编码装置和图像解码装置的作用)的信号处理单元ex306；以及包括提供解 码音频信号的扬声器ex307和显示解码视频信号的诸如显示器的显示单元ex308的输出单 元ex309。而且，电视机ex300包括具有接收用户操作的输入的操作输入单元ex312的接口单 元ex317。而且，电视机ex300包括整体控制电视机ex300的每一个构成元件的控制单元 ex310以及向每一个元件供应功率的电源电路单元ex311。除了操作输入单元ex312，接口单 元ex317还可以包括：连接到诸如读取器/记录仪ex218的外部设备的桥ex313；用于使能诸 如SD卡的记录介质ex216的附接的插槽单元ex314；要被连接到诸如硬盘的外部记录介质的 驱动器ex315；以及要被连接到电话网络的调制解调器ex316。这里，记录介质ex216能够使 用用于存储的非易失性/易失性半导体存储元件来电学地记录信息。电视机ex300的构成元 件经过同步总线彼此连接。

首先，将描述其中电视机ex300对经过天线ex204等等从外部获得的复用数据进行 解码并且再现解码数据的配置。在电视机ex300中，当具有经过远程控制器ex220等等的用 户操作时，在包括CPU的控制单元ex310的控制下，复用/解复用单元ex303对由调制/解调单 元ex302解调的复用数据进行解复用。而且，在电视机ex300中，使用在每一个实施例中描述 的解码方法，音频信号处理单元ex304对解复用的音频数据进行解码，并且视频信号处理单 元ex305对解复用的视频数据进行解码。输出单元ex309分别将解码的视频信号和音频信号 输出到外部。当输出单元ex309提供视频信号和音频信号时，可以将这些信号临时存储在缓 冲器ex318和ex319等等中，以使得彼此同步地再现这些信号。而且，电视机ex300可以不经 过广播等等而是从诸如磁盘、光盘和SD卡的记录介质ex215和ex216来读取复用数据。接下 来，将对其中电视机ex300对音频信号和视频信号进行编码并且将数据传输到外部或者将 数据写入到记录介质中的配置进行说明。在电视机ex300中，在具有经过远程控制器ex220 等等的用户操作时，在控制单元ex310的控制下，使用在每一个实施例中描述的编码方法， 音频信号处理单元ex304对音频信号进行编码，并且视频信号处理单元ex305对视频信号进 行编码。复用/解复用单元ex303对编码的视频信号和音频信号进行复用，并且将产生的信 号提供到外部。当复用/解复用单元ex303对视频信号和音频信号进行复用时，可以将这些 信号临时存储在缓冲器ex320和ex321等等中，以使得能够彼此同步地再现这些信号。这里， 缓冲器ex318、ex319、ex320、ex321可以如所说明的那样为多个，或者可以在电视机ex300中 共享至少一个缓冲器。而且，可以将数据存储在缓冲器中，以使得能够例如在调制/解调单 元ex302和复用/解复用单元ex303之间避免系统上溢和下溢。

而且，电视机ex300除了包括用于从广播或者记录介质获得音频和视频数据的配 置之外，也可以包括用于接收从麦克风或照相机输入的AV的配置，并且可以对获得的数据 进行编码。尽管在该描述中电视机ex300能够编码、复用并且提供外部数据，但是它也能够 仅接收、解码和提供外部数据而不进行编码、复用和提供外部数据。

而且，当读取器/记录仪ex218从记录介质读取复用数据或者在记录介质上写入复 用数据时，电视机ex300和读取器/记录仪ex218中的一个可以对复用数据进行解码或编码， 并且电视机ex300和读取器/记录仪ex218可以共享该解码或编码。

作为示例，图18说明了当从光盘读取数据或在光盘上写入数据时信息再现/记录 单元ex400的配置。信息再现/记录单元ex400包括以下要进行描述的构成元件ex401、 ex402、ex403、ex404、ex405、ex406和ex407。光学头ex401在作为光盘的记录介质ex215的记 录表面中照射激光斑以便写入信息，并且检测来自记录介质ex215的记录表面的反射光以 便读取信息。调制记录单元ex402电学地驱动包括在光学头ex401中的半导体激光器，并且 根据记录数据来调制激光。再现解调单元ex403使用包括在光学头ex401中的光检测器来放 大通过电学地检测来自记录表面的反射光获得的再现信号，并且通过分离记录在记录介质 ex215上的信号分量来解调再现信号，以便再现必要信息。缓冲器ex404临时保持要被记录 在记录介质ex215上的信息以及从记录介质ex215再现的信息。盘马达ex405使记录介质 ex215旋转。伺服控制单元ex406在控制盘马达ex405的旋转驱动的同时使光学头ex401移动 到预定的信息轨道，以便追踪激光斑。系统控制单元ex407整体控制信息再现/记录单元 ex400。通过使用存储在缓冲器ex404中的各种信息并且根据需要生成且添加新信息的系统 控制单元ex407，并且通过在按照协调的方式进行操作的同时经过光学头ex401记录并且再 现信息的调制记录单元ex402、再现解调单元ex403和伺服控制单元ex406，能够实现读取和 写入处理。系统控制单元ex407例如包括微处理器，并且通过使计算机执行用于读取和写入 的程序来执行处理。

尽管在该描述中所述光学头ex401照射激光斑，但是也可以使用近场光来执行高 密度记录。

图19说明了作为光盘的记录介质ex215。在记录介质ex215的记录表面上，以螺旋 状形成导引槽，并且信息轨道ex230根据导引槽形状的改变提前记录指示在该盘上的绝对 位置的地址信息。该地址信息包括用于确定作为用于记录数据的单元的记录块ex231的位 置的信息。在记录和再现数据的装置中再现信息轨道ex230并且读取地址信息可以导致记 录块位置的确定。而且，记录介质ex215包括数据记录区域ex233、内周区域ex232和外周区 域ex234。数据记录区域ex233是用于在记录用户数据时使用的区域。分别位于所述数据记 录区域ex233内侧和外侧的内周区域ex232和外周区域ex234用于除了记录用户数据之外的 特定用途。所述信息再现/记录单元400从记录介质ex215的数据记录区域ex233读取编码的 音频、编码的视频数据或通过复用编码的音频和视频数据获得的复用数据并且将该编码的 音频、编码的视频数据或通过复用编码的语音和视频数据获得的复用数据写入该记录介质 ex215的数据记录区域ex233中。

尽管在该描述中作为示例描述了具有层状的光盘，例如DVD和BD，但是所述光盘并 不局限于这些，并且可以是具有多层结构且能够在表面以外的部分上进行记录的光盘。而 且，光盘可以具有用于多维记录/再现的结构，例如在光盘的相同部分中使用具有不同波长 的颜的光的信息的记录，以及从各种角度记录具有不同层的信息。

而且，在数字广播系统ex200中，具有天线ex205的车辆ex210能够从卫星ex202等 等接收数据，并且在诸如设置在车辆ex210内的车辆导航系统ex211的显示设备上再现视 频。这里，车辆导航系统ex211的配置可以例如是包括来自图17中说明的配置的GPS接收单 元的配置。对于具有计算机ex111、蜂窝电话ex114等等的配置，也是如此。

图20A说明了使用在上述实施例中描述的运动图片编码方法和运动图片解码方法 的蜂窝电话ex114。蜂窝电话ex114包括：用于经过ex110发射和接收无线电波的天线 ex350；能够拍摄运动和静止图像的照相机单元ex365；以及例如用于显示诸如由照相机单 元ex365拍摄的或由天线ex350接收的解码的视频的液晶显示器的显示单元ex358。蜂窝电 话ex114进一步包括：包括操作键单元ex366的主体单元；用于输出音频的诸如扬声器的音 频输出单元ex357；用于输入音频的诸如麦克风的音频输入单元ex356；用于存储拍摄的视 频或静止图片，记录的音频，接收的音频的编码或解码数据、静止图像、等等的存 储器单元ex367；以及作为用于按照与存储器单元ex367相同的方式存储数据的记录介质的 接口单元的插槽单元ex364。

接下来，将参照图20B描述蜂窝电话ex114的配置的示例。在蜂窝电话ex114中，设 计为整体控制包括显示单元ex358以及操作键单元ex366的主体的每一个单元的主控制单 元ex360，经由同步总线ex370共同连接到电源电路单元ex361、操作输入控制单元ex362、视 频信号处理单元ex355、照相机接口单元ex363、液晶显示器(LCD)控制单元ex359、调制/解 调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、插槽单元ex364和存储器 单元ex367。

当通过用户的操作开启通话结束键或者电源键时，电源电路单元ex361从电池组 向各自单元供应功率以便激活蜂窝电话ex114。

在蜂窝电话ex114中，在包括CPU、ROM和RAM的主控制单元ex360的控制下，音频信 号处理单元ex354将在语音通话模式中由音频输入单元ex356收集的音频信号转换为数字 音频信号。然后，调制/解调单元ex352对所述数字音频信号执行扩频处理，并且发射和接收 单元ex351对数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。并且，在 蜂窝电话ex114中，发射和接收单元ex351放大在语音通话模式中由天线ex350接收到的数 据并且对所述数据执行频率变换和数模转换。然后，所述调制/解调单元ex352对所述数据 执行逆扩频处理，并且所述音频信号处理单元ex354将该数据转换为模拟音频信号，以便经 由音频输出单元ex357将其输出。

而且，当在数据通信模式中发送时，将通过操作主体的操作键单元ex366 等等输入的的文本数据经由操作输入控制单元ex362发送出到主控制单元ex360。 主控制单元ex360使调制/解调单元ex352对该文本数据执行扩频处理，并且发射和接收单 元ex351对产生的数据执行数模转换和频率变换，以便经由天线ex350向ex110发射数 据。当接收到时，对接收的数据执行与上述用于发送的处理近似为逆的 处理，并且将产生的数据提供到显示单元ex358。

当发射视频、静止图像、或者数据通信模式中的视频和音频时，视频信号处理单元 ex355使用在每一个实施例中示出的运动图片编码方法对从照相机单元ex365供应的视频 信号进行压缩和编码(即，用作根据本发明方面的图像编码装置)，并且将编码的视频数据 发射到复用/解复用单元ex353。相反地，在照相机单元ex365拍摄视频、静止图像等等期间， 音频信号处理单元ex354对由音频输入单元ex356收集的音频信号进行编码，并将编码的音 频数据发射到复用/解复用单元ex353。

所述复用/解复用单元ex353使用预定的方法，对从视频信号处理单元ex355供应 的编码的视频数据和从音频信号处理单元ex354供应的编码的音频数据进行复用。然后，调 制/解调单元(调制/解调电路单元)ex352对复用数据执行扩频处理，并且发射和接收单元 ex351对该数据执行数模转换和频率变换，以便经由天线ex350发射产生的数据。

当在数据通信模式下接收到具有链接到网页等等的视频文件的数据时，或者当接 收到附加有视频和/或音频的时，为了对经由天线ex350接收的复用数据进行解 码，复用/解复用单元ex353将复用数据解复用为视频数据比特流和音频数据比特流，并且 经过同步总线ex370为视频信号处理单元ex355供应编码的视频数据并且为音频信号处理 单元ex354供应编码的音频数据。所述视频信号处理单元ex355使用在每一个实施例中示出 的与运动图片编码方法相对应的运动图片解码方法来对视频信号进行解码(即，起根据本 发明方面的图像解码装置的作用)，并且然后，所述显示单元ex358例如经由LCD控制单元 ex359显示包括在链接到网页的视频文件中的视频和静止图像。而且，所述音频信号处理单 元ex354对音频信号进行解码，并且所述音频输出单元ex357提供音频。

而且，与电视机ex300类似，诸如蜂窝电话ex114的终端可能具有三种类型的实现 配置，不仅包括(ⅰ)包括编码装置和解码装置二者的发射和接收终端，还包括(ⅱ)仅包括编 码装置的发射终端以及(ⅲ)仅包括解码装置的接收终端。尽管在该描述中数字广播用系统 ex200接收和发射通过将音频数据复用到视频数据上获得的复用数据，但是复用数据可以 是通过将与视频相关的字符数据而非音频数据复用到视频数据上获得的数据，并且也可以 不是复用数据而是视频数据本身。

这样，可以在所描述的任意设备和系统中使用每一个实施例中的运动图片编码方 法和运动图片解码方法。因而，能够获得在每一个实施例中描述的优点。

而且，本发明并不局限于上述实施例，并且在不偏离本发明的范围的情况下，能够 做出各种变型或修改。

(实施例5)

如果需要，可以通过在(i)在上述每一个实施例中示出的运动图片编码方法或运 动图片编码装置与(i i)符合诸如MPEG-2、MPEG-4 AVC和VC-1的不同标准的运动图片编码 方法或运动图片编码装置之间进行切换来生成视频数据。

这里，当生成并且然后解码符合不同标准的多个视频数据时，需要选择解码方法 以便符合不同的标准。然而，由于不能够检测要被解码的多个视频数据中的每一个符合哪 个标准，因此存在不能够选择适当的解码方法的问题。

为了解决该问题，通过将音频数据等等复用到视频数据获得的复用数据具有包括 指示该视频数据符合哪个标准的识别信息的结构。以下将描述包括通过在每一个实施例中 示出的运动图片编码方法和运动图片编码装置中生成的视频数据的复用数据的具体结构。 所述复用数据是MPEG-2传输流格式的数字流。

图21说明了复用数据的结构。如图21中说明的，能够通过复用视频流、音频流、演 示图形流(PG)和交互图形流中的至少一个来获得复用数据。视频流代表电影的主视频和辅 视频，音频流(IG)代表主音频部分和要与主音频部分混合的辅音频部分，并且演示图形流 代表电影的字幕。这里，主视频是要在屏幕上显示的正常视频，并且辅视频是要在主视频中 的较小窗口上显示的视频。而且，交互图形流代表通过在屏幕上布置GUI部件生成的交互屏 幕。通过在每一个实施例中示出的运动图片编码方法或运动图片编码装置或者通过符合诸 如MPEG-2、MPEG-4 AVC和VC-1的传统标准的运动图片编码方法或运动图片编码装置来对视 频流进行编码。根据诸如杜比AC-3、杜比数字+、MLP、DTS、DTS-HD和线性PCM的标准对音频流 进行编码。

包括在复用数据中的每一个媒体流由PID进行识别。例如，将0x1011分配到要用于 电影的视频的视频流，将0x1100到0x111F分配到音频流，将0x1200到0x121F分配到演示图 形流，将0x1400到0x141F分配到交互图形流，将0x1B00到0x1B1F分配到要用于电影的辅视 频的视频流，并且将0x1A00到0x1A1F分配到要用于与主音频混合的辅音频的音频流。

图22示意性说明了如何复用数据。首先，将由视频帧构成的视频流ex235和由音频 帧构成的音频流ex238分别变换为PES分组流ex236和PES分组流ex239，并且进一步地分别 变换为TS分组ex237和TS分组ex240。类似地，将演示图形流ex241的数据和交互图形流 ex244的数据分别变换为PES分组流ex242和PES分组流ex245，并且进一步地分别变换为TS 分组ex243和TS分组ex246。将这些TS分组复用为流以便获得复用数据ex247。

图23更加详细地说明了如何将视频流存储在PES分组流中。图23中的第一条形示 出了视频流中的视频帧流。第二条形示出了PES分组流。如图23中的箭头yy1、yy2、yy3和yy4 指示的，将视频流划分为分别作为视频演示单元的I-图片、B-图片和P-图片的图片，并且将 这些图片保存在每一个PES分组的有效载荷中。每一个PES分组具有PES报头，并且所述PES 报头存储指示图片的显示时间的演示时间戳(PTS)以及指示图片的解码时间的解码时间戳 (DTS)。

图24说明了要被最终写入在复用数据上的TS分组的格式。每一个TS分组是包括具 有诸如用于识别流的PID的信息的4字节TS报头和用于存储数据的184字节TS有效载荷的 188字节固定长度分组。所述PES分组分别被划分并且存储在TS有效载荷中。当使用BD ROM 时，对每一个TS分组给出4字节TP_Extra_Header，因而产生192字节源分组。将源分组写入 在复用数据上。TP_Extra_Header存储诸如ATS(Arrival_Time_Stamp)的信息。ATS表示要将 每一个TS分组传送到PID滤波器的传送开始时间。如图24的下部示出的，在复用数据中布置 源分组。将从复用数据的报头开始递增的号码称为源分组号码(SPN)。

包括在复用数据中的每一个TS分组不仅包括音频、视频、字幕等等的流，而且还包 括程序关联表(PAT)、程序映射表(PMT)以及程序时钟参考(PCR)。PAT表示在复用数据中使 用的PMT中的PID指示什么，并且PAT自身的PID被登记为0。PMT存储包括在复用数据中包括 的视频、音频、字幕等等的流的PID以及与PID相对应的流的属性信息。PMT还具有与复用数 据相关的各种描述符。描述符具有诸如表示是否允许复用数据的拷贝的拷贝控制信息的信 息。PCR存储与ATS相对应的表示何时将PCR分组传送到解码器的STC时间信息，以便实现作 为ATS的时间轴的到达时间时钟(ATC)与作为PTS和DTS的时间轴的系统时间时钟(STC)之间 的同步。

图25详细地说明了PMT的数据结构。将PMT报头设置在该PMT的顶部处。PMT报头描 述了包括在该PMT中的数据长度等等。在PMT报头之后设置有与复用数据相关的多个描述 符。在该描述符中描述了诸如拷贝控制信息的信息。在描述符之后设置有与包括在复用数 据中的流相关的多条流信息。每一条流信息包括流描述符，每一个流描述符描述诸如用于 识别流的压缩编解码器的流类型、流PID和流属性信息(例如帧速率或宽高比)的信息。所述 流描述符在数量上与复用数据中的流的数量相等。

当将复用数据记录到记录介质等等上时，将上述复用数据与复用数据信息文件一 起进行记录。

每一个复用数据信息文件是如图26所示的复用数据的管理信息。复用数据信息文 件与复用数据一对一地对应，并且每一个文件包括复用数据信息、流属性信息以及条目地 图。

如图26中说明的，复用数据信息包括系统速率、再现开始时间和再现结束时间。系 统速率指示后面将描述的系统目标解码器向PID滤波器传送复用数据的最大传送速率。将 包括在复用数据中的ATS的间隔设置为不高于系统速率。再现开始时间指示在复用数据的 报头处视频帧中的PTS。向位于复用数据末端的视频帧中的PTS添加一个帧的间隔，并且将 PTS设置为再现结束时间。

如图27所示，对于包括在复用数据中的每一个流的每一个PID，在流属性信息中登 记一条属性信息。取决于相对应的流是视频流、音频流、演示图形流或交互图形流，每一条 属性信息具有不同的信息。每一条视频流属性信息携带有包括使用何种压缩编解码器对视 频流进行压缩、分辨率、宽高比以及包括在视频流中的多段图片数据的帧速率的信息。每一 条音频流属性信息携带有包括使用何种压缩编解码器对音频流进行压缩、音频流中包括多 少信道、音频流支持哪种语言以及采样频率是多高的信息。所述视频流属性信息和所述音 频流属性信息用于在播放器重放信息之前解码器的初始化。

在当前实施例中，要被使用的复用数据具有包括在PMT中的流类型。而且，当在记 录介质上记录复用数据时，使用包括在复用数据信息中的视频流属性信息。具体而言，在每 一个实施例中描述的运动图片编码方法或运动图片编码装置包括如下步骤或单元，该步骤 或单元用于将指示由每一个实施例中的运动图片编码方法或者运动图片编码装置生成的 视频数据的唯一信息分配到包括在PMT中的流类型或视频流属性信息。利用该配置，能够将 通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数 据与符合另一标准的视频数据区分开。

而且，图28说明了根据当前实施例的运动图片解码方法的步骤。在步骤exS100中， 从复用数据获得包括在PMT中的流类型或者包括在复用数据信息中的视频流属性信息。接 下来，在步骤exS101中，确定该流类型或视频流属性信息是否指示该复用数据通过在上述 每一个实施例中描述的运动图片编码方法或运动图片编码装置生成。当确定该流类型或视 频流属性信息指示复用数据通过在上述每一个实施例中描述的运动图片编码方法或运动 图片编码装置生成时，在步骤exS102中，通过在上述每一个实施例中描述的运动图片解码 方法进行解码。而且，当该流类型或视频流属性信息指示符合诸如MPEG-2、MPEG-4 AVC和 VC-1的传统标准时，在步骤exS103中，通过符合传统标准的运动图片解码方法执行解码。

这样，通过向流类型或者视频流属性信息分配新的唯一值，能够确定在上述每一 个实施例中描述的运动图片解码方法或运动图片解码装置是否能够执行解码。甚至当输入 符合不同标准的复用数据时，也能够选择适当的解码方法或装置。因而，能够没有任何误差 地对信息进行解码。而且，可以在上述的设备和系统中使用当前实施例中的运动图片编码 方法或装置、或者运动图片解码方法或装置。

(实施例6)

典型地按照集成电路或大规模集成(LSI)电路的形式实现在上述每一个实施例中 描述的运动图片编码方法、运动图片编码装置、运动图片解码方法和运动图片解码装置。作 为所述LSI的示例，图29说明了被制造在一个芯片中的LSI ex500的配置。LSI ex500包括要 在下面描述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508和ex509，并且所 述元件经过总线ex510彼此连接。当电源电路单元ex505接通时，通过对每一个元件供应功 率来激活电源电路单元ex505。

例如，当执行编码时，在包括CPU ex502、存储器控制器ex503、流控制器ex504和驱 动频率控制单元ex512的控制单元ex501的控制下，所述LSI ex500经过AV I/O ex509从麦 克风ex117和照相机ex113等等接收AV信号。接收到的AV信号被临时存储在诸如SDRAM的外 部存储器ex511中。在控制单元ex501的控制下，根据处理量以及要传输到信号处理单元 ex507的速度，将存储的数据分段为数据部分。然后，信号处理单元ex507对音频信号和/或 视频信号进行编码。这里，视频信号的编码是在上述每一个实施例中描述的编码。而且，所 述信号处理单元ex507有时对编码的音频数据和编码的视频数据进行复用，并且流I/O ex506将复用数据提供到外部。将该提供的复用数据传输到ex107，或者写入记录介质 ex215。当复用数据集合时，可以将数据临时存储在缓冲器ex508中以使得数据集合彼此同 步。

尽管存储器ex511是位于LSI ex500外部的元件，但是也可以将其包括在LSI ex500中。缓冲器ex508也并不局限于一个缓冲器，而是可以由多个缓冲器组成。而且，可以 将LSI ex500制造在一个芯片或者多个芯片中。

而且，尽管控制单元ex510包括CPU ex502、存储器控制器ex503、流控制器ex504、 驱动频率控制单元ex512，但是控制单元ex510的配置并不局限于此。例如，信号处理单元 ex507可以进一步包括CPU。在信号处理单元ex507中包括另一CPU能够提高处理速度。而且， 作为另一示例，CPU ex502可以用作信号处理单元ex507或者作为信号处理单元ex507的一 部分，并且例如，CPU ex502可以包括音频信号处理单元。在这样的情况下，控制单元ex501 包括信号处理单元ex507或者具有信号处理单元ex507一部分的CPU ex502。

这里使用的名称为LSI，但是取决于集成度，也可以将其称为IC、系统LSI、超级LSI 或特级LSI。

而且，实现集成的方式并不局限于LSI，并且专用电路或通用处理器等等也可以实 现集成。能够在LSI制造之后进行编程的现场可编程门阵列(FPGA)或者允许LSI的连接或配 置的重新配置的可配置处理器能够用于相同目的。

未来，随着半导体技术的发展，新生技术可能代替LSI。可以使用这样的技术来集 成功能方框。本发明有可能应用于生物技术。

(实施例7)

与当对符合诸如MPEG-2、MPEG-4 AVC和VC-1的传统标准的视频数据进行解码时相 比较，当对通过在上述每一个实施例中描述的运动图片编码方法或运动图片编码装置生成 的视频数据进行解码时，处理量可能会增加。因而，需要将LSI ex500设置到比在对符合传 统标准的视频数据进行解码时使用的CPU ex502的驱动频率更高的驱动频率。然而，当将驱 动频率设置得较高时，存在功耗增加的问题。

为了解决该问题，诸如电视机ex300和LSI ex500的运动图片解码装置配置为确定 视频数据符合哪个标准，并且根据确定的标准在驱动频率之间进行切换。图30说明了当前 实施例中的配置ex800。当通过在上述每一个实施例中描述的运动图片编码方法或运动图 片编码装置生成视频数据时，驱动频率切换单元ex803将驱动频率设置为较高驱动频率。然 后，驱动频率切换单元ex803指导执行在上述每一个实施例中描述的运动图片解码方法的 解码处理单元ex801对视频数据进行解码。当视频数据符合传统标准时，驱动频率切换单元 ex803将驱动频率设置为比通过在上述每一个实施例中描述的运动图片编码方法或运动图 片编码装置生成的视频数据的驱动频率更低的驱动频率。然后，驱动频率切换单元ex803指 导符合传统标准的解码处理单元ex802对视频数据进行解码。

更具体地，驱动频率切换单元ex803包括图29所示的CPU ex502和驱动频率控制单 元ex512。这里，执行在上述每一个实施例中描述的运动图片解码方法的解码处理单元 ex801以及符合传统标准的解码处理单元ex802中的每一个与图29中的信号处理单元ex507 相对应。CPU ex502确定视频数据符合哪一个标准。然后，驱动频率控制单元ex512以来自 CPU ex502的信号为基础来确定驱动频率。而且，信号处理单元ex507以来自CPU ex502的信 号为基础来对视频数据进行解码。例如，在实施例5中描述的识别信息可能用于识别视频数 据。识别信息并不局限于在实施例5中描述的信息，而是可以是只要能够指示视频数据符合 哪一个标准的任何信息。例如，当以用于确定视频数据用于电视机或者盘等等的外部信号 为基础来确定视频数据符合哪一个标准时，可以以这样的外部信号为基础来进行确定。而 且，CPU ex502例如以查表为基础来选择驱动频率，如图32所示，在查表中，将视频数据 的标准与驱动频率相关联。可以通过将查表存储在缓冲器ex508中和LSI的内部存储器 中，并且通过CPU ex502参照该查表，来选择驱动频率。

图31说明了用于执行当前实施例的方法的步骤。首先，在步骤exS200中，信号处理 单元ex507从复用数据中获得识别信息。接下来，在步骤exS201中，以该识别信息为基础， CPU ex502确定视频数据是否由在上述每一个实施例中描述的编码方法和编码装置生成。 当视频数据由在上述每一个实施例中描述的运动图片编码方法和运动图片编码装置生成 时，在步骤exS202中，CPU ex502将用于将驱动频率设置到较高驱动频率的信号传输到驱动 频率控制单元ex512。然后，驱动频率控制单元ex512将驱动频率设置到较高驱动频率。另一 方面，当识别信息指示视频数据符合诸如MPEG-2、MPEG-4 AVC和VC-1的传统标准时，在步骤 exS203中，CPU ex502将用于将驱动频率设置到较低驱动频率的信号传输到驱动频率控制 单元ex512。然后，与由在上述每一个实施例中描述的运动图片编码方法和运动图片编码装 置生成视频数据的情况相比较，驱动频率控制单元ex512将驱动频率设置到较低驱动频率。

而且，随着驱动频率的切换，通过改变要施加到LSI ex500或包括LSI ex500的装 置的电压来提高节电效果。例如，当将驱动频率设置得较低时，与将驱动频率设置得较高的 情况相比，将要施加到LSI ex500或包括LSI ex500的装置的电压设置得更低。

而且，作为用于设置驱动频率的方法，当用于解码的处理量较大时，可以将驱动频 率设置得较高，并且当用于解码的处理量较小时，可以将驱动频率设定得较低。因而，设置 方法并不局限于上述的设置方法。例如，当用于对符合MPEG-4 AVC的视频数据进行解码的 处理量大于用于对由在上述每一个实施例中描述的运动图片编码方法或运动图片编码装 置生成的视频数据进行解码的处理量时，可能与上述的情况相反地设置驱动频率。

而且，用于设置驱动频率的方法并不局限于用于将驱动频率设置得较低的方法。 例如，当识别信息指示通过在上述每一个实施例中描述的运动图片编码方法和运动图片编 码装置生成视频数据时，可以将要施加到LSI ex500或包括LSI ex500的装置的电压设置得 较高。当识别信息指示视频数据符合诸如MPEG-2、MPEG-4 AVC和VC-1的传统标准时，可以将 要施加到LSI ex500或包括LSI ex500的装置的电压设置得较低。作为另一示例，当识别信 息指示通过在上述每一个实施例中描述的运动图片编码方法和运动图片编码装置生成视 频数据时，可能不必暂停CPU ex502的驱动。当识别信息指示视频数据符合诸如MPEG-2、 MPEG-4 AVC和VC-1的传统标准时，由于CPU ex502具有额外的处理能力，因此可能在给定时 间暂停CPU ex502的驱动。即使当识别信息指示通过在上述每一个实施例中描述的运动图 片编码方法和运动图片编码装置生成视频数据时，在CPU ex502具有额外处理能力的情况 下，也可能在给定时间暂停CPU ex502的驱动。在这样的情况下，与当识别信息指示视频数 据符合诸如MPEG-2、MPEG-4 AVC 和VC-1的传统标准时的情况相比较，可以将暂停时间设置 得较短。

因此，通过根据视频数据符合的标准来切换驱动频率，能够提高节电效果。并且， 当使用电池来驱动LSI ex500或包括LSI ex500的装置时，能够随着节电效果而延长电池的 寿命。

(实施例8)

存在将符合不同标准的多个视频数据提供到诸如电视机和蜂窝电话的设备和系 统的情况。为了能够对符合不同标准的多个视频数据进行解码，LSI ex500的信号处理单元 ex507需要符合不同的标准。然而，随着符合各自标准的信号处理单元ex507的单独使用，会 产生增加LSI ex500的电路规模以及增加成本的问题。

为了解决该问题，设想一种其中部分地共享用于实现在上述每一个实施例中描述 的运动图片解码方法的解码处理单元和符合诸如MPEG-2、MPEG-4 AVC和VC-1的传统标准的 解码处理单元的配置。图33A中的ex900表示该配置的示例。例如，在上述每一个实施例中描 述的运动图片解码方法与符合MPEG-4 AVC的运动图片解码方法部分共同地具有诸如熵编 码、逆量化、解块滤波和运动补偿预测的处理细节。要被共享的处理细节可能包括符合 MPEG-4 AVC的解码处理单元ex902的使用。相反，专用解码处理单元ex901可以用于对于本 发明方面唯一的其它处理。尤其是，由于本发明的方面例如以逆量化为特征，因此，专用解 码处理单元ex901用于逆量化。否则，可能对于熵解码、解块滤波和运动补偿中的一个或者 处理的全部来共享解码处理单元。对于要被共享的处理，可以共享用于实现在上述每一个 实施例中描述的运动图片解码方法的解码处理单元，并且专用解码处理单元可以用于 MPEG-4 AVC特有的处理。

而且，图33B中的ex1000表示将部分地共享处理的另一示例。这一示例使用包括支 持对于本发明方面特有的处理的专用解码处理单元ex1001、支持对于另一传统标准特有的 处理的专用解码处理单元ex1002以及支持要在根据本发明方面的运动图片解码方法和传 统的运动图片解码方法之间共享的处理的解码处理单元ex1003的配置。这里，专用解码处 理单元ex1001和ex1002不必分别专用于根据本发明一个方面的处理和所述具有传统标准 的处理，并且可以是能够实现通用处理的解码处理单元。并且，也能够通过LSI ex500实现 当前实施例的配置。

这样，通过共享用于要在根据本发明方面的运动图片解码方法和符合传统标准的 运动图片解码方法之间共享的处理的解码处理单元，能够减小LSI的电路规模并且降低成 本。

尽管上面描述了根据本发明概念的一个或多个方面的图像编码装置和图像解码 装置，但是要认为本文描述的主题只是描述性和说明性的。本领域的普通技术人员将容易 意识到，在不实质上背离本发明概念的原理和精神的情况下，所附权利要求旨在不仅覆盖 和包含所公开的特定实施例，而且还覆盖和包含通过对所述实施例做出各种修改并且通过 对不同实施例中的结构元件进行组合而获得的等同结构、方法和/或使用。

[产业上的可用性]

本文公开的一个或多个实施例可以应用于图像编码方法、图像解码方法、图像编 码装置和图像解码装置。与本公开一个或多个示例实施例一致的图像编码方法、图像解码 方法、图像编码装置和图像解码装置可以用于包括电视机、数字视频录像机、车载导航系 统、蜂窝电话、数字照相机和数字视频照相机的具有高分辨率的信息显示设备和成像设备。

[标号说明]

200 视频编码装置

201 变换单元

202 量化单元

203 逆量化单元

204 逆变换单元

205 块存储器

206 帧存储器

207 帧内预测单元

208 帧间预测单元

209 熵编码单元

210 帧存储器控制单元

300 视频解码装置

301 熵解码单元

302 逆量化单元

303 逆变换单元

304 块存储器

305 帧存储器

306 帧内预测单元

307 帧间预测单元