解码方法、解码装置以及编码方法、编码装置

本发明涉及图像编码方法、图像解码方法、图像编码装置、图像解码装置、以及图 像编解码装置。

为了压缩声音数据及运动图像数据，开发了多个声音编码标准及运动图像编码标 准。对于运动图像编码标准的例子，可以举出称为H.26x的ITU－T标准以及称为MPEG－x的 ISO/IEC标准(例如，参考非专利文献1)。最新的运动图像编码标准是，称为H.264/MPEG－ 4AVC的标准。并且，近几年，研究了称为HEVC(High Efficiency Video Coding)的下一代的 编码标准(例如，参考非专利文献2)。

(现有技术文献)

(非专利文献)

非专利文献1：ISO/IEC 14496－10“MPEG－4 Part10 Advanced Video Coding”

非专利文献2：Joint Collaborative Team on Video Coding(JCT－VC)of ITU－ T SG16 WP3 and ISO/IEC JTC1/SC29/WG118th Meeting:San Jose,CA,USA,－1－10 February,2012,JCTVC－H1003,“High Efficiency Video Coding(HEVC)text specification draft6”,http://phenix.int－evry.fr/jct/doc_end_user/documents/ 8_San％20Jose/wg11/JCTVC－H1003－v22.zip

对于这样的图像编码方法及图像解码方法，需要处理量的减少。

于是，本发明的目的在于，提供能够减少处理量的图像编码方法或图像解码方法。

为了实现所述目的，本发明的实施方案之一涉及的解码方法，按图片中包含的一 个以上的单元的每个单元，对编码数据进行解码，所述解码方法包括：第一标志获得步骤， 从包含所述编码数据的编码比特流获得第一标志，该第一标志示出是否以所述单元为单位 来设定从用于存储所述编码数据的缓冲器读出所述编码数据的时刻；第二标志获得步骤， 在以所述单元为单位来设定所述时刻的情况下，从所述编码比特流获得第二标志，该第二 标志示出多个所述单元的读出时刻的间隔是否是一定的；读出步骤，以基于所述第二标志 的间隔，按每个所述单元从所述缓冲器读出编码数据；以及解码步骤，对读出的所述编码数 据进行解码，所述第一标志从附加在一个以上的图片中的、所述编码比特流的视频可用信 息即VUI中获得，所述第二标志从按每一个图片设置的、所述编码比特流的控制信息中获 得，在所述第二标志示出所述间隔为一定的情况下，所述控制信息包含示出连续的两个单 元的读出时刻的一定间隔的固定间隔信息，该固定间隔信息是与所述第二标志不同的信 息。

另外，也可以是，所述解码方法还包括如下步骤：在所述第二标志示出所述间隔为 一定的情况下，从所述控制信息获得所述固定间隔信息。

另外，也可以是，所述固定间隔信息包含所述单元间的所述一定间隔和一个图片 中包含的单元的总数，在所述读出步骤中，利用所述单元间的时间间隔和所述单元的总数 计算所述间隔，并且按每个所述单元，以计算出的所述间隔从所述缓冲器读出编码数据。

另外，也可以是，所述解码方法还包括如下步骤：从所述VUI中获得示出所述VUI是 否包含用于以所述单元为单位进行动作的控制信息的标志。

另外，也可以是，所述解码方法还包括如下步骤：从所述编码比特流包含的描述符 中获得示出所述VUI是否包含用于以所述单元为单位进行动作的控制信息的标志。

本发明的实施方案之一涉及的解码方法，按图片中包含的一个以上的单元的每个 单元，对编码数据进行解码，所述解码方法包括：第一标志获得步骤，从包含所述编码数据 的编码比特流获得第一标志，该第一标志示出是否以所述单元为单位来设定从用于存储所 述编码数据的缓冲器读出所述编码数据的时刻；第二标志获得步骤，在以所述单元为单位 来设定所述时刻的情况下，从所述编码比特流获得第二标志，该第二标志示出多个所述单 元的读出时刻的间隔是否是一定的；固定信息获得步骤，在所述第二标志示出所述间隔为 一定的情况下，从所述编码比特流获得固定间隔信息，该固定间隔信息示出连续的两个单 元的读出时刻的一定间隔和一个图片中包含的单元的总数；读出步骤，以基于所述第二标 志的间隔，按每个所述单元从所述缓冲器读出所述编码数据，该基于所述第二标志的间隔 是使用连续的两个单元的所述读出时刻的所述一定间隔和所述单元的总数计算出的；以及 解码步骤，对读出的所述编码数据进行解码，所述第一标志从附加在一个以上的图片中的、 所述编码比特流的视频可用信息即VUI中获得，所述第二标志从按每一个图片设置的、所述 编码比特流的控制信息中获得，所述固定间隔信息从所述编码比特流的所述控制信息中获 得。

本发明的实施方案之一涉及的解码装置，具备控制电路、以及与所述控制电路电 连接的存储装置，按图片中包含的一个以上的单元的每个单元，对编码数据进行解码，所述 控制电路执行以下的步骤：第一标志获得步骤，从包含所述编码数据的编码比特流获得第 一标志，该第一标志示出是否以所述单元为单位来设定从用于存储所述编码数据的缓冲器 读出所述编码数据的时刻；第二标志获得步骤，在以所述单元为单位来设定所述时刻的情 况下，从所述编码比特流获得第二标志，该第二标志示出多个所述单元的读出时刻的间隔 是否是一定的；读出步骤，以基于所述第二标志的间隔，按每个所述单元从所述缓冲器读出 编码数据；以及解码步骤，对读出的所述编码数据进行解码，所述第一标志从附加在一个以 上的图片中的、所述编码比特流的视频可用信息即VUI中获得，所述第二标志从按每一个图 片设置的、所述编码比特流的控制信息中获得，在所述第二标志示出所述间隔为一定的情 况下，所述控制信息包含固定间隔信息，该固定间隔信息是与所述第二标志不同的信息，并 且包含示出连续的两个单元的读出时刻的一定间隔。

本发明的实施方案之一涉及的编码方法，对图片中包含的一个以上的单元进行编 码，所述编码方法包括：第一标志生成步骤，虚拟解码器生成第一标志，该第一标志示出是 否以所述单元为单位来设定从用于存储编码数据的缓冲器读出所述编码数据的时刻；第二 标志生成步骤，在以所述单元为单位来设定所述时刻的情况下，生成第二标志，该第二标志 示出多个所述单元的读出时刻的间隔是一定的还是任意的；固定信息生成步骤，在所述第 二标志示出所述间隔为一定的情况下，生成固定间隔信息，该固定间隔信息是与所述第二 标志不同的信息，并且示出连续的两个单元的读出时刻的一定间隔；以及比特流生成步骤， 生成包含所述编码数据、所述第一标志、所述第二标志以及所述固定间隔信息的编码比特 流，

另外，也可以是，在所述比特流生成步骤中，将所述第一标志包含在附加在一个以 上的图片中的、所述编码比特流的视频可用信息即VUI中，将所述第二标志包含在按每一个 图片设置的、所述编码比特流的控制信息中，将所述固定间隔信息包含在所述控制信息中。

另外，也可以是，所述编码方法还包括如下步骤：将示出所述VUI是否包含用于以 所述单元为单位进行动作的控制信息的标志包含在所述VUI中。

另外，也可以是，所述编码方法还包括如下步骤：将示出所述VUI是否包含用于以 所述单元为单位进行动作的控制信息的标志，包含在所述编码比特流所包含的描述符中。

本发明的实施方案之一涉及的编码装置，具备控制电路、以及与所述控制电路电 连接的存储装置，对图片中包含的一个以上的单元进行编码，所述控制电路执行以下的步 骤：第一标志生成步骤，虚拟解码器生成第一标志，该第一标志示出是否以所述单元为单位 来设定从用于存储编码数据的缓冲器读出所述编码数据的时刻；第二标志生成步骤，在以 所述单元为单位来设定所述时刻的情况下，生成第二标志，该第二标志示出多个所述单元 的读出时刻的间隔是一定的还是任意的；固定信息生成步骤，在所述第二标志示出所述间 隔为一定的情况下，生成固定间隔信息，该固定间隔信息是与所述第二标志不同的信息，并 且示出连续的两个单元的读出时刻的一定间隔；以及比特流生成步骤，生成包含所述编码 数据、所述第一标志、所述第二标志以及所述固定间隔信息的编码比特流，在所述比特流生 成步骤中，将所述第一标志包含在附加在一个以上的图片中的、所述编码比特流的视频可 用信息即VUI中，将所述第二标志包含在按每一个图片设置的、所述编码比特流的控制信息 中，将所述固定间隔信息包含在所述控制信息中。

本发明的实施方案之一涉及的解码方法，按图片中包含的一个以上的单元的每个 单元，对编码数据进行解码，所述解码方法包括：第一标志获得步骤，从包含所述编码数据 的编码比特流获得第一标志，该第一标志示出是否以所述单元为单位来设定从用于存储所 述编码数据的缓冲器读出所述编码数据的时刻；第二标志获得步骤，在以所述单元为单位 来设定所述时刻的情况下，从所述编码比特流获得第二标志，该第二标志示出多个所述单 元的读出时刻的间隔是一定的还是任意的；读出步骤，在所述读出时刻，从所述缓冲器读出 编码数据；以及解码步骤，对读出的所述编码数据进行解码，所述编码比特流包含传输流和 描述符，所述描述符包含所述第一标志和所述第二标志中的至少一个。

本发明的实施方案之一涉及的解码装置，具备控制电路、以及与所述控制电路电 连接的存储装置，按图片中包含的一个以上的单元的每个单元，对编码数据进行解码，所述 控制电路执行以下的步骤：第一标志获得步骤，从包含所述编码数据的编码比特流获得第 一标志，该第一标志示出是否以所述单元为单位来设定从用于存储所述编码数据的缓冲器 读出所述编码数据的时刻；第二标志获得步骤，在以所述单元为单位来设定所述时刻的情 况下，从所述编码比特流获得第二标志，该第二标志示出多个所述单元的读出时刻的间隔 是一定的还是任意的；读出步骤，在所述读出时刻，从所述缓冲器读出编码数据；以及解码 步骤，对读出的所述编码数据进行解码，所述编码比特流包含传输流和描述符，所述描述符 包含所述第一标志和所述第二标志中的至少一个。

本发明的实施方案之一涉及的编码方法，对图片中包含的一个以上的单元进行编 码，所述编码方法包括：第一标志生成步骤，虚拟解码器生成第一标志，该第一标志示出是 否以所述单元为单位来设定从用于存储编码数据的缓冲器读出所述编码数据的时刻；第二 标志生成步骤，在以所述单元为单位来设定所述时刻的情况下，生成第二标志，该第二标志 示出多个所述单元的读出时刻的间隔是一定的还是任意的；以及比特流生成步骤，生成包 含所述编码数据、所述第一标志以及所述第二标志的编码比特流，所述编码比特流包含传 输流和描述符，所述描述符包含所述第一标志和所述第二标志中的至少一个。

本发明的实施方案之一涉及的编码装置，具备控制电路、以及与所述控制电路电 连接的存储装置，对图片中包含的一个以上的单元进行编码，所述控制电路执行以下的步 骤：第一标志生成步骤，虚拟解码器生成第一标志，该第一标志示出是否以所述单元为单位 来设定从用于存储编码数据的缓冲器读出所述编码数据的时刻；第二标志生成步骤，在以 所述单元为单位来设定所述时刻的情况下，生成第二标志，该第二标志示出多个所述单元 的读出时刻的间隔是一定的还是任意的；以及比特流生成步骤，生成包含所述编码数据、所 述第一标志以及所述第二标志的编码比特流，所述编码比特流包含传输流和描述符，所述 描述符包含所述第一标志和所述第二标志中的至少一个。

另外，本发明的方案之一涉及的图像编码方法，对图片中包含的一个以上的单元 进行编码，所述图像编码方法包括：第一标志生成步骤，生成第一标志，该第一标志示出是 否以所述单元为单位来设定虚拟解码器从用于存储编码数据的缓冲器读出所述编码数据 的时刻；第二标志生成步骤，在以所述单元为单位来设定所述时刻的情况下，生成第二标 志，该第二标志示出多个所述单元的读出时刻的间隔是一定的还是任意的；以及比特流生 成步骤，生成包含所述编码数据、所述第一标志以及所述第二标志的编码比特流。

而且，它们的整体或具体的形态，可以由系统、方法、集成电路、计算机程序或计算 机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录 介质的任意的组合实现。

本发明，能够提供能够减少处理量的图像编码方法或图像解码方法。

图1是示出实施例1涉及的VUI的语法的一个例子的图。

图2是示出实施例1涉及的Picture Timing SEI的语法的一个例子的图。

图3是示出实施例1涉及的VUI的语法的一个例子的图。

图4是示出实施例1涉及的Buffering period SEI的语法的一个例子的图。

图5是示出实施例1涉及的Picture Timing SEI的语法的一个例子的图。

图6A是实施例1涉及的图像解码方法的流程图。

图6B是实施例1涉及的图像编码方法的流程图。

图7A是实施例1涉及的图像解码装置的方框图。

图7B是实施例1涉及的图像解码装置具备的提取时刻决定部的方框图。

图8A是实施例1涉及的图像编码装置的方框图。

图8B是实施例1涉及的图像编码装置具备的提取时刻决定部的方框图。

图9是示出实施例1涉及的Decoding Unit CPB delay SEI的语法的一个例子的 图。

图10是示出实施例1涉及的编码比特流的结构例的图。

图11是示出实施例1涉及的编码比特流的结构例的图。

图12是示出实施例1涉及的描述符的一个例子的图。

图13是实施例1涉及的图像解码装置(STD)的方框图。

图14A是示出实施例1涉及的以访问单元单位进行提取时的缓冲器占有量的一个 例子的图。

图14B是示出实施例1涉及的以解码单元单位进行提取时的缓冲器占有量的一个 例子的图。

图15是实施例1涉及的图像解码方法的流程图。

图16是实施例1涉及的图像编码方法的流程图。

图17是实施例1涉及的编码部的方框图。

图18是实施例1涉及的解码部的方框图。

图19是实现内容分发服务的内容提供系统的整体结构图。

图20是数字广播用系统的整体结构图。

图21是示出电视机的结构例的方框图。

图22是示出对作为光盘的记录介质进行信息的读写的信息再生/记录部的结构例 的方框图。

图23是示出作为光盘的记录介质的构造例的图。

图24A是示出表示移动电话的一个例子的图。

图24B是示出移动电话的结构例的方框图。

图25是示出多路复用数据的结构的图。

图26是示出在多路复用数据中各个流如何被多路复用的模式图。

图27是更详细示出PES数据包列中如何存储视频流的图。

图28是示出多路复用数据的TS数据包和源数据包的构造的图。

图29是示出PMT的数据结构的图。

图30是示出多路复用数据信息的内部结构的图。

图31是示出流属性信息的内部结构的图。

图32是示出识别影像数据的步骤的图。

图33是示出实现各个实施例的运动图像编码方法及运动图像解码方法的集成电 路的结构例的方框图。

图34是示出切换驱动频率的结构的图。

图35是示出识别影像数据，切换驱动频率的步骤的图。

图36是示出影像数据的标准与驱动频率对应起来的查表的一个例子的图。

图37A是示出共享信号处理部的模块的结构的一个例子的图。

图37B是示出共享信号处理部的模块的结构的其他的一个例子的图。

(成为本发明的基础的知识)

本发明人，在以往的技术中，发现会产生以下的问题。

以下，说明本发明的比较例涉及的图像解码装置。

视频的访问单元(Access Unit:例如，相当于图片)，被分割为多个解码单元 (Decoding Unit)。并且，按每个解码单元，设定作为图像解码装置，从CPB(Coded Picture Buffer)提取该解码单元的编码数据的时刻的提取时刻。据此，图像解码装置，解码单元的 编码数据齐全后，能够立即依次对该编码数据进行解码。据此，图像解码装置，不需要等待 访问单元的全数据的接收完成，因此，能够减少延迟时间。

用于决定该每个解码单元的从CPB的提取时刻的参数的全部，被描述在例如 Picture Timing SEI中。据此，图像解码装置，为了获得解码单元的提取时刻，需要每次分 析访问单元内的Picture Timing SEI。因此，本发明人发现了存在图像解码装置的负载增 大的问题。

并且，对于将解码单元的提取时刻的信息从图像编码装置传递到图像解码装置的 方法，可以考虑将多个解码单元各自的提取时刻的信息包含在编码比特流中的方法。然而， 会有在多个解码单元间需要使用分别不同的提取时刻的间隔的情况，也会有可以是相同的 间隔的情况。本发明人发现了，在利用相同的间隔的情况下，如上所述，若将多个解码单元 各自的提取时刻的信息包含在编码比特流中，则冗余的信息被包含在编码比特流中。

本发明的实施方案之一涉及的图像编码方法，对图片中包含的一个以上的单元进 行编码，所述图像编码方法包括：第一标志生成步骤，生成第一标志，该第一标志示出是否 以所述单元为单位来设定虚拟解码器从用于存储编码数据的缓冲器读出所述编码数据的 时刻；第二标志生成步骤，在以所述单元为单位来设定所述时刻的情况下，生成第二标志， 该第二标志示出多个所述单元的读出时刻的间隔是一定的还是任意的；以及比特流生成步 骤，生成包含所述编码数据、所述第一标志以及所述第二标志的编码比特流。

据此，该图像编码方法能够，使图像解码装置从缓冲器读出单元单位的编码数据 的时间间隔成为一定。据此，例如，能够减少图像解码装置的处理量。

例如，也可以是，在所述比特流生成步骤中，将所述第二标志包含在图片组的控制 信息中，该图片组的控制信息是所述编码比特流中包含的、按包含一个以上的图片的每个 图片组设定的信息。

例如，也可以是，所述图像编码方法还包括固定间隔信息生成步骤，在所述固定间 隔信息生成步骤中，在所述第二标志示出所述间隔为一定的情况下，生成示出该间隔的固 定间隔信息，在所述比特流生成步骤中，将所述固定间隔信息包含在一个图片单位的控制 信息中，该一个图片单位的控制信息是所述编码比特流中包含的、按每一个图片单位设定 的信息。

例如，也可以是，所述固定间隔信息包含，一个图片中包含的所述多个单元的数 量、以及图片的时间间隔。

例如，也可以是，所述图像编码方法还包括可变间隔信息生成步骤，在所述可变间 隔信息生成步骤中，在所述第二标志示出所述间隔为任意的情况下，按每个所述单元生成 示出所述间隔的可变间隔信息，在所述比特流生成步骤中，将所述可变间隔信息包含在所 述一个图片单位的控制信息中。

例如，也可以是，所述图像编码方法还包括可变间隔信息生成步骤，在所述可变间 隔信息生成步骤中，在所述第二标志示出所述间隔为任意的情况下，按每个所述单元生成 示出所述间隔的可变间隔信息，在所述比特流生成步骤中，将所述可变间隔信息包含在一 个单元单位的控制信息中，该一个单元单位的控制信息是所述编码比特流中包含的、按每 一个单元单位设定的信息。

例如，也可以是，所述编码比特流包含传输流和描述符，在所述比特流生成步骤 中，将所述第二标志包含在所述描述符中。

并且，本发明的实施方案之一涉及的图像解码方法，按图片中包含的一个以上的 每个单元，对编码数据进行解码，所述图像解码方法包括：第一标志获得步骤，从包含所述 编码数据的编码比特流获得第一标志，该第一标志示出是否以所述单元为单位来设定从用 于存储所述编码数据的缓冲器读出所述编码数据的时刻；第二标志获得步骤，在以所述单 元为单位来设定所述时刻的情况下，从所述编码比特流获得第二标志，该第二标志示出多 个所述单元的读出时刻的间隔是一定的还是任意的；读出步骤，根据所述第二标志，按每个 所述单元以一定的间隔、或任意的间隔从所述缓冲器读出编码数据；以及解码步骤，对读出 的所述编码数据进行解码。

据此，该图像解码方法，能够减少处理量。

例如，也可以是，在所述第二标志获得步骤中，从图片组的控制信息获得所述第二 标志，该图片组的控制信息是所述编码比特流中包含的、按包含一个以上的图片的每个图 片组设定的信息。

例如，也可以是，所述图像解码方法还包括固定间隔信息获得步骤，在所述固定间 隔信息获得步骤中，在所述第二标志示出所述间隔为一定的情况下，将示出该间隔的固定 间隔信息，从所述编码比特流中包含的、按每一个图片单位设定的一个图片单位的控制信 息获得，在所述读出步骤中，在所述第二标志示出所述间隔为一定的情况下，按每个所述单 元，以所述固定间隔信息所示的所述间隔从所述缓冲器读出编码数据。

例如，也可以是，所述固定间隔信息示出，一个图片中包含的所述多个单元的数 量、以及图片的时间间隔，在所述读出步骤中，利用所述多个单元的数量和所述图片的时间 间隔，计算所述间隔，按每个所述单元，以计算出的间隔从所述缓冲器读出编码数据。

例如，也可以是，所述图像解码方法还包括固定间隔信息获得步骤，在所述固定间 隔信息获得步骤中，在所述第二标志示出所述间隔为任意的情况下，从所述一个图片单位 的控制信息获得可变间隔信息，所述可变间隔信息示出所述多个单元的每一个单元的所述 间隔，在所述读出步骤中，在所述第二标志示出所述间隔为任意的情况下，按每个所述单 元，以所述可变间隔信息所示的所述间隔从所述缓冲器读出编码数据。

例如，也可以是，所述图像解码方法还包括可变间隔信息获得步骤，在所述可变间 隔信息获得步骤中，在所述第二标志示出所述间隔为任意的情况下，从一个单元单位的控 制信息获得可变间隔信息，该一个单元单位的控制信息是所述编码比特流中包含的、按每 一个单元单位设定的信息，所述可变间隔信息示出所述多个单元的每一个单元的所述间 隔，在所述读出步骤中，在所述第二标志示出所述间隔为任意的情况下，按每个所述单元， 以所述可变间隔信息所示的所述间隔从所述缓冲器读出编码数据。

例如，也可以是，所述编码比特流包含传输流和描述符，在所述第二标志获得步骤 中，从所述描述符获得所述第二标志。

并且，本发明的实施方案之一涉及的图像编码装置，具备控制电路、以及与所述控 制电路电连接的存储装置，对图片中包含的一个以上的单元进行编码，所述控制电路执行 以下的步骤：第一标志生成步骤，生成第一标志，该第一标志示出是否以所述单元为单位来 设定虚拟解码器从用于存储编码数据的缓冲器读出所述编码数据的时刻；第二标志生成步 骤，在以所述单元为单位来设定所述时刻的情况下，生成第二标志，该第二标志示出多个所 述单元的读出时刻的间隔是一定的还是任意的；以及比特流生成步骤，生成包含所述编码 数据、所述第一标志以及所述第二标志的编码比特流。

据此，该图像编码装置能够，使图像解码装置从缓冲器读出单元单位的编码数据 的时间间隔成为一定。据此，例如，能够减少图像解码装置的处理量。

并且，本发明的实施方案之一涉及的图像解码装置，具备控制电路、以及与所述控 制电路电连接的存储装置，按图片中包含的一个以上的每个单元，对编码数据进行解码，所 述控制电路执行以下的步骤：第一标志获得步骤，从包含所述编码数据的编码比特流获得 第一标志，该第一标志示出是否以所述单元为单位来设定从用于存储所述编码数据的缓冲 器读出所述编码数据的时刻；第二标志获得步骤，在以所述单元为单位来设定所述时刻的 情况下，从所述编码比特流获得第二标志，该第二标志示出多个所述单元的读出时刻的间 隔是一定的还是任意的；读出步骤，根据所述第二标志，按每个所述单元以一定的间隔、或 任意的间隔从所述缓冲器读出编码数据；以及解码步骤，对读出的所述编码数据进行解码。

据此，该图像解码装置能够减少处理量。

并且，本发明的实施方案之一涉及的图像编解码装置具备所述图像编码装置和所 述图像解码装置。

而且，它们的整体或具体的形态，可以由系统、方法、集成电路、计算机程序或计算 机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录 介质的任意的组合实现。

以下，对于实施例，参照附图进行具体说明。

而且，以下说明的实施例，都示出本发明的一个具体例子。以下的实施例所示的数 值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个 例子，而不是限定本发明的宗旨。并且，对于以下的实施例的构成要素中的、示出最上位概 念的独立权利要求中没有记载的构成要素，作为任意的构成要素来说明。

(实施例1)

本实施例涉及的图像编码装置及图像解码装置，利用在访问单元的解码单元间从 CPB的提取时刻的间隔为(1)一定的模式(间隔固定模式)、和(2)任意的模式(间隔可变模 式)的两个模式。并且，图像编码装置，将作为信息的发送对方的图像解码装置，设想为虚拟 参考解码器，按每个模式切换提取时刻信息的生成和发送方法。

作为一个例子，图像编码装置及图像解码装置，基本上利用间隔固定模式。并且， 图像编码装置及图像解码装置，对在访问单元内每个区域的代码量非常变动的影像利用间 隔可变模式。

并且，图像编码装置，在间隔固定模式中也可以，不是访问单元单位，而是以SPS (Sequence Parameter Set)等的比访问单元单位上层的单位(例如多个图片单位)包含示 出提取时刻的间隔的信息。据此，图像解码装置，不需要进行以访问单元单位的解析。

图像解码装置，解析SPS(更具体而言，SPS内的VUI(Video Usability Information：视频可用信息))等的比访问单元单位上层的单位，从而判定模式是间隔固定 模式及间隔可变模式的哪一方，按照判定的模式切换提取时刻信息的获得方法。

并且，在仅与间隔固定模式对应的图像解码装置中也可以，在判定为是间隔可变 模式时，不进行以解码单元单位的解码开始，而以访问单元单位开始解码。

编码流，一般而言，以MPEG－2TS(Transport Stream)、MP4、或RTP(Real－time Transport Protocol)等而多路复用并传输。因此，图像编码装置也可以，以多路复用层，传 输所述模式的识别信息、以及间隔固定模式的提取时刻的间隔等的、以序列单位(多个图片 单位)固定的信息。

以下，说明本实施例涉及的第一语法例。

图1是示出SPS中包含的VUI的语法例的图。图2是示出按每个访问单元附加的 Picture timing SEI的语法例的图。

在访问单元内的解码单元中，作为示出从CPB的提取时刻的间隔是间隔固定模式、 以及间隔可变模式的哪一方的信息的间隔可变标志(variable_sub_pic_removal_period_ flag)，被存储在VUI。并且，图像解码装置，在间隔固定模式时，利用VUI内的参数决定提取 时刻的间隔，在间隔可变模式时，利用Picture timing SEI中包含的参数决定提取时刻的 间隔。

例如，在间隔可变标志(variable_sub_pic_removal_period_flag)的值为0的情 况下，在访问单元内的解码单元间，从CPB的提取时刻的间隔为一定(间隔固定模式)。并且， 提取时刻的间隔，由VUI内的后续语法定义。

另一方面，在间隔可变标志的值为1的情况下，在访问单元内的解码单元间，从CPB 的提取时刻的间隔是任意的(间隔可变模式)。并且，提取时刻的间隔，由按每个访问单元附 加的Picture timing SEI中包含的信息定义。

并且，VUI中包含的解码单位标志(sub_pic_cpb_flag)示出，解码处理(从CPB的编 码数据的提取)的设定是以访问单元(图片)单位、或解码单元单位的哪一方进行。在解码单 位标志的值为0的情况下，示出访问单元单位，在解码单位标志的值为1的情况下，示出解码 单元单位。

而且，其他的语法的定义，例如，与非专利文献2同样。

在解码单位标志(sub_pic_cpb_flag)和间隔可变标志(variable_sub_pic_ removal_period_flag)都是1的情况下，在Picture timing SEI内存在num_decoding_ units_minus1及cpb_removal_delay。访问单元内的解码单元数是，num_decoding_units_ minus1+1。cpb_removal_delay，规定每个解码单元的从CPB的提取时刻。

在其他的情况下，在Picture timing SEI内不存在num_decoding_units_minus1， 其值被视为0。

并且，在解码单位标志(sub_pic_cpb_flag)的值为0的情况下，以访问单元单位进 行从CPB的提取，根据cpb_removal_delay决定提取时刻。

并且，在解码单位标志的值为是1、且间隔可变标志的值为0的情况下(sub_pic_ cpb_flag＝1&&variable_sub_pic_removal_period_flag＝0)，以解码单元单位进行从CPB 的提取，根据VUI内的参数决定提取时刻。

以下，说明本实施例涉及的第二语法例。

图3是示出SPS中包含的VUI的语法例的图。图4是示出SPS中包含的Buffering period SEI的语法例的图。图5是示出按每个访问单元附加的Picture timing SEI的语法 例的图。

在该语法例中，作为示出访问单元的解码单元间的提取时刻的间隔是间隔固定模 式、或间隔可变模式的哪一方的信息的间隔可变标志(variable_sub_pic_removal_ period_flag)，被存储在Buffering period SEI。在此，Buffering period SEI，与VUI同样 例如被包含在SPS中。换而言之，以多个图片单位生成Buffering period SEI。

并且，图像解码装置，在间隔固定模式时，利用VUI内的参数决定提取时刻的间隔， 在间隔可变模式时，利用Picture timing SEI内的参数决定提取时刻的间隔。

也就是说，图像编码装置，将间隔可变标志(variable_sub_pic_removal_period_ flag)，定义在Buffering period SEI。

而且，在解码单位标志(sub_pic_cpb_flag)的值为1的情况下，图像编码装置也可 以，将VUI内的hrd_parameters()中定义的removal_time_offset，存储到Buffering period SEI。

并且，图像编码装置也可以，将用于决定间隔固定模式的解码单元的从CPB的提取 时刻的参数(num_ctbs_in_subpicture_minus1及picture_interval)，存储到Buffering period SEI。

接着，说明本实施例涉及的由图像解码装置的图像解码方法的流程。

图6A是本实施例涉及的图像解码方法的流程图。

首先，图像解码装置，根据VUI中包含的解码单位标志(sub_pic_cpb_flag)的值， 决定从CPB的编码数据的提取是访问单元单位还是解码单元单位(S101)。

在从CPB的提取是解码单元单位的情况下(S102的“是”)，图像解码装置，根据VUI 中包含的间隔可变标志(variable_sub_pic_removal_period_flag)的值，决定模式是间隔 固定模式及间隔可变模式的哪一方(S103)。

在间隔固定模式的情况下(S104的“是”)，图像解码装置，根据VUI中包含的参数 (num_ctbs_in_subpicture_minus1及picture_interval)，决定解码单元的提取时刻 (S105)。

另一方面，在间隔可变模式的情况下(S104的“否”)，图像解码装置，根据Picture timing SEI中包含的参数(cpb_removal_delay)，决定解码单元的提取时刻(S106)。

并且，在从CPB的提取是访问单元单位的情况下(S102的“否”)，图像解码装置，根 据Picture timing SEI中包含的参数，决定访问单元的提取时刻(S107)。

接着，说明本实施例涉及的由图像编码装置的图像编码方法的流程。

图6B是本实施例涉及的图像编码方法的流程图。

首先，图像编码装置，决定从CPB的编码数据的提取是访问单元单位还是解码单元 单位。并且，图像编码装置，将示出决定结果的解码单位标志(sub_pic_cpb_flag)存储到 VUI(S201)。

在从CPB的提取是解码单元单位的情况下(S202的“是”)，图像编码装置，决定模式 是间隔固定模式及间隔可变模式的哪一方，将示出决定结果的间隔可变标志(variable_ sub_pic_removal_period_flag)存储到VUI(S203)。

在间隔固定模式的情况下(S204的“是”)，图像编码装置，决定解码单元的提取时 刻，将示出决定结果的参数(num_ctbs_in_subpicture_minus2及picture_interval)存储 到VUI(S205)。

另一方面，在间隔可变模式的情况下(S204的“否”)，图像编码装置，将用于决定解 码单元的提取时刻的参数(cpb_removal_delay)存储到Picture timing SEI(S206)。

并且，在从CPB的提取是访问单元单位的情况下(S202的“否”)，图像编码装置，将 用于决定访问单元的提取时刻的参数存储到Picture timing SEI(S207)。

而且，图像编码装置，例如，根据来自外部的指示，进行从CPB的编码数据的提取单 位(访问单元单位或解码单元单位)的选择、间隔固定模式或间隔可变模式的选择、解码单 元的提取时刻的决定、以及访问单元的提取时刻的决定。而且，图像编码装置也可以，按照 来自外部的信息及输入图像的特性等，进行这样的选择或决定。

在此，在利用间隔固定模式的情况下，图像编码装置，调整编码处理，以使各个解 码单元的数据量成为某范围内。据此，能够减少因某解码单元的数据大而引起的图像解码 装置的解码处理的延迟。也就是说，间隔固定模式是，在需要实时性的情况下有用的。另一 方面，在间隔可变模式中，图像编码装置能够，根据需要适应性地变更解码单元的数据量。 据此，例如，为了确保某种程度的画质，能够向需要大的数据的解码单元，分配大的数据。也 就是说，间隔可变模式是，在对优先画质的情况下有用的。

接着，说明本实施例涉及的图像解码装置的结构。

图7A是本实施例涉及的图像解码装置的方框图。如图7A示出，图像解码装置300具 备，CPB301、提取时刻决定部302、解码部303、以及DPB304。

CPB301是，用于暂时存储编码流的缓冲器(存储器)。

提取时刻决定部302，决定以访问单元单位的从CPB301的提取时刻、以及以解码单 元单位的从CPB301的提取时刻。

解码部303，在提取时刻决定部302所决定的提取时刻，将访问单元单位、或解码单 元单位的编码数据从CPB301获得，对获得的编码数据进行解码，将解码后的解码数据存储 到DPB304。

DPB304是，用于暂时存储解码数据的缓冲器(存储器)。

图7B是提取时刻决定部302的方框图。如图7B示出，提取时刻决定部302具备，提取 单位判定部311、访问单元提取时刻决定部312、模式判定部313、解码单元提取时刻决定部 314、以及提取时刻通知部315。

提取单位判定部311，判定从CPB301的编码数据的提取是访问单元单位、以及解码 单元单位的哪一方。

访问单元提取时刻决定部312，在编码数据的提取是访问单元单位的情况下，决定 访问单元的从CPB301的提取时刻。

模式判定部313，在编码数据的提取是解码单元单位的情况下，判定模式是间隔固 定模式及间隔可变模式的哪一方。

解码单元提取时刻决定部314，利用模式判定部313的判定结果，决定构成访问单 元的多个解码单元各自的从CPB301的提取时刻。

提取时刻通知部315，将访问单元提取时刻决定部312所决定的访问单元的提取时 刻、或解码单元提取时刻决定部314所决定的解码单元的提取时刻通知给解码部303。

图8A是本实施例涉及的图像编码装置的方框图。如图8A示出，图像编码装置400具 备，提取时刻决定部402、以及编码部403。

提取时刻决定部402，决定图像解码装置中的、以访问单元单位的从CPB的提取时 刻、以及以解码单元单位的从CPB的提取时刻。

编码部403，对输入图像进行编码。并且，编码部403，对示出提取时刻决定部402的 决定结果的信息进行编码。并且，编码部403，生成包含编码后的输入图像及编码后的信息 的编码比特流。

图8B是提取时刻决定部402的方框图。如图8B示出，提取时刻决定部402具备，提取 单位决定部411、访问单元提取时刻决定部412、模式决定部413、以及解码单元提取时刻决 定部414。

提取单位决定部411，决定图像解码装置中的、从CPB的编码数据的提取是访问单 元单位、以及解码单元单位的哪一方。

访问单元提取时刻决定部412，在编码数据的提取是访问单元单位的情况下，决定 访问单元的从CPB的提取时刻。

模式决定部413，在编码数据的提取是解码单元单位的情况下，决定模式是间隔固 定模式及间隔可变模式的哪一方。

解码单元提取时刻决定部414，利用模式决定部413的决定结果，决定构成访问单 元的多个解码单元各自的编码数据的从CPB的提取时刻。

所述各个处理部所决定的结果，由编码部403编码。

接着，说明示出解码单元单位的CPB提取时刻的SEI。

在间隔可变模式的情况下，在所述说明中，图像编码装置，Picture Timing SEI中 存储构成访问单元的每个解码单元的CPB提取时刻。

然而，根据本结构，代码量按每个解码单元变动，因此，图像编码装置，不能决定各 个解码单元的CPB提取时刻，直到访问单元内的所有的解码单元的编码结束为止。因而，图 像编码装置，不能决定Picture Timing SEI的数据，直到访问单元内的最后解码单元的编 码完成为止。并且，Picture Timing SEI，在访问单元内的开头的解码单元中被传输。其结 果为，图像编码装置，在各个解码单元的编码完成后，不能立即依次发送解码单元。在此，特 别是，在实时地传输内容时导致发送侧的延迟的增加。

于是，定义存储各个解码单元的CPB提取时刻的SEI。图像编码装置，在各个解码单 元内附加该SEI，从而在解码单元的编码完成后，能够立即发送解码单元的数据。

图9是示出作为存储解码单元单位的CPB提取时刻的SEI的Decoding Unit CPB Delay SEI的语法例的图。

本SEI是，在从CPB的提取工作是解码单元单位、且间隔可变模式的情况下有效的。 并且，本SEI示出，包含本SEI和片数据(存储在VCL NAL Unit中)的解码单元的CPB提取时 刻。

具体而言，本SEI包含，du_cpb_removal_delay。du_cpb_removal_delay示出，解码 单元的CPB提取时刻。

并且，在使用Decoding Unit CPB delay SEI的情况下，Picture Timing SEI示 出，访问单元单位的CPB提取时刻和DPB提取时刻。也就是说，解码单元单位的CPB提取时刻 由Decoding Unit CPB delay SEI管理。

图10及图11是示出访问单元的结构例的图。

如图10示出，各个解码单元包含，Decoding Unit CPB delay SEI和片数据。并且， 开头的解码单元还包含，Access Unit Delimiter、和Picture Timing SEI。Access Unit Delimiter示出，访问单元的开始。

而且，如图11示出，与Access Unit Delimiter同样，也可以导入示出解码单元的 开始的NAL单元(Decoding Unit Delimiter)。并且，对于访问单元内的开头的解码单元，也 可以由Access Unit Delimiter示出开始位置。

以下，说明本实施例涉及的图像编码方法及图像解码方法的变形例。

在图1及图2示出的例子中，图像编码装置，在间隔固定模式时，在VUI内存储了示 出每个解码单元的CPB提取时刻的间隔的信息，但也可以是，在VUI内不存储示出提取时刻 的间隔的信息，而根据预先规定的固定的间隔，在Picture Timing SEI内，设定CPB提取时 刻的信息。此时，在同一序列内，解码单元间的CPB提取时刻为一定，因此，Picture Timing SEI内的CPB提取时刻的信息也为一定。因此，在间隔固定模式时，图像解码装置，解析序列 的开头访问单元中的CPB提取时刻的信息，在以后的访问单元中能够利用开头访问单元中 获得的CPB提取时刻的信息。

并且，在图10及图11的例子中，由Decoding Unit Delimiter示出解码单元的边 界，但是，在构成解码单元的片数据的NAL单元为固定数的情况下，可以不利用Decoding Unit Delimiter。在此情况下，图像解码装置也可以，根据片数据的NAL单元判定解码单元 的边界。例如，图像编码装置，在解码单元中包含的片数据的NAL单元为1个的情况下，设定 为访问单元的开头解码单元从Access Unit Delimiter开始，设定为第二以后的解码单元， 分别从第二以后的片数据的NAL单元开始。据此，图像解码装置，能够判定解码单元的边界。

接着，说明向MPEG－2TS的数据包多路复用方法。

对于示出编码数据的从CPB的提取单位是访问单元单位、或解码单元单位的哪一 方的信息，会影响到解码及显示等的系统工作，因此，优选的是，在解码之前通过与编码流 不同的手段来能够通知。并且，在提取单位是解码单元单位的情况下，示出间隔固定模式和 间隔可变模式的判别的信息也同样。

例如，通过利用描述符，能够将这样的信息作为程序信息的一部分从图像编码装 置传输到图像解码装置。而且，除了利用描述符的方法以外，还可以在对提取单元单位利用 访问单位时、和在利用解码单元单位时，利用不同的stream_id或program_id，从而从图像 编码装置向图像解码装置通知提取单位。

图12示出该描述符的一个例子。图12示出的sub_pic_cpb_removal_flag是，示出 编码数据的从CPB的提取单位是访问单元单位、还是解码单元单位的标志。在该标志的值为 1的情况下，提取单位是解码单元单位，在标志的值为0的情况下，提取单位是访问单元单 位。

variable_sub_pic_removal_period_flag是，示出解码单元的从CPB的提取间隔 是固定模式、或间隔可变模式的哪一方的标志。在该标志的值为1的情况下，模式是间隔可 变模式，在标志的值为0的情况下，模式是间隔固定模式。

sub_pic_removal_period是，仅在间隔固定模式时有效的。该sub_pic_removal_ period，示出连续的解码单元的从CPB的提取时刻的差分(解码单元间的提取时刻的间隔)。

而且，图像编码装置也可以，不将直接示出提取时刻的差分的信息发送给图像解 码装置，而将以解码顺序连续的访问单元间的解码时刻的间隔、以及构成访问单元的解码 单元的数量发送给图像解码装置。在此情况下，图像解码装置能够，利用这样的信息，通过 计算获得差分。

并且，图像编码装置也可以，将CPB提取时刻的差分，不是包含在描述符中，而是包 含在由PES数据包传输的编码数据(SPS，或Picture Timing SEI等)中。在此情况下，图像解 码装置，从SPS或Picture Timing SEI等获得CPB提取时刻的差分。

并且，图像编码装置也可以，将示出构成访问单元的解码单元的数量是否为固定 的信息发送给图像解码装置。进而，图像编码装置也可以，在构成访问单元的解码单元的数 量为固定的情况下，将示出构成访问单元的解码单元的数量的信息发送给图像解码装置。 据此，图像解码装置，能够识别例如访问单元中包含的最后的解码单元。

并且，若帧率为固定，图像解码装置，帧的解码时刻的间隔，除以解码单元的数量， 从而能够决定各个解码单元的CPB提取时刻。据此，图像解码装置，在从PES数据包的头部获 得访问单元的解码时刻的阶段，能够决定该访问单元的各个解码单元的CPB提取时刻。

在此，在MPEG－2TS的PES数据包中，能够附加解码时刻(DTS：Decoding Time Stamp)的最小单位是访问单元。因此，图像解码装置，将解码单元的解码时刻，从图12示出 的描述符内、或编码流内的信息获得，并通知给解码部。

图13是用于通知解码单元的解码时刻的STD(System Target Decoder)的方框图。

该STD500是，本实施例涉及的图像解码装置的一个例子，包括TS多路信号分离器 501、TB502(Transport Buffer)、MB503(Multiplexing Buffer)、EB504(Elementary stream Buffer)、解码部505、解码单元提取时刻决定部506、以及DPB507(Decoded Pictre Buffer)。

按照提取单位是访问单元或解码单元的哪一方，切换提取单位和提取时刻的决定 方法。

STD500，在以访问单元单位工作时，根据PES数据包的DTS工作，在以解码单元单位 工作时，根据另外获得的解码单元的提取时刻工作。

STD500，在提取单位是解码单元的情况下，将访问单元的开头的解码单元的提取 时刻作为PES数据包的DTS利用。

TS多路信号分离器501，根据PID对输入流中包含的数据进行滤波，从而进行分类。 具体而言，TS多路信号分离器501，将输入流中包含的描述符等的程序信息输出到解码单元 提取时刻决定部506。并且，TS多路信号分离器501，将包含HEVC的编码数据的TS数据包输出 到TB502。该编码数据，通过MB503及EB504，输入到解码部505及解码单元提取时刻决定部 506。

解码单元提取时刻决定部506，根据描述符等中包含的信息判定STD500的工作单 位是解码单元单位、还是访问单元单位。进而，解码单元提取时刻决定部506，在工作单位是 解码单元单位的情况下，获得解码单元的解码时刻，将该解码时刻通知给解码部505。

具体而言，在模式是间隔固定模式、且描述符中示出解码单元的CPB提取时刻的间 隔T的情况下，解码单元提取时刻决定部506，根据从PES数据包头获得的访问单元的解码时 刻(DTS)和间隔T，决定解码单元的解码时刻。

另一方面，在模式是间隔可变模式的情况下，解码单元提取时刻决定部506，通过 解析Picture Timing SEI、或Decoding Unit CPB delay SEI等，决定解码单元的解码时 刻。

并且，在STD500的工作单位是访问单元单位的情况下，如以往那样，STD500，根据 PES数据包的DTS等，以访问单元单位工作。

解码部505，根据从解码单元提取时刻决定部506通知的解码单元的提取时刻，从 EB504提取解码单元中包含的编码数据。

并且，解码部505，根据Decoding Unit Delimiter、或存储片数据的NAL单元的开 始位置，决定解码单元的边界。

而且，解码单元提取时刻决定部506也可以，检测解码单元的边界，将解码单元的 数据尺寸通知给解码部505。

在此情况下，解码部505从EB504提取被通知的数据尺寸的数据。

DPB507，存储由解码部505生成的解码数据。

而且，对于图像编码装置的工作，除了各种信息的存储目的地变更为描述符之处 以外，与所述的说明同样。

以下，说明PES数据包的DTS设定方法的变形例。

在图像解码装置，将PES数据包的DTS作为开头解码单元的CPB提取时刻(＝解码时 刻)来利用的情况下，不能确保对不与以解码单元单位的工作对应的接收机的兼容性。因 此，图像解码装置，如以往那样，将PES数据包的DTS，作为访问单元的解码时刻来利用。并 且，也可以是，图像编码装置，在PES数据包头的扩展区域存储解码单元的解码时刻信息，图 像解码装置，利用该解码时刻信息。

例如，图像编码装置，在所述扩展区域，可以按照解码顺序列举构成访问单元的各 个解码单元的解码时刻，也可以存储示出各个解码单元的解码时刻与PES数据包的DTS的差 分的信息。

并且，图像编码装置也可以，在间隔固定模式时，在所述扩展区域，仅存储示出访 问单元内的开头的解码单元的解码时刻的信息。

并且，图像解码装置也可以，将PES数据包中包含的DTS作为访问单元的DTS来利 用，解析编码流，从而获得解码单元的DTS。

并且，在提取单位是解码单元单位的情况下，图像编码装置也可以，在PES数据包 中，以解码单元单位赋予DTS。此时，解码单元提取时刻决定部506，参考被存储在PES数据包 的头部的DTS，从而能够决定解码单元的DTS。

以下，说明进行以解码单元单位的从CPB的提取时的效果。

图14A是示出以访问单元单位进行提取时的EB504中的编码数据的缓冲器占有量 的转变的图。图14B是示出以解码单元单位进行提取时的EB504中的编码数据的缓冲器占有 量的转变的图。

在如图14B所示以解码单元单位进行提取的情况下，依次提取解码单元的编码数 据，因此，与图14A所示以访问单元单位进行提取的情况相比，EB504的缓冲器占有量减少。 因此，在以解码单元单位进行从CPB的提取的情况下，与访问单元单位相比，能够减少EB504 的尺寸。

而且，图像编码装置也可以，将示出进行以解码单元单位的提取时需要的EB尺寸 的信息，包含在描述符等中，来传输到图像解码装置。据此，图像解码装置能够，根据该EB尺 寸确保EB504。

以下，说明在图像解码装置中，计算解码单元的从CPB的提取时刻的间隔的方法。

图像解码装置，将以解码顺序连续的两个访问单元的解码时刻的间隔(picture_ interval)，除以构成访问单元的解码单元的个数(num_ctbs_in_subpicture_minus1)的 值，作为间隔固定模式的提取时刻的间隔来利用。

例如，在访问单元的解码时刻的间隔是50msec，构成访问单元的解码单元是5个的 情况下，解码单元的提取时刻的间隔是50/5＝10msec。

而且，在访问单元的帧率为固定的情况下，图像解码装置能够，根据帧率和解码单 元数决定解码单元的提取时刻的间隔。因此，也可以是，图像编码装置，在此情况下，不传输 提取时刻的间隔，图像解码装置，通过计算获得提取时刻的间隔。

但是，在帧率为可变的情况下，不能从帧率唯一地决定提取时刻的间隔。因此，图 像编码装置，将示出提取时刻的间隔的信息包含在MPEG－2TS、或编码流内来传输。

以下，说明将本实施例适用到MPEG－2TS以外的多路复用方式的情况。

对于多路复用方式，除了MPEG－2TS以外，还有下载分发中一般利用的MP4、以及流 媒体中广泛地利用的RTP(Real－time Transport Protocol)等，也能够将本实施例涉及的 编码流，适用到这样的多路复用方式。

首先，说明对MP4适用本实施例涉及的编码流的情况。

图像编码装置，将在MPEG－2TS中描述在描述符中的信息，存储到MP4中定义的构 造的Box内。具体而言，图像编码装置，在存储对编码数据进行解码时的初始化信息的Box等 存储所述信息。并且，在从CPB的提取是解码单元单位的情况下，图像编码装置也可以，将示 出每个解码单元的解码时刻的信息存储到Box。

并且，在MP4中利用与访问单元对应的称为样本的单位。图像编码装置也可以，将 用于访问样本中包含的解码单元的地址信息，添加在样本单位的地址信息中来存储。

接着，说明对RTP适用本实施例涉及的编码流的情况。

图像编码装置，将在MPEG－2TS中描述在描述符中的信息，描述在RTP数据包的有 效负载头、或交换有关RTP通信的补助信息的SDP(Session Description Protocol)、或SIP (Session Initiation Protocol)等中。

而且，图像编码装置也可以，按照从CPB的提取单位是访问单元单位、以及解码单 元单位的哪一方，切换数据包化的单位。例如，图像编码装置，在提取单位是解码单元单位 的情况下，将一个RTP数据包作为一个解码单元来传输。进而，图像编码装置，将示出数据包 化的单位的信息，通过SDP等的补助信息通知给图像解码装置。

进而，图像编码装置也可以，按照从CPB的提取单位，切换描述在RTP数据包的有效 负载头中的解码时刻的存储方法。例如，图像编码装置，在提取单位是访问单元单位的情况 下，以访问单元单位附加解码时刻，在提取单位是解码单元单位的情况下，以解码单元单位 附加解码时刻。

并且，图像编码装置，在提取单位是解码单元单位、且间隔固定模式时，也可以仅 示出访问单元中包含的开头解码单元的解码时刻。在此情况下，图像解码装置，针对后续的 解码单元，例如，利用默认的间隔。据此，能够削减解码时刻的传输所需要的代码量。

如上所述，本实施例涉及的图像解码方法，按图片(访问单元)中包含的每一个以 上的单元(解码单元)，对编码数据进行解码。如图15示出，图像解码装置，将示出是否以单 元单位设定从用于存储编码数据的缓冲器(CPB)中读出编码数据的时刻的第一标志(解码 单位标志)，从包含编码数据的编码比特流获得(S121)。

接着，图像解码装置，在以单元单位设定读出编码数据的时刻的情况下，将示出多 个单元的读出时刻的间隔是一定还是任意的第二标志(间隔可变标志)，从编码比特流获得 (S122)。

接着，图像解码装置，根据第二标志，按每个解码单元，以一定的间隔、或任意的间 隔，从缓冲器读出编码数据(S124及S125)。具体而言，图像解码装置，在第二标志示出间隔 为任意的情况下(S123的“是”)，以可变间隔读出解码单元的编码数据(S124)。并且，图像解 码装置，在第二标志示出间隔为一定的情况下(S123的“否”)，以固定间隔读出解码单元的 编码数据(S125)。

而且，图像解码装置，对步骤S124或S125中读出的解码单元的编码数据进行解码 (S126)。

据此，图像解码装置，例如，在间隔为一定的情况下，能够根据一个固定的间隔，决 定多个解码单元的时间间隔。因此，能够减少图像解码装置的处理量。

并且，本发明的实施例涉及的图像编码方法，对图片(访问单元)中包含的一个以 上的单元(解码单元)进行编码。如图16示出，图像编码装置，生成示出是否以单元单位设定 虚拟参考解码器从用于存储编码数据的缓冲器(CPB)中读出编码数据的时刻的第一标志 (解码单位标志)(S221)。接着，图像编码装置，生成示出读出编码数据的时刻的间隔是一定 还是任意的第二标志(间隔可变标志)(S222)。接着，图像编码装置，生成包含编码数据、第 一标志及第二标志的编码比特流(S223)。

并且，如上所述，图像编码装置，按包含一个以上的图片的每个图片组(图片小组) 生成第二标志。并且，图像编码装置，将第二标志包含在编码比特流中包含的、按每个图片 组设定的图片组的控制信息(头部)中。也就是说，图像解码装置，从图片组的控制信息获得 第二标志。

在此，图片组是，例如，多个图片(序列)单位。并且，图片组的控制信息是，SPS，更 具体而言，是SPS中包含的VUI。而且，图片组的控制信息也可以是，MPEG－2TS的描述符。

并且，图像编码装置，在第二标志示出间隔为一定(间隔固定模式)的情况下，生成 示出该作为固定的间隔的固定间隔信息。在此，固定间隔信息示出，例如，一个图片(访问单 元)中包含的多个解码单元的数量(num_ctbs_in_subpicture_minus1)、和图片的时间间隔 (picture_interval)。图像解码装置，利用这样的多个解码单元的数量、和图片的时间间 隔，计算作为固定的间隔，以计算出的间隔按每个解码单元，从缓冲器读出编码数据。

并且，图像编码装置，与第二标志相同，将固定间隔信息，包含在图片组的控制信 息(例如VUI)中。也就是说，图像解码装置，在第二标志示出间隔为一定(间隔固定模式)的 情况下，从图片组的控制信息获得示出该间隔的固定间隔信息。并且，图像解码装置，在第 二标志示出间隔为固定(间隔固定模式)的情况下，以固定间隔信息示出的间隔，按每个解 码单元，从缓冲器读出编码数据。而且，图像编码装置也可以，将固定间隔信息，包含在按每 一个图片单位设定的一个图片单位的控制信息(例如，Picturetiming SEI)中。也就是说， 图像解码装置，在第二标志示出间隔为一定(间隔固定模式)的情况下，从一个图片单位的 控制信息获得示出该间隔的固定间隔信息。

并且，在第二标志示出时间间隔为任意(间隔可变模式)的情况下，图像编码装置， 生成示出多个解码单元各自的读出时刻的间隔的可变间隔信息(cpb_removal_delay)。并 且，图像编码装置，将该可变间隔信息，包含在编码比特流中包含的、按每一个图片单位设 定的一个图片单位的控制信息(例如，Picture timing SEI)中。也就是说，图像解码装置， 在第二标志示出间隔为任意(间隔可变模式)的情况下，从一个图片单位的控制信息获得可 变间隔信息。而且，图像解码装置，以可变间隔信息示出的间隔，按每个解码单元，从缓冲器 读出编码数据。

而且，图像编码装置也可以，将该可变间隔信息，包含在编码比特流中包含的、以 一个解码单元单位设定的一个单元单位的控制信息(例如，Decoding Unit CPB delay SEI)中。也就是说，图像解码装置也可以，从一个解码单元单位的控制信息获得可变间隔信 息。

并且，也可以是，编码比特流包含传输流(TS)、和描述符，图像编码装置，将第二标 志包含在描述符中。也就是说，图像解码装置也可以，从描述符获得第二标志。

以下，说明图像编码装置具备的编码部403以及图像解码装置具备的解码部303或 505的基本结构。

图17是作为编码部403的一个例子的编码部100的方框图。该编码部100，例如，以 低比特率对声音数据及运动图像数据进行编码。

图17示出的编码部100，对输入图像信号101进行编码，从而生成编码信号191。该 编码部100具备，减法部110、变换部120、量化部130、逆量化部140、逆变换部150、加法部 160、存储器170、预测部180、以及熵编码部190。

减法部110，从输入图像信号101减去预测信号181来生成预测误差信号111(变换 输入信号)，将生成的预测误差信号111输出到变换部120。

变换部120，对预测误差信号111进行频率变换，从而生成变换输出信号121。具体 而言，变换部120，将预测误差信号111、或对预测误差信号111加以某种处理后的变换输入 信号，从时空域变换为频域，从而生成减轻了相关性的变换输出信号121。

量化部130，对变换输出信号121进行量化，从而生成总数据量少的量化系数131。

熵编码部190，利用熵编码算法，对量化系数131进行编码，从而生成更压缩了冗余 性的编码信号191。

逆量化部140，对量化系数131进行逆量化，从而生成解码变换输出信号141。逆变 换部150，对解码变换输出信号141进行逆变换，从而生成解码变换输入信号151。

加法部160，将解码变换输入信号151和预测信号181相加，从而生成解码信号161。 存储器170存储解码信号161。

预测部180，根据帧内预测或帧间预测等的预测方法，从存储器170获得规定的信 号，根据该预测方法，以规定的方法生成预测信号181。具体而言，预测部180，决定编码效率 成为最大的预测方法，利用决定的预测方法，生成预测信号181。并且，示出该预测方法的信 息，根据需要，在熵编码部190中被熵编码。

在此，逆量化部140、逆变换部150、加法部160、存储器170、以及预测部180也是在 图像解码装置中具备的结构，解码信号161，相当于图像解码装置中获得的再生图像信号 (解码信号261)。

图18是作为解码部303及505的一个例子的解码部200的方框图。图18示出的解码 部200，对编码信号191进行解码，从而生成解码信号261。该解码部200具备，逆量化部240、 逆变换部250、加法部260、存储器270、预测部280、以及熵解码部290。

熵解码部290，对编码信号191进行熵解码，从而生成量化系数231、以及预测方法 291。

逆量化部240，对量化系数231进行逆量化，从而生成解码变换输出信号241。逆变 换部250，对解码变换输出信号241进行逆变换，从而生成解码变换输入信号251。

加法部260，将解码变换输入信号251和预测信号281相加，从而生成解码信号261。 该解码信号261是，由解码部200得到的再生图像，作为解码部200的输出信号被输出，并且 被存储到存储器270。

预测部280，根据预测方法291从存储器270获得规定的信号，根据预测方法291，以 规定的方法生成预测信号281。

以上，说明了实施例涉及的图像编码装置以及图像解码装置，不过本发明不仅限 于该实施例。

此外，所述实施例涉及的图像编码装置以及图像解码装置包含的各个处理部典型 地可以作为集成电路的LSI来实现。这些可以将每一个制成一个芯片，也可以将一部分或者 全部制成一个芯片。

还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实 现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。

在所述各个实施例，各个构成要素可以用专用的硬件来构成，或者通过执行适合 各个构成要素的软件程序来实现。各个构成要素，通过CPU或处理器等的程序执行部读出并 执行硬盘或半导体存储器等记录介质上记录的软件程序来实现

换而言之，图像编码装置及图像解码装置具备，控制电路(control circuitry)、 以及与该控制电路电连接的(从该控制电路能够访问的)存储装置(storage)。控制电路，至 少包含专用的硬件及程序执行部的一方。并且，存储装置，在控制电路包含程序执行部的情 况下，存储由该程序执行部执行的软件程序。

加之，本发明可以是所述软件程序，也可以是所述程序被记录的非一时的计算机 可读取的记录介质。此外，所述程序能够经由互联网等的传输介质来流通。

此外，所述使用的数字都是为了具体地说明本发明的示例，本发明不被例示的数 字所限制。

此外，在方框图中的功能块的分割只是一例，可以将多个功能块作为一个功能块 来实现，或者将一个功能块分割为多个，或者将一部分功能转移到其他的功能块。此外，将 具有类似的功能的多个功能块的功能，用单一的硬件或者软件并行或者分时地处理。

此外，所述的图像编码方法或者图像解码方法中包含的步骤执行的顺序，是为了 具体地说明本发明示出的例子的顺序，也可以是所述以外的顺序。此外，所述步骤的一部分 可以与其他的步骤同时(并行)执行。

以上，针对本发明的一个或多个方案涉及的图像编码装置以及图像解码装置，根 据实施例来进行了说明，不过，本发明不是被这些实施例所限制的。只要不超出本发明的宗 旨，则技术者想出的各种变形例实施在各个实施例的例子，对不同实施例中的构成要素进 行组合而构筑的例子也都包括在本发明的一个或者多个方案的范围中。

(实施例2)

将用于实现所述各个实施例示出的运动图像编码方法(图像编码方法)或运动图 像解码方法(图像解码方法)的构成的程序记录到存储媒体，从而所述各个实施例示出的处 理，能够在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导 体存储器等，只要能够记录程序就可以。

加之在这里说明，所述各个实施例示出的运动图像编码方法(图像编码方法)和运 动图像解码方法(图像解码方法)的应用例以及使用那些的系统。该系统的特征是具有图像 编解码装置，该图像编解码装置由利用图像编码方法的图像编码装置以及利用图像解码方 法的图像解码装置组成。关于系统中的其外构成，按照情况能够恰当地变更。

图19是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务 的提供区域划分为所希望的大小，在各个单元内分别设置有作为固定无线局的ex106、 ex107、ex108、ex109、ex110。

在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：personal digital assistant)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各种设备通过互联网服 务提供商ex102和电话网ex104、以及ex106至ex110，与互联网ex101相连接。

然而，内容提供系统ex100并非局限于图19所示的构成，也可以对任意的要素进行 组合后连接。并且，可以不通过作为固定无线局的ex106至ex110，而是各个设备直接与 电话网ex104相连接。并且，也可以是各个设备通过近场无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相 机等能够拍摄静止图像以及运动图像的设备。并且便携式电话ex114是GSM(注册商标) (Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W－CDMA(Wideband－Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA (High－Speed Packet Access：高速分组接入)的便携式电话，或PHS(Personal Handy－ phone System：个人手持式电话系统)等，可以是其中任一个。

在内容提供系统ex100中，摄像机ex113等通过ex109、电话网ex104与流播放 服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的 内容(例如音乐实况的影像等)进行在上述的各个实施例所说明的编码处理(即作为本发明 的图像编码装置来发挥作用)，并发送到流播放服务器ex103。另外，流播放服务器ex103针 对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述 的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、以及游戏 机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生(即作 为本发明的图像解码装置来发挥作用)。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送 处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可 以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于 摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据，也可以通过计 算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机 ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这些编码处理以及解码处理通常在计算机ex111以及各个设备所具有的LSI (Large Scale Integration：大规模集成电路)ex500中处理。LSIex500可以由一个芯片构 成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及运动图像解码用的软件安 装到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中，并利用该软件 来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有相机的情况下，也可以 发送由该相机获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话ex114 所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散 地处理、记录、分发的装置。

如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在 这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能 够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

并且，不仅限于内容供给系统ex100的例子，如图20所示，在数字广播用系统ex200 上也能够组装上述各个实施例所示的运动图像编码装置(图像编码装置)以及运动图像解 码装置(图像解码装置)中的任一个。具体而言，在广播电台ex201，影像数据上多路复用了 音乐数据的多路复用数据通过电波来通信或被传输到卫星ex202。这个影像数据是根据所 述各个实施例说明的运动图像编码方法被编码的数据(即根据本发明的图像编码装置被编 码的数据)。接收了这些的广播卫星ex202发送用于广播的电波，这些电波由能够进行卫星 广播接收的家庭的天线ex204来接收。接收的多路复用数据由电视机(接收机)ex300或机顶 盒(STB)ex217等装置进行解码并再生(即作为本发明的一个方案涉及的图像解码装置发挥 作用)。

并且，在用于读取并解码DVD、BD等记录介质ex215中所记录的多路复用数据、或者 将影像信号编码、进而有时与音乐信号多路复用后进行写入的阅读器/记录器ex218上，也 能够安装上述各个实施例所示的运动图像解码装置或运动图像编码装置。在这种情况下， 被再生的影像信号能够被显示在监视器ex219，并且能够由记录了多路复用数据的记录介 质ex215在其他的装置或系统中再生影像信号。并且，也可以将运动图像解码装置安装到与 有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机 的监视器ex219上显示。此时，可以不组装到机顶盒，而将运动图像解码装置组装到电视机 内。

图21示出了利用了在上述的各个实施例中说明的运动图像解码方法以及运动图 像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播 的天线ex204或电缆ex203等获得或者输出影像数据上多路复用了声音数据的多路复用数 据；调制/解调部ex302，解调接收的多路复用数据，或者为了将多路复用数据发送到外部而 进行调制；以及多路复用/分离部ex303，对解调的多路复用数据分为影像数据和声音数据， 或者在信号处理部ex306进行了编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306 具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理 部ex304和影像信号处理部ex305(作为本发明的图像编码装置或者图像解码装置发挥作 用)；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的 影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口 部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制 各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具 有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥 ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的 驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存 储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过 同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再 生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有 CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分 离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部ex304进行解 码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行 解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了 使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并 且，电视机ex300可以不从广播等读出多路复用数据，而是从磁性/光盘、SD卡等记录介质 ex215、ex216中读出多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及 影像信号进行编码，并发送到外部或写入到记录介质等的构成。电视机ex300接受来自远程 控制器ex220等的用户的操作，并根据控制部ex310的控制，利用在上述的实施例中说明的 编码方法，在声音信号处理部ex304对声音信号进行编码，并在影像信号处理部ex305对影 像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并 被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂 时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具 备多个，也可以是共享一个以上的缓冲器的构成。而且，除图中所示以外，例如可以在调制/ 解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部分，在 缓冲器中蓄积数据。

并且，电视机ex300除具有获得来自广播以及记录介质等的声音数据以及影像数 据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些 获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路 复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行 上述的接收、解码处理以及外部输出的构成。

并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下， 上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进 行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

作为一个例子，图22示出了从光盘进行数据的读取或写入的情况下的信息再生/ 记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401、ex402、 ex403、ex404、ex405、ex406、ex407。光学头ex401将激光照射到作为光盘的记录介质ex215 的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记 录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光 的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光 进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、 解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记 录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部 ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码 道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控 制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保 持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边 使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头 ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及 写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学来 进行高密度的记录。

图23是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽 (槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化示出盘上的绝 对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231 是记录数据的单位，在进行记录以及再生的装置能够通过再生代码道ex230以及读取地址 信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及 外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域 ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊 用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码 的声音数据、影像数据或对这些数据进行多路复用后的多路复用数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以 是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用 了各种不同波长的颜的光的信息，或者可以是从各种角度记录不同的信息的层等的具有 进行多维的记录/再生的构成的光盘。

此外，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202 等接收数据，并在车辆ex210具有的车辆导航系统211等的显示装置再生运动图像。另外，关 于车辆导航系统ex211的构成可以考虑成在图21示出的构成中添加GPS接收部，同样也可以 考虑在计算机ex111和便携式电话ex114等上。

图24A是示出了利用了在上述的实施例所说明的运动图像编码方法和运动图像解 码方法的便携式电话ex114的图。便携式电话ex114具有：天线ex350，用于在与ex110之 间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示 在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示 器等。便携式电话ex114还具有：具有操作键部ex366的主体部、声音输出部ex357，是用于输 出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于 保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解 码的数据；或者同样是保存数据的记录介质之间的接口的插槽部ex364。

进一步利用图24B对便携式电话ex114的构成例进行说明。在便携式电话ex114中， 针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各个部的主控制部 ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机接口部 ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、多路 复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线 ex370相互连接。

电源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态 下，通过从电池组向各个部提供电力，从而启动便携式电话ex114，使其成为能够工作的状 态。

便携式电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音 通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声 音信号，并在调制/解调部ex352进行扩频(Spread Spectrum)处理，在发送/接收部ex351进 行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，便携式电话ex114在声 音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数 转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为 模拟声音信号之后，将其从声音输出部ex356输出。

并且，在数据通信模式时发送的情况下，通过主体部的操作键部ex366等 的操作被输入的的文本数据经由操作输入控制部ex362被发送到主控制部ex360。 主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行 数模转换处理以及频率转换处理之后，经由天线ex350发送到ex110。在接收 的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。

在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部 ex355，将从摄像机部ex365提供的影像信号，按照所述各个实施例表示的运动图像编码方 法来进行压缩编码(即，作为本发明的一个方式涉及的图像编码装置来发挥作用)，并将被 编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部 ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码 的声音数据发送到多路复用/分离部ex353。

多路复用/分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编 码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通 过多路复用而得到的多路复用数据在调制/解调部(调制/解调电路部)ex352进行扩频处 理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发 送。

在数据通信模式时，接收被链接在主页等的运动图像文件的数据的情况下，或者 接收被添加了影像及/或声音的的情况下，为了经由天线ex350解码被接收的多路 复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声 音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355， 并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与所述 各个实施例示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号 (即，作为本发明的图像解码装置来发挥作用)，通过LCD控制部ex359在显示部ex358显示例 如被链接在主页的运动图像文件中包含的影像、静止图像。此外，声音信号处理部ex354解 码声音信号，从声音输出部ex357输出声音。

并且，上述便携式电话ex114等终端与电视机ex300同样，除可以考虑到是具有编 码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终 端，以及仅具有解码器的接收终端的共三种形式。并且，上述说明了在数字广播用系统 ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除 了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不 是多路复用数据。

这样，在上述的实施例所示的图像编码方法或图像解码方法能够适用于上述的任 一个设备以及系统，这样，能够得到在上述的实施例中说明的效果。

此外，本发明不仅限于所述的实施例，可以不脱离本发明的范围而进行各种变形 或修改。

(实施例3)

可以按照需要适宜地切换上述的各个实施例所示的运动图像编码方法或装置与 依照MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置，来生成影像数 据。

在这里，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选 择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的 数据，所以产生不能选择恰当的解码方法这样的课题。

为了解决这个课题可以是在影像数据上多路复用了声音数据等的多路复用数据 包含识别信息的构成，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述 的各个实施例所示的运动图像编码方法或装置生成的影像数据的多路复用数据的具体构 成。多路复用数据是MPEG－2传输流形式的数字流。

图25是表示多路复用数据的构成的图。如图25所示多路复用数据是通过对如下流 中的一个以上进行多路复用而得到的数据：视频流，音频流，字幕流(presentation graphics：PG)，交互式图形流(interactive graphics stream)。视频流表示电影的主影像 以及副影像，音频流(IG)表示电影的主声音部分和与主声音混合的副声音，字幕流表示电 影的字幕。在这里，主影像表示在画面显示的通常的影像，副影像是指在主影像中以小画面 显示的影像。还有，交互式图形流示出通过在画面上配置图形用户界面元件而作成的对话 画面。视频流，根据上述的各个实施例所示的运动图像编码方法或装置，以及以往的MPEG－ 2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置被编码。音频流，根据杜比AC－3、 Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等方式被编码。

多路复用数据中包含的各个流由PID被识别。例如，针对用于电影的影像的视频流 分配0x1011，针对音频流分配从0x1100到0x111F，针对字幕流分配从0x1200到0x121F，针对 交互式图形流分配从0x1400到0x141F，针对用于电影的副影像的视频流分配从0x1B00到 0x1B1F，针对用于与主声音混合的副声音的音频流分配从0x1A00到0x1A1F。

图26是表示多路复用数据怎样被多路复用的模式图。首先，由多个视频帧组成的 视频流ex235、由多个音频帧组成的音频流ex238，分别变换为PES数据包列ex236以及 ex239，变换为TS数据包ex237以及ex240。同样地将字幕流ex241及交互式图形ex244的数 据，分别变换为PES数据包列ex242以及ex245，进一步变换为TS数据包ex243以及ex246。多 路复用数据ex247，将这些TS数据包多路复用在1个流上而被构成。

图27是更加详细地表示在PES数据包列中视频流怎样被存储的图。在图27的第一 段示出视频流的视频帧列。第二段示出PES数据包列。如图27的箭头yy1,yy2,yy3,yy4所示， 作为视频流中的多个Video Presentation Unit的I图片，B图片，P图片，按每个图片被分 割，存储到PES数据包的有效负载中。各个PES数据包拥有PES头，PES头中存储了作为图片的 显示时刻的PTS(Presentation Time－Stamp：显示时间戳)、作为图片的解码时刻的DTS (Decoding Time－Stamp：解码时间戳)。

图28示出最终被写入到多路复用数据中的TS数据包的形式。TS数据包是具有识别 流的PID等的信息的4Byte的TS头以及存储数据的184Byte的TS有效负载所构成的188Byte 定长的数据包，所述PES数据包被分割被存储到TS有效负载。在是BD－ROM的情况下，TS数据 包被赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据。在 TP_Extra_Header上记载了ATS(Arrival_Time_Stamp)等的信息。ATS表示该TS数据包向解 码器的PID滤波器的传输开始时刻。在多路复用数据中如图28的下段所示排列了源数据包， 从多路复用数据的开头增加的编号被称为SPN(源数据包编号)。

此外，多路复用数据中包含的TS数据包中除了影像、声音、字幕等各个流以外，还 有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射 表)、PCR(Program Clock Reference：节目时钟基准)等。PAT表示多路复用数据中所利用的 PMT的PID是什么，PAT自身的PID登记为0。PMT具有多路复用数据中包含的影像、声音、字幕 等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各 种描述符。描述符具有复制控制信息等，该复制控制信息指示多路复用数据的复制许可、不 许可。PCR为了使作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的 STC(System Time Clock)同步，具有与该PCR数据包传输到解码器的ATS对应的STC时间的 信息。

图29是详细地说明PMT的数据构成的图。PMT的开头设置了PMT头，用于记载该PMT 中包含的数据的长度等。在其之后设置了多个与多路复用数据有关的描述符。上述复制控 制信息等作为描述符被记载。在描述符之后设置了多个与多路复用数据中包含的各个流有 关的流信息。流信息，为了识别流的压缩编解码等，由记载了流类型、流的PID、流的属性信 息(帧速率、纵横比等)的流描述符所构成。流描述符的数量与在多路复用数据中存在的流 的数量相同。

在记录介质等记录的情况下，上述多路复用数据与多路复用数据信息文件一起被 记录。

如图30所示多路复用数据信息文件是多路复用数据的管理信息，与多路复用数据 1对1地对应，其由多路复用数据信息、流属性信息以及项映射(entry map)所构成。

多路复用数据信息如图30所示，由系统速率、再生开始时刻、再生结束时刻所构 成。系统速率表示多路复用数据向着后述的系统目标解码器的PID滤波器的最大传输速率。 多路复用数据中包含的ATS的间隔，被设定为是系统速率以下。再生开始时刻是多路复用数 据的开头的视频帧的PTS，再生结束时刻被设定为，在多路复用数据的尾端的视频帧的PTS 加上1帧的再生间隔。

流属性信息如图31所示，按每个PID登记包含在多路复用数据中的各个流的属性 信息。属性信息按照每个视频流、音频流、字幕流、交互式图形流，具有不同的信息。视频流 属性信息具有如下信息：该视频流以怎样的压缩编解码被压缩、构成视频流的各个图片数 据的分辨率是多少、纵横比是多少、帧速率是多少等信息。音频流属性信息，具有如下信息： 该音频流以怎样的压缩编解码被压缩、该音频流中包含的频道数是多少、与什么语言对应、 采样频率是多少等信息。这些信息，用于在播放器再生之前的解码器的初始化等。

在本实施例，利用所述多路复用数据中的PMT中包含的流类型。此外，在记录介质 中记录了多路复用数据的情况下，利用多路复用数据信息中包含的视频流属性信息。具体 而言，在上述各个实施例表示的运动图像编码方法或装置中，针对PMT中包含的流类型、或 视频流属性信息，设置设定固有的信息的步骤或单元，该固有的信息表示由上述各个实施 例示出的运动图像编码方法或装置所生成的影像数据。根据该构成，能够识别由所述各个 实施例表示的运动图像编码方法或装置所生成的影像数据与依据其他的标准的影像数据。

此外，图32表示在本实施例的运动图像解码方法的步骤。在步骤exS100，从多路复 用数据中获得PMT中包含的流类型、或者多路复用数据信息中包含的视频流属性信息。接 着，在步骤exS101，判断流类型或视频流属性信息是否表示是由所述各个实施例表示的运 动图像编码方法或装置所生成的多路复用数据。而且，在判断为流类型或视频流属性信息 表示是由所述各个实施例表示的运动图像编码方法或装置所生成的数据的情况下，在步骤 exS102，所述各个实施例表示的运动图像解码方法进行解码。此外，流类型或视频流属性信 息表示是以往的MPEG－2、MPEG4－AVC、VC－1等的标准的数据的情况下，在步骤exS103，根 据所依据的以往的标准的运动图像解码方法来进行解码。

这样，通过在流类型或视频流属性信息设定新的固有值，从而在解码时，能够判断 根据所述各个实施例表示的运动图像解码方法或装置是否能够解码。从而，即时被输入了 依据不同的标准的多路复用数据时，也能够选择恰当的解码方法或装置，因此能够不产生 错误地进行解码。此外，本实施例表示的运动图像编码方法或装置，或者运动图像解码方法 或装置，能够用在上述的任一个设备以及系统。

(实施例4)

上述的各个实施例所示的运动图像编码方法以及装置、运动图像解码方法以及装 置，典型的能够以作为集成电路的LSI来实现。作为一个例子，图33示出了被制成一个芯片 的LSIex500的构成。LSIex500包括以下将要说明的要素ex501至ex509，各个要素通过总线 ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启 动为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500，根据具有CPUex502、存储器控制器 ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，根据AV输入输出 ex509从麦克风ex117和摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等 的外部的存储器ex511。根据控制部ex501的控制，存储的数据按照处理量和处理速度适当 地分为多个被发送到信号处理部ex507，在信号处理部ex507被进行声音信号的编码及/或 影像信号的编码。在这里，影像信号的编码处理是所述各个实施例说明的编码处理。在信号 处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处 理，从流输入输出ex506输出到外部。该被输出的多路复用数据被发送到ex107，或者被 写入到记录介质ex215。并且，为了在多路复用时能够同步进行，而可以将数据暂时蓄积到 缓冲器ex508。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以 被包括在LSIex500的内部。缓冲器ex508也可以不限于一个，可以具备多个缓冲器。并且， LSIex500可以被制成一个芯片，也可以是多个芯片。

此外，在上述说明中，控制部ex501具有CPUex502、存储器控制器ex503、流控制器 ex504、驱动频率控制部ex512等，不过，控制部ex501的构成，不限于这个构成。例如，可以是 信号处理部ex507还具备CPU的构成。通过在信号处理部ex507的内部也设置CPU，可以使处 理速度提高。此外，作为其他的例子，可以是CPUex502具备信号处理部ex507、或者具备信号 处理部ex507的一部分例如声音信号处理部的构成。在这样的情况下，控制部ex501是具备 信号处理部ex507或具有其一部分的CPUex502的构成。

在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、 极超级LSI。

还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实 现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。这样的可 编程逻辑装置，典型的是加载或者从存储器等读入构成软件或者固件的程序，从而能够执 行所述各个实施例示出的运动图像编码方法、或运动图像解码方法。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集 成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术 等。

(实施例5)

在对根据所述各个实施例表示的运动图像编码方法或装置所生成的影像数据进 行解码的情况下，可以想到与对依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据 进行解码的情况相比，处理量增加。因此，在LSIex500中需要设定比解码依据以往的标准的 影像数据时的CPUex502的驱动频率高的驱动频率。但是驱动频率高，则产生电力消耗高这 样的课题。

为了解决这个课题，设电视ex300、LSIex500等运动图像解码装置为如下构成，识 别影像数据依据了哪个标准，按照标准切换驱动频率的构成。图34表示在本实施例的构成 ex800。驱动频率切换部ex803，在影像数据是由所述各个实施例表示的运动图像编码方法 或装置所生成的情况下，设定高的驱动频率。而且，对执行所述各个实施例表示的运动图像 解码方法的解码处理部ex801进行指示，以解码影像数据。另一方面，在影像数据是依据以 往的标准的影像数据的情况下，与影像数据由所述各个实施例示出的运动图像编码方法或 装置所生成的情况相比，设定低的驱动频率。而且，指示依据以往的标准的解码处理部 ex802，对影像数据进行解码。

更具体而言，驱动频率切换部ex803由图33的CPUex502与驱动频率控制部ex512所 构成。此外，执行所述各个实施例示出的运动图像解码方法的解码处理部ex801，以及依据 以往的标准的解码处理部ex802，相当于图33的信号处理部ex507。CPUex502识别影像数据 依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此 外，根据来自CPUex502的信号，信号处理部ex507进行影像数据的解码。在这里，可以考虑在 影像数据的识别中利用例如在实施例8记载的识别信息。有关识别信息，不仅限于在实施例 8记载的信息，只要是能够识别影像数据是依据哪个标准的信息就可以。例如，在根据识别 影像数据是否用于电视，是否用于盘等的外部信号，能够识别影像数据是依据哪个标准的 情况下，可以根据这样的外部信号进行识别。此外，在CPUex502的驱动频率的选择，可以考 虑根据例如如图36一样的使影像数据的标准和驱动频率对应的一览表来进行。将一览表预 先存储在缓冲器ex508和LSI的内存储器中，通过CPUex502参考这个一览表，能够选择驱动 频率。

图35示出了实施本实施例的方法的步骤。首先，在步骤exS200中，由信号处理部 ex507从多路复用数据中获得识别信息。接着，在步骤exS201中，CPUex502根据识别信息，识 别影像数据是不是由所述各个实施例示出的编码方法或装置所生成的数据。在影像数据是 由所述各个实施例示出的编码方法或装置所生成的数据情况下，在步骤exS202中，将设定 高的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部 ex512设定高的驱动频率。另一方面，在示出了是依据以往的MPEG－2、MPEG4－AVC、VC－1等 的标准的影像数据的情况下，在步骤exS203中，将设定低的驱动频率的信号，由CPUex502发 送到驱动频率控制部ex512。而且，在驱动频率控制部ex512，设定与影像数据由所述各个实 施例示出的编码方法或装置所生成的情况相比低的驱动频率。

加之，与驱动频率的切换联动，通过变更对LSIex500或包含LSIex500的装置施加 的电压，可以提高省电效果。例如，在设定低驱动频率的情况下，随之与设定高驱动频率的 情况相比，可以考虑使对LSIex500或包含LSIex500的装置施加的电压设定为低电压。

此外，关于驱动频率的设定方法，只要在解码时的处理量大的情况下，设定高的驱 动频率，在解码时的处理量小的情况下，设定低的驱动频率就可以，不限于上述的设定方 法。例如对依据MPEG4－AVC标准的影像数据进行解码的处理量，大于对由所述各个实施例 示出的运动图像编码方法或装置所生成的影像数据进行解码的处理量的情况下，可以考虑 将驱动频率的设定与上述的情况相反地进行。

加之，驱动频率的设定方法不限于使驱动频率设为低的构成。例如，可以考虑在识 别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情 况下，对LSIex500或包含LSIex500的装置施加的电压设定为高的电压，在示出是依据以往 的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，对LSIex500或包含LSIex500 的装置施加的电压设定为低的电压。此外，作为其他的例子，可以考虑在识别信息示出是由 所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，不停止 CPUex502的驱动，在示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的 情况下，因为处理有余量，可以暂时停止CPUex502的驱动。即使在识别信息示出是由所述各 个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，如果处理有余量， 也可以考虑暂时停止CPUex502的驱动。这个情况下，可以考虑与识别信息示出是依据以往 的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，停止时间设定地较短。

这样，按照影像数据依据的标准来切换驱动频率，从而能够达到省电化。此外，在 利用电池驱动LSIex500或包含LSIex500的装置的情况下，随着省电化还可以延长电池的寿 命。

(实施例6)

电视和便携式电话等上述的设备以及系统，有时被输入依据不同标准的多个影像 数据。这样，即使在被输入了依据不同标准的多个影像数据的情况下也能进行解码，从而 LSIex500的信号处理部ex507需要与多个标准对应。但是，与各个标准对应的信号处理部 ex507个别利用时，使LSIex500的电路规模变大，还产生成本增加这样的课题。

为了解决上述课题可以是如下的构成，将用于执行所述各个实施例示出的运动图 像解码方法的解码处理部与依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理 部，进行一部分共享。图37A的ex900示出该构成例。例如，所述各个实施例示出的运动图像 解码方法和依据MPEG4－AVC标准的运动图像解码方法，在熵编码、逆量化、解块及滤波器、 运动补偿等处理中，一部分处理内容是共同的。关于共同的处理内容，可以考虑共享与 MPEG4－AVC标准对应的解码处理部ex902，关于与MPEG4－AVC标准不对应的本发明特有的 其他处理内容，使用专用的解码处理部ex901这样的构成。尤其是本发明的一个方案中，熵 解码具有特征，从而可以考虑如下，例如熵解码中利用专用的解码处理部ex901，除此之外 的逆量化、解块滤波器、运动补偿的任一个或全部的处理中共用解码处理部。对于解码处理 部的共享化，关于共同的处理内容，共享用于执行所述各个实施例示出的运动图像解码方 法的解码处理部，关于MPEG4－AVC标准特有的处理内容，使用专用的解码处理部。

此外，图37B的ex1000示出了处理的部分共享化的其他例子。在这个例子的构成 是，使用与本发明特有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准特 有的处理内容对应的专用的解码处理部ex1002、与本发明的运动图像解码方法及其他的以 往标准的运动图像解码方法共同的处理内容相对应的共用的解码处理部ex1003。在这里， 专用的解码处理部ex1001、ex1002，不一定是本发明或其他以往标准特有的处理内容所特 有的，可以是能够执行其他通用处理的部。此外，也可以是在LSIex500安装本实施例的构 成。

这样，关于本发明的一个方案涉及地运动图像解码方法与以往的标准的运动图像 解码方法共同的处理内容，通过共享解码处理部，可以使LSI的电路规模变小，并且能够减 少成本。

本发明能够适用于图像编码方法、图像解码方法、图像编码装置及图像解码装置。 并且，本发明，能够利用于具备图像编码装置的电视机、数字录像机、汽车导航、移动电话、 数字照相机、以及的数字摄像机等的高分辨率的信息显示设备或摄像设备。

符号说明

100、403 编码部

101 输入图像信号

110 减法部

111 预测误差信号

120 变换部

121 变换输出信号

130 量化部

131、231 量化系数

140、240 逆量化部

141、241 解码变换输出信号

150、250 逆变换部

151、251 解码变换输入信号

160、260 加法部

161、261 解码信号

170、270 存储器

180、280 预测部

181、281 预测信号

190 熵编码部

191 编码信号

200、303、505 解码部

290 熵解码部

291 预测方法

300 图像解码装置

301 CPB

302、402 提取时刻决定部

304、507 DPB

311 提取单位判定部

312、412 访问单元提取时刻决定部

313 模式判定部

314、414、506 解码单元提取时刻决定部

315 提取时刻通知部

400 图像编码装置

411 提取单位决定部

413 模式决定部

500 STD

501 TS多路信号分离器

502 TB

503 MB

504 EB