发送方法以及接收方法

本申请涉及数据的发送方法以及接收方法。

以往，已知以规定的传送格式传送编码数据的技术。编码数据通过基于HEVC(高效率视频编码，High Efficiency Video Coding)等运动图像编码标准对包含影像数据及声音数据的内容进行编码来生成。

在规定的传送格式中，例如有MPEG-2 TS(运动图像专家组-2传送流，MovingPicture Experts Group-2 Transport Stream)或MMT(运动图像专家组媒体传送，MPEGMedia Transport)等(参照非专利文献1)。例如，在非专利文献1中，公开了按照MMT按每个包发送被编码的媒体数据的技术。

为了实现编码数据的解码以及显示中的可适性，探讨了将影像阶层化地编码，但尚未考虑被阶层化的编码数据的发送方法。

现有技术文献

非专利文献

非专利文献1：Information technology-High efficiency coding and mediadelivery in heterogeneous environment-Part1:MPEG media transport(MMT)、ISO/IECDIS 23008-1

本申请的一方式所涉及的发送方法，发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据，包括：控制信息生成步骤，生成控制信息，该控制信息包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息；编码流生成步骤，生成包含所述编码数据的编码流；控制信息发送步骤，发送所述控制信息；以及编码流发送步骤，发送所生成的所述编码流，所述编码数据具有分别由多个访问单元构成的多个集合，构成第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，所述第1集合是所述多个集合中的所述基本阶层的所述集合，构成第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述第2集合是所述多个集合中的所述扩展阶层的所述集合，所述时刻信息包括第1时刻信息和第2时刻信息，该第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻，该第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。

本申请的一方式所涉及的发送方法，发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据，包括：生成步骤，生成包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息以及所述编码数据的编码流；以及发送步骤，发送所生成的所述编码流；所述编码数据具有各自由多个访问单元构成的多个集合，构成所述多个集合中的所述基本阶层的所述集合即第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元解码后的数据来解码，构成所述多个集合中的所述扩展阶层的所述集合即第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述时刻信息包括第1时刻信息和第2时刻信息，该第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻，该第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。

另外，这些整体或具体的方式也可以通过数据接收方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以通过数据发送方法、数据接收方法、集成电路、计算机程序以及记录介质的任意组合来实现。

图1是表示为了实现时间可适性而阶层编码的每个阶层中的图片的预测构造的一例的图。

图2是表示图1的各图片的解码时刻(解码时间戳，DTS：Decode Time Stamp)与显示时刻(显示时间戳，PTS：Presentation Time Stamp)的关系的图。

图3是表示基本阶层与扩展阶层中的开头的图片的DTS的差分的图。

图4是表示基本阶层的编码数据与扩展阶层的编码数据的图。

图5是用于说明MMT中的编码流的数据结构的图。

图6是用于说明MMT中的编码流的数据结构的图。

图7是表示实施方式所涉及的发送装置的构成的模块图。

图8是实施方式所涉及的发送方法的流程图。

图9是表示包含基本阶层的编码数据的MP4文件、以及包含扩展阶层的编码数据的MP4文件的图。

图10是表示基本阶层以及扩展阶层的RAU的构成例的图。

图11是表示使用MMT来发送基本阶层与扩展阶层的数据的例子的图。

图12是表示接收装置的构成的一例的模块图。

图13是示出了表示决定扩展阶层所包含的访问单元的DTS的动作的流程的图。

图14是表示通过MMT复用图1中的编码数据的例子的图。

图15是表示在设基本阶层以及扩展阶层的编码数据为一条编码流(包序列)时的发送包序列的一例的图。

图16是表示接收装置的构成的另一例的模块图。

图17是表示接收基本阶层以及扩展阶层的编码数据的接收方法的流程图。

图18是表示接收装置的构成的另一例的模块图。

图19是表示接收方法的流程的图。

(成为本申请的基础的知识)

编码数据的解码或显示的可适性(可缩放性)能够通过对编码数据的访问单元进行阶层编码来实现。例如，在如果仅解码以多阶层编码而得的多个编码数据之中的低阶层的编码数据则帧率为60fps的情况下，如果解码到高阶层的编码数据则帧率变为120fps等。

在此，考虑独立发送低阶层的编码数据与高阶层的编码数据的情况。接收低阶层的编码数据与高阶层的编码数据的接收装置在希望通过解码两阶层的编码数据来得到例如帧率120fps的影像的情况下，需要在按照解码顺序重排所接收的各阶层的编码数据之后解码。可是，存在如下课题：需要基于访问单元的DTS(Decoding Time Stamp：解码时刻)或PTS(Presentation Time Stamp：显示时刻)等按照解码顺序重排所接收的数据，并且扩展阶层中的访问单元的DTS或PTS无法唯一确定。

在MPEG-4 AVC或HEVC(High Efficiency Video Coding)等编码方式中，通过使用能够从其他图片参照的B图片(双向参照预测图片)，能够实现时间方向的可适性(时间可适性)。

图1为表示为了实现时间可适性而阶层编码的每个阶层中的图片的预测构造的一例的图。

图1中的TemporalId(时间ID)为编码结构的阶层的识别符，TemporalId的数字越大表示越是深的阶层。多个方形的块表示图片，多个块内的Ix表示I图片(帧内预测图片)、Px表示P图片(前方参照预测图片)、Bx或bx表示B图片(双向参照预测图片)。此外，Ix、Px以及Bx中的x表示显示次序。即、x表现显示图片的顺序。

此外，多个图片间的箭头表示参照关系，例如B4的图片表示以I0及B8为参照图像而生成的预测图像。

在此，禁止使用具有大于自身的TemporalId的TemporalId的图片作为参照图像。具体而言，TemporalId为3的B2的图片不能使用TemporalId为4的b1的图片作为参照图像。

如图1所示，通过多个阶层规定编码数据的数据结构，是为了具有时间可适性。例如，在解码图1中TemporalId从0到4的全部图片的情况下，能够得到120fps(帧每秒，frameper second)的影像，在仅解码TemporalId从0到3的阶层的情况下，能够得到60fps的影像。在图1中，TemporalId为0～3表示的阶层为基本阶层，TemporalID为4表示的阶层为扩展阶层。即、在仅解码基本阶层的编码数据的情况下能够得到60fps的影像，如果解码到扩展阶层则能够得到120fps的影像。另外，这只是一例，基本阶层或扩展阶层与TemporalId的关联也可以是其他组合。此外，也可以在基本阶层以及扩展阶层这两种类阶层以外还有阶层。即、阶层也可以为3种以上。

图2为表示图1的各图片的解码时刻(DTS：Decode Time Stamp)与显示时刻(PTS：Presentation Time Stamp)的关系的图。如图2所示，多个图片存在解码顺序与显示顺序不同的情况。该情况下，为了在显示的处理中不产生间隙(gap)，图片I0在图片B4解码完成后显示。具体而言，为了在显示中不产生间隙，在显示顺序中图片I0紧后的图片b1必须解码完，因此通过使图片I0在图片B4的解码完成后显示，能够成为在显示图片I0紧后能够显示图片b1的状态。即、该情况下，作为解码图片I0的时刻与显示图片I0的时刻之间的时间即显示时刻偏移，设定为显示图片I0紧后能够显示图片b1的时间。

在此，考虑以下情况：在能够解码到扩展阶层的编码数据的接收装置中，再现120fps的影像，在根据处理能力等的状况而仅能解码到基本阶层的接收装置中以60fps再现等，根据接收装置的能力切换所解码的阶层。此时，只要基本阶层中的编码数据与扩展阶层中的编码数据以能够识别的方式传送，则接收装置能够通过根据接收装置的能力等对接收数据进行过滤来进行解码。即、在能够解码到扩展阶层的编码数据的接收装置中，能够解码基本阶层的编码数据以及扩展阶层的编码数据双方，在仅能解码到基本阶层的接收装置中，能够通过仅对基本阶层的编码数据进行过滤来进行解码。

此外，阶层化的编码数据通过MPEG-2 TS(Transport Stream)、MMT(MPEG MediaTransport)、MPEG-DASH(HTTP上的动态自适应流，Dynamic Adaptive Streaming overHTTP)、RTP(实时传送协议，Real-time Transport Protocol)等多种多样的复用格式来复用并发送。在此，在MMT或MPEG-DASH中，使用MP4(以MPEG的ISO基本媒体文件格式(ISO BaseMedia File Format)为基础的文件格式)的复用是基础。特别是，在MP4中，DTS或PTS的信息表现为连续的两个访问单元(若为视频则与图片相当)之间的DTS或PTS的差分信息。

图3是表示基本阶层与扩展阶层的开头的图片的DTS的差分的图。具体而言，图3是将按照图2的解码顺序排列的图片划分为属于基本阶层的图片与属于扩展阶层的图片来记述的图。图4是表示基本阶层的编码数据与扩展阶层的编码数据的图。

如图3所示，在基本阶层的开头的图片I0的DTS11与扩展阶层的开头的图片b1的DTS21之间产生差分(以下称为“解码时刻偏移”)。但是，在基于MP4的复用方法中存在以下课题：仅能表示基本阶层或扩展阶层中的相对的时刻信息，而无法表现解码时刻偏移。即、存在以下课题：在解码基本阶层之后无法确定解码扩展阶层的图片的时刻。

因此，若独立地发送基本阶层的编码数据与扩展阶层的编码数据，则接收装置分别接收如图4所示的基本阶层的编码数据与扩展阶层的编码数据。此时，在解码两阶层的编码数据的情况下，需要将两阶层的编码数据按照图3所示的解码顺序重排后输入到解码器(decoder)中。因此，还存在以下课题：发生取得每个访问单元的DTS并基于DTS将访问单元按照解码顺序重排的处理，解码前的处理量增加。

为了解决这样的问题，本申请的一方式所涉及的数据发送方法是一种发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据的发送方法，包括：生成步骤，生成包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息以及所述编码数据的编码流；以及发送步骤，发送所生成的所述编码流；所述编码数据具有各自由多个访问单元构成的多个集合，构成所述多个集合中的所述基本阶层的所述集合即第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，构成所述多个集合中的所述扩展阶层的所述集合即第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述时刻信息包括第1时刻信息和第2时刻信息，所述第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻，所述第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。

据此，即使将基本阶层与扩展阶层的编码数据作为不同的数据来发送，也能够确定针对扩展阶层的访问单元进行的处理的时刻。

例如也可以是，所述第1访问单元是在所述第1集合中最先被进行所述处理的访问单元，所述第2访问单元是在所述第2集合中最先被进行所述处理的访问单元。

例如也可以是，所述处理为解码，所述第1集合的所述第1访问单元以外的多个访问单元中的各个访问单元与以所述第1时刻信息所示的时刻为基准的第1相对时间建立了对应，针对所述第1集合的多个访问单元中的各个访问单元进行的显示的时刻通过以该访问单元的解码的时刻为基准的第2相对时间来确定，所述第2集合的所述第2访问单元以外的多个访问单元中的各个访问单元与以所述第2时刻信息所示的时刻为基准的第3相对时间建立了对应，针对所述第2集合的多个访问单元中的各个访问单元进行的显示的时刻通过以该访问单元的解码的时刻为基准的第4相对时间来确定。

例如也可以是，所述处理为显示，所述第1集合的所述第1访问单元以外的多个访问单元中的各个访问单元与以所述第1时刻信息所示的时刻为基准的第5相对时间建立了对应，针对所述第1集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第6相对时间来确定，所述第2集合的所述第2访问单元以外的多个访问单元中的各个访问单元与以所述第2时刻信息所示的时刻为基准的第7相对时间建立了对应，针对所述第2集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第8相对时间来确定。

例如，所述第2时刻信息也可以是作为与所述第1时刻信息所示的第1绝对时刻的差分值的时刻偏移。

例如也可以是，所述集合是能够随机访问的随机访问单元，所述第1访问单元以及所述第2访问单元是随机访问点。

例如，多个第1集合与多个第2集合也可以分别一对一地建立了对应。

例如，所述第2集合也可以能够通过仅参照与该第2集合一对一地建立了对应的所述第1集合的解码后的数据来解码。

例如，所述第2集合也可以还包括第2头信息，该第2头信息保存有用于识别与该第2集合一对一地建立了对应的所述第1集合的识别信息、以及所述第2时刻信息。

例如，所述第1集合也可以还包括第1头信息，该第1头信息保存有用于识别与该第1集合一对一地建立了对应的所述第2集合的识别信息、以及所述第2时刻信息。

例如，所述编码流也可以还包括将用于识别所述第1集合的第1识别信息与用于识别与该第1集合一对一地建立了对应的所述第2集合的第2识别信息建立了对应而得的对应信息。

例如，所述时刻信息也可以保存在所述编码流的控制信息中。

例如，所述第2时刻信息也可以表示与所述第1时刻信息所示的第1绝对时刻不同的第2绝对时刻。

例如也可以是，在所述生成步骤中，生成包含所述第1集合的第1编码流、以及包含所述第2集合的第2编码流，在所述发送步骤中，利用第1传送路径发送所述第1编码流，利用不同于所述第1传送路径的第2传送路径发送所述第2编码流。

例如也可以是，在所述生成步骤中，按照MPEG2-TS(运动图像专家组-2传送流，Moving Picture Experts Group-2 Transport Stream)生成所述第1编码流以及所述第2编码流中的一方，按照MMT(运动图像专家组媒体传送，MPEG Media Transport)生成所述第1编码流以及所述第2编码流中的另一方。

例如也可以是，所述第1传送路径以及所述第2传送路径中的一方为在广播中使用的传送路径，所述第1传送路径以及所述第2传送路径中的另一方为在通信中使用的传送路径。

另外，这些整体性或者具体性的方式可以通过数据接收方法、集成电路、计算机程序或者可计算机读取的CD-ROM等记录介质来实现，也可以通过数据接收方法、集成电路、计算机程序或者记录介质的任意组合来实现。

以下，参照附图具体说明本申请的一方式所涉及的数据发送方法及接收方法。

另外，以下说明的实施方式均为本申请的一具体例。在以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等仅为一例，并非意在限定本申请。另外，在以下实施方式的构成要素中，对于表示最上位概念的独立权利要求没有记载的构成要素，作为任意的构成要素进行说明。

(实施方式)

[发送方法]

以下，参照附图说明实施方式所涉及的发送方法(发送装置)。在实施方式中，作为一例说明按照MMT发送编码数据的发送方法。

首先，说明MMT下的编码流的数据结构。图5以及图6为用于说明MMT中的编码流的数据结构的图。

如图5所示，编码数据由多个访问单元(AU：Access Unit)构成。编码数据例如为基于HEVC等运动图像编码标准编码而得的AV数据。具体而言，编码数据包括影像数据、声音数据、以及附随于它们的元数据、静止图像及文件等。在编码数据为影像数据的情况下，1个AU为与1个图片(1帧)相当的单位。

在MMT中，编码数据以GOP(图片组，Group Of Picture)单位按照文件格式被进行MP4数据化(被赋予MP4头)。即、编码数据具有各自由多个访问单元构成的多个集合(GOP)。GOP为编码数据中的随机访问点，按照GOP中的解码顺序处于开头的访问单元与HEVC或AVC的IDR图片或者non-IDR(非IDR)的I图片相当。该多个集合分别属于基本阶层以及扩展阶层中的任一阶层。在此，设属于基本阶层的集合为第1集合，设属于扩展阶层的集合为第2集合。

另外，由于构成第1集合的多个访问单元中的各个访问单元属于基本阶层，因此能够独立地解码，或者能够通过参照基本阶层的其他访问单元的解码后的数据来解码。此外，由于构成第2集合的多个访问单元的各个访问单元属于扩展阶层，因此能够通过参照基本阶层的访问单元的解码后的数据来解码。

在MP4数据所包含的MP4头中，记述有访问单元的显示时刻(上述的PTS)或解码时刻(上述的DTS)的相对值。此外，在MP4头中，记述有MP4数据的序列号。另外，MP4数据(MP4文件)是作为在MMT标准中定义的数据单位的MPU(媒体处理单元，Media Processing Unit)的一例。在MPU中，也可以不发送MP4的头，而仅发送MPU中的样本数据等。该情况下，MPU与随机访问单位相当，构成MPU的样本与MPU一对一地建立了对应。此外，MPU也可以由多个GOP构成。

并且，如图6所示，MMT中的编码流10包括控制信息11、时刻信息12以及多个MMT包13。换言之，编码流10为MMT包13的包序列。

编码流10(MMT流)为构成一个MMT封装的1个以上的流中的一个。MMT封装例如与一个广播节目内容相当。

控制信息11包括表示编码流10是被可适(可缩放)编码的流(包括基本层与扩展层双方的流)的信息、可适编码的种类及阶层等级数量(阶层数量)的信息。在此，可适编码的种类是指时间可适性、空间可适性及SNR可适性等，阶层等级数量是指基本层及扩展层等层的数量。

此外，控制信息11例如包括表示多个资源(asset)与包ID的对应关系的信息等。另外，资源为包括同一传送特性的数据的数据实体，例如为影像数据及声音数据等的任一个。

控制信息11具体而言，为MMT中的CI(构成信息，Composition Information)及MPT(MMT封装表，MMT Package Table)。另外，控制信息11在MPEG2-TS中为PMT(节目映射表，Program Map Table)，在MPEG-DASH中为MPD(媒体演示描述，Media PresentationDescription)等。

时刻信息12为用于决定访问单元的PTS或DTS的信息。时刻信息12具体而言，例如是作为属于基本阶层的MPU中的开头的访问单元的绝对时刻的PTS或DTS。具体而言，在PTS的情况下，能够表示在MPU中按照显示顺序处于开头的访问单元的PTS的绝对值，在DTS的情况下，能够表示在MPU中按照解码顺序处于开头的访问单元的DTS的绝对值。此外，时刻信息12也可以作为节目信息保存在控制信息11中。在作为节目信息保存的情况下，作为一例，能够将节目信息保存在MMT报文(消息)中，将时刻信息12作为节目信息内的记述符来保存。

例如，若假设图3中的基本阶层的多个图片全部构成一个第1集合，则按照第1集合的解码顺序首先解码的第1访问单元即图片I0在DTS11所示的时刻解码。此时，表示进行针对第1集合的第1访问单元进行的解码的、以基准时钟为基准的时刻(DTS11)的第1时刻信息也可以作为编码流10的时刻信息12(第1绝对时刻)被保存。即、第1绝对时刻例如表示DTS11本身。

此外，若假设图3的扩展阶层的多个图片全部构成一个第2集合，则按照第2集合的解码顺序首先解码的第2访问单元即图片b1在DTS21所示的时刻解码。此时，用于确定进行针对第2集合的第2访问单元进行的解码的、以基准时钟为基准的时刻(DTS21)的第2时刻信息如上所述，是作为与由第1时刻信息表示的第1绝对时刻的差分值的解码时刻偏移。第2时刻信息与第1时刻信息同样地，也可以作为编码流10的时刻偏移信息(解码时刻偏移)被保存。即、DTS21能够通过在由第1时刻信息表示的DTS11上加上由第2时刻信息表示的解码时刻偏移来确定。此外，作为第2时刻信息，也可以并非保存与第1时刻信息的时刻偏移信息，而是保存第2集合的访问单元的时刻信息的绝对值本身。

另外，基准时钟在按照MMT方式发送编码流的情况下为NTP(网络时间协议，Network Time Protocol)，在按照MPEG2-TS发送编码流的情况下为PCR(节目时钟参照，Program Clock Reference)。在此，NTP为发送装置所设定的基准时钟即可，也可以不一定与互联网中通常使用的NTP服务器中的NTP值一致。

MMT包13为MP4数据被打包而成的数据。在实施方式中，1个MMT包13中包含1个MP4数据(MPU)。如图6所示，MMT包13包括头13a(MTT包头。在MPEG2-TS的情况下为TS包头)、以及有效载荷13b。

在有效载荷13b中，保存有MP4数据。另外，有时在有效载荷13b中保存有分割MP4而得的数据。

头13a为与有效载荷13b有关的附随信息。例如，在头13a中，包含包ID与时刻信息。这里的时刻信息为MP4数据的显示时刻(PTS)或者解码时刻(DTS)的相对值。

包ID为表示MMT包13(有效载荷13b)所包含的数据的资源的识别号。包ID为按构成MMT封装的每个资源固有的识别号。

这样，编码流包括表示进行编码数据的解码或显示的处理的时刻的时刻信息(DTS或PTS)、以及编码数据(图6中的ID1_