基于帧间预测的图像编码/解码方法和设备及存储比特流的记录介质与流程

1.本公开涉及图像编码/解码方法和设备以及存储比特流的记录介质。

背景技术：

2.近来，在各种应用领域中对高分辨率、高质量图像(例如，高清晰度(hd)图像和超高清(uhd)图像)的需求正在增长，这引起对高效图像压缩技术的讨论。
3.图像压缩技术包括诸如帧间预测技术、帧内预测技术和熵编码技术等的各种技术，所述帧间预测技术从当前图片的先前图片或下一图片预测包括在当前图片中的像素值，所述帧内预测技术通过使用当前图片中的像素信息来预测包括在当前图片中的像素值，所述熵编码技术将短码指派给更频繁出现的值，并且将长码指派给较不频繁出现的值。可以通过使用图像压缩技术有效地压缩图像数据来发送或存储图像数据。

技术实现要素：

4.技术问题
5.本公开提供基于帧间预测提高图像编码效率的方法和设备。
6.本公开提供有效地确定帧间预测模式的方法和设备。
7.本公开提供有效地推导帧间预测的运动信息的方法和设备。
8.本公开提供提高帧间预测的准确性的加权预测方法和设备。
9.本公开提供有效地对加权预测的加权预测信息进行编码/解码的方法和设备。
10.本公开提供存储由图像编码/解码方法和设备生成的比特流的计算机可读存储介质。
11.技术方案
12.根据本公开的图像解码方法和设备可以确定当前块的帧间预测模式、根据所确定的帧间预测模式推导所述当前块的运动信息以及基于所推导的运动信息获得所述当前块的预测块。
13.在根据本公开的图像解码方法和设备中，所述预测块可以是基于所述当前块的显式加权预测的加权预测信息获得的。所述加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者。
14.在根据本公开的图像解码方法和设备中，可以基于指定用信号通知所述加权预测信息的位置的第一标志和指示是否将所述显式加权预测应用于双预测(b)切片的第二标志中的至少一者自适应地用信号通知所述权重数量信息。
15.在根据实施方式的图像解码方法和设备中，所述当前块的所述运动信息可以是基于合并候选列表推导的。所述合并候选列表可以包括空间合并候选、时间合并候选、基于历史的合并候选或平均合并候选中的至少一者。
16.在根据实施方式的图像解码方法和设备中，推导所述当前块的所述运动信息可以
包括：通过使用特定运动向量差(mvd)来修改所推导的运动信息当中的运动向量。
17.在根据实施方式的图像解码方法和设备中，所述mvd可以是基于所述mvd的长度、所述mvd的方向和所述当前块的参考图片与当前图片之间的图片顺序计数(poc)差中的至少一者推导的。
18.在根据实施方式的图像解码方法和设备中，获得所述当前块的所述预测块可以包括：获得所述当前块的所述显式加权预测的所述加权预测信息；通过使用所述加权预测信息推导所述当前块的所述显式加权预测的权重或偏移中的至少一者；以及基于所推导的权重或偏移中的至少一者执行所述当前块的加权预测。
19.在根据实施方式的图像解码方法和设备中，所述权重数量信息可以包括list0(l0)方向的权重数量信息和list1(l1)方向的权重数量信息。所述l0方向的权重数量信息可以是基于指定用信号通知所述加权预测信息的所述位置的所述第一标志自适应地用信号通知的。所述l1方向的权重数量信息可以是基于指定用信号通知所述加权预测信息的所述位置的所述第一标志和指示是否将所述显式加权预测应用于所述b切片的所述第二标志自适应地用信号通知的。
20.在根据实施方式的图像解码方法和设备中，指定用信号通知所述加权预测信息的所述位置的所述第一标志可以指定所述加权预测信息是存在于图片报头中还是存在于切片报头中。指示是否将所述显式加权预测应用于所述b切片的所述第二标志可以指定是将所述显式加权预测应用于所述b切片还是将默认加权预测应用于所述b切片。
21.在根据实施方式的图像解码方法和设备中，如果根据所述第一标志所述加权预测信息存在于所述切片报头中或者根据所述第二标志未将所述显式加权预测应用于所述b切片，则所述l1方向的权重数量信息可以推导为0。
22.根据实施方式的图像编码方法和设备可以确定当前块的帧间预测模式、根据所确定的帧间预测模式推导所述当前块的运动信息以及获得所述当前块的加权预测的加权预测信息。
23.在根据实施方式的图像编码方法和设备中，所述加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息和偏移信息中的至少一者。
24.在根据实施方式的图像编码方法和设备中，可以基于指定对所述加权预测信息进行编码的位置的第一标志和指示是否将显式加权预测应用于b切片的第二标志中的至少一者自适应地编码所述权重数量信息。
25.在根据实施方式的图像编码方法和设备中，所述当前块的所述运动信息可以是基于合并候选列表推导的。所述合并候选列表可以包括空间合并候选、时间合并候选、基于历史的合并候选或平均合并候选中的至少一者。
26.在根据实施方式的图像编码方法和设备中，推导所述当前块的所述运动信息可以包括：通过使用特定mvd来修改所推导的运动信息当中的运动向量。
27.在根据实施方式的图像编码方法和设备中，所述mvd可以是基于所述mvd的长度、所述mvd的方向和所述当前块的参考图片与当前图片之间的poc差中的至少一者推导的。
28.在根据实施方式的图像编码方法和设备中，获得所述当前块的所述加权预测的加权预测信息可以包括：确定所述当前块的所述加权预测的权重或偏移中的至少一者；以及基于所确定的权重或偏移中的至少一者获得所述当前块的所述加权预测信息。
29.在根据实施方式的图像编码方法和设备中，所述权重数量信息可以包括l0方向的权重数量信息和l1方向的权重数量信息。所述l0方向的权重数量信息可以是基于指定对所述加权预测信息进行编码的所述位置的所述第一标志自适应地编码的。所述l1方向的权重数量信息可以是基于指定对所述加权预测信息进行编码的所述位置的所述第一标志和指示是否将所述显式加权预测应用于所述b切片的所述第二标志自适应地编码的。
30.在根据实施方式的图像编码方法和设备中，指定用信号通知所述加权预测信息的所述位置的所述第一标志可以指定所述加权预测信息是存在于图片报头中还是存在于切片报头中。指示是否将所述显式加权预测应用于所述b切片的所述第二标志可以指定是将所述显式加权预测应用于所述b切片还是将默认加权预测应用于所述b切片。
31.在根据实施方式的图像编码方法和设备中，如果根据所述第一标志所述加权预测信息被编码在所述切片报头中或者根据所述第二标志不将所述显式加权预测应用于所述b切片，则所述l1方向的权重数量信息可以不被编码。
32.在存储有编码信息的计算机可读存储介质中，所述编码信息使根据本公开的图像解码设备执行图像解码方法，所述图像解码方法可以包括以下步骤：确定当前块的帧间预测模式；根据所确定的帧间预测模式推导所述当前块的运动信息；以及基于所推导的运动信息获得所述当前块的预测块。
33.在根据本公开的计算机可读存储介质中，所述预测块可以是基于所述当前块的显式加权预测的加权预测信息获得的。所述加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者。
34.在根据本公开的计算机可读存储介质中，可以基于指定用信号通知所述加权预测信息的位置的第一标志和指示是否将所述显式加权预测应用于b切片的第二标志中的至少一者自适应地用信号通知所述权重数量信息。
35.有益效果
36.可以通过根据本公开的帧间预测来提高图像编码效率。
37.根据本公开，可以有效地确定帧间预测模式。
38.根据本公开，可以有效地推导帧间预测的运动信息。
39.可以通过根据本公开的加权预测来提高帧间预测的准确性。
40.根据本公开，可以有效地对加权预测的加权预测信息进行编码/解码。
41.可以根据本公开提供存储由图像编码/解码方法和设备生成的比特流的计算机可读存储介质。
附图说明
42.图1例示了根据本公开的视频/图像编码系统。
43.图2是执行对视频/图像信号的编码并且可以应用本说明书的实施方式的编码设备的示意性框图。
44.图3是执行对视频/图像信号的解码并且可以应用本说明书的实施方式的解码设备的示意性框图。
45.图4例示了根据本公开的解码设备中的帧间预测方法。
46.图5至图7例示了根据本公开的在合并模式下推导运动信息的方法。
47.图8例示了根据本公开的解码设备中的显式加权预测方法。
48.图9示意性地例示了根据本公开的解码设备中的帧间预测器332的结构。
49.图10示意性地例示了根据本公开的帧间预测器332中的预测块获得器920的结构。
50.图11例示了根据本公开的编码设备中的帧间预测方法。
51.图12示意性地例示了根据本公开的编码设备中的帧间预测器221的结构。
具体实施方式
52.根据本公开的图像解码方法和设备可以确定当前块的帧间预测模式、根据所确定的帧间预测模式推导当前块的运动信息以及基于所推导的运动信息获得当前块的预测块。
53.在根据本公开的图像解码方法和设备中，预测块可以是基于当前块的显式加权预测的加权预测信息获得的。加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者。
54.在根据本公开的图像解码方法和设备中，可以基于指定用信号通知加权预测信息的位置的第一标志和指示是否将显式加权预测应用于双预测(b)切片的第二标志中的至少一者自适应地用信号通知权重数量信息。
55.在根据实施方式的图像解码方法和设备中，当前块的运动信息可以是基于合并候选列表推导的。合并候选列表可以包括空间合并候选、时间合并候选、基于历史的合并候选或平均合并候选中的至少一者。
56.在根据实施方式的图像解码方法和设备中，推导当前块的运动信息可以包括：通过使用特定运动向量差(mvd)来修改所推导的运动信息当中的运动向量。
57.在根据实施方式的图像解码方法和设备中，mvd可以是基于mvd的长度、mvd的方向或当前块的参考图片与当前图片之间的图片顺序计数(poc)差中的至少一者推导的。
58.在根据实施方式的图像解码方法和设备中，获得当前块的预测块的步骤可以包括：获得当前块的显式加权预测的加权预测信息；通过使用加权预测信息推导当前块的显式加权预测的权重或偏移中的至少一者；以及基于所推导的权重或偏移中的至少一者执行当前块的加权预测。
59.在根据实施方式的图像解码方法和设备中，权重数量信息可以包括list0(l0)方向的权重数量信息和list1(l1)方向的权重数量信息。l0方向的权重数量信息可以是基于指定用信号通知加权预测信息的位置的第一标志自适应地用信号通知的。l1方向的权重数量信息可以是基于指定用信号通知加权预测信息的位置的第一标志和指示是否将显式加权预测应用于b切片的第二标志自适应地用信号通知的。
60.在根据实施方式的图像解码方法和设备中，指定用信号通知加权预测信息的位置的第一标志可以指定加权预测信息是存在于图片报头中还是存在于切片报头中。指示是否将显式加权预测应用于b切片的第二标志可以指定是将显式加权预测应用于b切片还是将默认加权预测应用于b切片。
61.在根据实施方式的图像解码方法和设备中，如果根据第一标志加权预测信息存在于切片报头中或者根据第二标志不将显式加权预测应用于b切片，则l1方向的权重数量信息可以推导为0。
62.根据实施方式的图像编码方法和设备可以确定当前块的帧间预测模式、根据所确
定的帧间预测模式推导当前块的运动信息以及获得当前块的加权预测的加权预测信息。
63.在根据实施方式的图像编码方法和设备中，加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息和偏移信息中的至少一者。
64.在根据实施方式的图像编码方法和设备中，可以基于指定对加权预测信息进行编码的位置的第一标志或指示是否将显式加权预测应用于b切片的第二标志中的至少一者自适应地对权重数量信息进行编码。
65.在根据实施方式的图像编码方法和设备中，当前块的运动信息可以是基于合并候选列表推导的。合并候选列表可以包括空间合并候选、时间合并候选、基于历史的合并候选或平均合并候选中的至少一者。
66.在根据实施方式的图像编码方法和设备中，推导当前块的运动信息可以包括：通过使用特定mvd来修改所推导的运动信息当中的运动向量。
67.在根据实施方式的图像编码方法和设备中，mvd可以是基于mvd的长度、mvd的方向和当前块的参考图片与当前图片之间的poc差中的至少一者推导的。
68.在根据实施方式的图像编码方法和设备中，获得当前块的加权预测的加权预测信息的步骤可以包括：确定当前块的加权预测的权重或偏移中的至少一者；以及基于所确定的权重或偏移中的至少一者获得当前块的加权预测信息。
69.在根据实施方式的图像编码方法和设备中，权重数量信息可以包括l0方向的权重数量信息和l1方向的权重数量信息。l0方向的权重数量信息可以是基于指定对加权预测信息进行编码的位置的第一标志自适应地编码的。l1方向的权重数量信息可以是基于指定对加权预测信息进行编码的位置的第一标志和指示是否将显式加权预测应用于b切片的第二标志自适应地编码的。
70.在根据实施方式的图像编码方法和设备中，指定用信号通知加权预测信息的位置的第一标志可以指定加权预测信息是存在于图片报头中还是存在于切片报头中。指示是否将显式加权预测应用于b切片的第二标志可以指定是将显式加权预测应用于b切片还是将默认加权预测应用于b切片。
71.在根据实施方式的图像编码方法和设备中，如果根据第一标志加权预测信息被编码在切片报头中或者根据第二标志不将显式加权预测应用于b切片，则l1方向的权重数量信息可以不被编码。
72.在存储有编码信息的计算机可读存储介质中，所述编码信息使根据本公开的图像解码设备执行图像解码方法，所述图像解码方法可以包括：确定当前块的帧间预测模式；根据所确定的帧间预测模式推导当前块的运动信息；以及基于所推导的运动信息获得当前块的预测块。
73.在根据本公开的计算机可读存储介质中，预测块可以是基于当前块的显式加权预测的加权预测信息获得的。加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者。
74.在根据本公开的计算机可读存储介质中，可以基于指定用信号通知加权预测信息的位置的第一标志和指示是否将显式加权预测应用于b切片的第二标志中的至少一者自适应地用信号通知权重数量信息。
75.示例性实施方式的描述
76.可以以各种方式修改该文档，并且可以具有各种实施方式，将在附图中例示并详细描述特定实施方式。然而，应当理解，本公开不限于所公开的实施方式，相反，本公开旨在覆盖包括在所附权利要求的精神和范围内的各种修改和等同布置。在所有附图中，相同的附图标记用于指示相同的元件。
77.将理解，尽管本文使用术语“第一”和“第二”来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一元件区分开。因此，在不脱离本公开的范围的情况下，下面讨论的第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或更多个的任何和所有组合。
78.将应当理解，当元件被称为“连接”或“联接”到另一元件时，它可以直接连接或联接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接连接”或“直接联接”到另一元件时，不存在中间元件。
79.本说明书中常用的术语用于描述特定实施方式，并且不用于限制本文档的技术精神。除非在上下文中以其它方式明显表达，否则单数数量的表达包括复数表达。在本说明书中，诸如“包括”或“具有”的术语应当理解为指示在说明书中描述的特征、数量、步骤、操作、元件、部件或其组合的存在，并且不排除添加一个或更多个其它特征、数量、步骤、操作、元件、部件或其组合的存在或可能性。
80.本公开涉及视频/图像编码。例如，本说明书中公开的方法/示例可以应用于在通用视频编码(vvc)标准中公开的方法。此外，本说明书中公开的方法/示例可以应用于在通用视频编码(vvc)标准、基本视频编码(evc)标准、aomedia video 1(av1)标准、第二代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267、h.268等)中公开的方法。
81.在本文档中，可以提供与视频/图像编码相关的各种实施方式，并且除非有相反的规定，否则实施方式可以彼此组合地执行。
82.在本说明书中，视频可以意指随时间推移的一系列图像的集合。图片通常意指表示特定时间区中的图像的单元，并且切片/拼块是构成编码中的图片的一部分的单元。切片/拼块可以包括一个或更多个编码树单元(ctu)。一个图片可以由一个或更多个切片/拼块构成。一个拼块可以由一个或更多个拼块组构成。一个拼块是由一个图片中的特定拼块列和特定拼块行内的多个ctu组成的矩形区域。拼块列是高度等于图片的高度并且宽度由语法请求或图片参数集指定的ctu的矩形区域。拼块行是高度由图片参数集指定并且宽度等于图片的宽度的ctu的矩形区域。根据ctu光栅扫描连续地布置一个拼块内的ctu，而根据拼块的光栅扫描连续地布置一个图片内的拼块。一个切片可以包括可以专门包含在单个nal单元中的图片的拼块内的整数数量个连续完整ctu行或整数数量个完整拼块。此外，可以将一个图片分割成两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
83.像素或画素(pel)可以意指构成单个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值或仅表示度分量的像素/像素值。
84.单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关联的信息中的至少一者。一个单元可以包括一个亮度块和两个度(例如，cb、cr)块。在
一些情况下，可以将术语“单元”与诸如块或区域的术语互换地使用。在通常情况下，m
×
n块可以包括由m列n行构成的样本(或样本阵列)或变换系数的集合(或阵列)。
85.在本文档中，“a或b”可以意指“仅a”、“仅b”或“a和b二者”。换句话说，在本文档中，“a或b”可以被解释为“a和/或b”。例如，本文档中的“a、b或c”意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。
86.在本文档中使用的斜杠(/)或逗号(，)可以意指“和/或”。例如，“a/b”可以意指“a和/或b”。相应地，“a/b”可以意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可以意指“a、b或c”。
87.在本文档中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b二者”。另外，在本文档中，表述“a或b中的至少一个”或“a和/或b中的至少一个”可以被解释为与“a和b中的至少一个”相同。
88.另外，在本文档中，“a、b和c中的至少一个”意指“仅a”、“仅b”、“仅c”或“a、b和c”、“a、b和c的任何组合”。另外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可以意指“a、b和c中的至少一个”。
89.另外，在本说明书中使用的括号可以意指“例如”。具体地，当指示“预测(帧内预测)”时，“帧内预测”可以被提议作为“预测”的示例。换句话说，本说明书中的“预测”不限于“帧内预测”，并且“帧内预测”可以被提议作为“预测”的示例。另外，即使当指示“预测(即，帧内预测)”时，“帧内预测”可以被提议作为“预测”的示例。
90.在本文档中，在一个附图中被单独描述的技术特征可以被单独地实现或可以同时地实现。
91.图1例示了根据本公开的视频/图像编码系统。
92.参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。
93.源装置可以经由数字存储介质或网络以文件或流传输的形式向接收装置传送编码视频/图像信息或数据。源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以称为视频/图像编码设备，并且解码设备可以称为视频/图像解码设备。发送器可以包括在编码设备中。接收器可以包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
94.视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括一个或更多个摄像头、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括计算机、平板电脑和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。
95.编码设备可以对输入的视频/图像进行编码。编码设备可以执行诸如预测、变换和量化的一系列过程，以实现压缩和编码效率。编码数据(编码视频/图像信息)能够以比特流的形式输出。
96.发送器可以通过数字存储介质或网络以文件或流传输的形式向接收装置的接收器发送以比特流形式输出的编码图像/图像信息或数据。数字存储介质可以包括诸如usb、
sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并向解码设备发送接收到的比特流。
97.解码设备可以通过执行与编码设备的操作相对应的诸如解量化、逆变换和预测的一系列过程来对视频/图像进行解码。
98.渲染器可以对解码视频/图像渲进行染。可以通过显示器显示渲染视频/图像。
99.图2是执行对视频/图像信号的编码并且可以应用本说明书的实施方式的编码设备的示意性框图。
100.参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(dpb)或者可以由数字存储介质配置。硬件组件还可以包括作为内部/外部组件的存储器270。
101.图像分割器210可以将输入到编码设备200的输入图像(或图片或帧)分割到一个或更多个处理器中。例如，处理器可以被称为编码单元(cu)。在这种情况下，可以根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)来递归地分割编码单元。
102.例如，一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构而被划分为深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，稍后可以应用二叉树结构和/或三叉树结构。另选地，可以首先应用二叉树结构。可以基于不再划分的最终编码单元来执行根据本公开的编码过程。在这种情况下，可以根据图像特性基于编码效率将最大编码单元直接用作最终编码单元，或者可选地，可以将编码单元递归地划分为深度更深的编码单元，以使得具有最优大小的编码单元可以用作最终编码单元。在本文中，编码过程可以包括诸如预测、变换和重构的过程，这将在后面描述。
103.作为另一示例，处理器还可以包括预测单元(pu)或变换单元(tu)。在这种情况下，可以从前述最终编码单元来划分或分割预测单元和变换单元。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
104.在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可以表示由m列和n行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，可以仅表示亮度分量的像素/像素值，或者仅表示度分量的像素/像素值。样本可以用作与像素或画素的一个图片(或图像)相对应的术语。
105.编码设备200可以通过从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)来生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，编码设备200内的用于从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵
列)的单元可以称为减法器231。
106.预测器可以对处理目标块(在下文中称为
‘
当前块’)执行预测，并生成包括当前块的预测样本的预测块。预测器可以确定在当前块或cu单元中是应用帧内预测还是应用帧间预测。如稍后在每个预测模式的描述中讨论的，预测器可以生成与预测有关的诸如预测模式信息的各种信息，并向熵编码器240发送所生成的信息。关于预测的信息可以在熵编码器240中进行编码并以比特流的形式输出。
107.帧内预测器222可以参考当前图片中的样本来预测当前块。根据预测模式，参考的样本可以位于当前块的附近，或者可以远离当前块。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括dc模式和平面模式中的至少一者。根据预测方向的详细程度，定向模式可以包括33个定向预测模式或65个定向预测模式。然而，这是例示性的，并且根据设置，可以使用比上述数量更多或更少的定向预测模式。帧内预测器222还可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
108.帧间预测器221可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以称为并置参考块、共位cu(colcu)等，并且包括时间邻近块的参考图片可以称为并置图片(colpic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表，并且生成指示使用哪个候选来推导当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以将邻近块的运动信息用作当前块的运动信息。在跳过模式下，与合并模式不同，可能无法发送残差信号。在运动向量预测(mvp)模式的情况下，可以将邻近块的运动向量用作运动向量预测子，并且可以通过用信号通知运动向量差来指示当前块的运动向量。
109.预测器可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测这二者。这可以称为帧间帧内组合预测(ciip)。另外，预测器可以基于帧内块复制(ibc)预测模式或调板模式(palette mode)，以对块执行预测。ibc预测模式或调板模式可以用于游戏等的内容图像/视频编码(例如，屏幕内容编码(scc))。ibc基本上在当前图片中执行预测，但是因为在当前图片中推导参考块，所以可以与帧间预测类似地执行。即，ibc可以使用本文档中描述的帧间预测技术中的至少一者。调板模式可以被视为帧内编码或帧内预测的示例。当应用调板模式时，可以基于关于调板索引和调板表的信息来用信号通知图片内的样本值。通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或用于生成残差信号。
110.变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图的变换(gbt)或条件非线性变换(cnt)中的至少一者。这里，当像素之间的关系信息例示为图时，
gbt意指从该图获得的变换。cnt意指基于通过使用所有先前重构像素生成的预测信号而获取的变换。另外，变换处理可以应用于具有相同大小的正方形像素块，或者还可以应用于具有可变大小而非正方形的块。
111.量化器233可以对变换系数进行量化，并且将它们发送给熵编码器240，并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换系数重新布置为一维向量形式，并且基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。
112.熵编码器240可以执行诸如指数哥伦布(golomb)、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等的各种编码方法。熵编码器240可以对除了量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)一起或分开地进行编码。
113.可以以比特流的形式以网络抽象层(nal)为单位发送或存储编码信息(例如，编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)的各种参数集的信息。另外，视频/图像信息还可以包括一般约束信息。在本文档中，稍后将描述的用信号通知的/发送的信息和/或语法元素可以通过前述编码过程被编码并因此被包括在比特流中。比特流可以通过网络发送，或者可以存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。用于发送从熵编码器240输出的信号的发送器(未例示)和/或存储该信号的存储装置(未例示)可以被配置为编码设备200的内部/外部元件，或者发送器还可以被包括在熵编码器240中。
114.从量化器233输出的量化变换系数可以用于生成预测信号。例如，解量化器234和逆变换器235对量化变换系数应用解量化和逆变换，以使得可以重构残差信号(残差块或残差样本)。加法器250将重构残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以使得可以生成重构信号(重构图片、重构块、重构样本阵列)。如在应用跳过模式的情况下那样，如果要处理的块没有残差，则可以将预测块用作重构块。加法器250可以称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中要处理的下一块的帧内预测，并且如稍后描述的，还可以通过滤波用于下一图片的帧间预测。此外，在图片编码和/或重构过程中，可以应用亮度映射与度缩放(lmcs)。
115.滤波器260可以对重构信号应用滤波，从而提高主观/客观图像质量。例如，滤波器260可以对重构图片应用各种滤波方法以生成修改后的重构图片，并将修改后的重构图片存储在存储器270(具体地，存储器270的dpb)中。各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成各种滤波相关信息，以将所生成的信息传送给熵编码器240。滤波相关信息可以由熵编码器240进行编码并且以比特流的形式输出。
116.发送给存储器270的修改后的重构图片可以用作帧间预测器221中的参考图片。如果通过帧间预测器应用帧间预测，则编码设备可以避免编码设备200与解码设备之间的预测不匹配，并且还可以提高编码效率。
117.存储器270的dpb可以存储将用作帧间预测器221中的参考图片的修改后的重构图
片。存储器270可以存储推导(或编码)当前图片内的运动信息的块的运动信息和/或先前重构的图片中的块的运动信息。所存储的运动信息可以传送给帧间预测器221，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片内的重构块的重构样本，并且将该重构样本传送给帧内预测器222。
118.图3是执行对视频/图像信号的解码并且可以应用本说明书的实施方式的解码设备的示意性框图。
119.参照图3，解码设备300可以包括并配置有熵解码器310、残差处理器320、预测器330、加法器340、滤波器350以及存储器360。预测器330可以包括帧间预测器332和帧内预测器331。残差处理器320可以包括解量化器321和逆变换器322。
120.根据实施方式，上述熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)配置。此外，存储器360可以包括解码图片缓冲器(dpb)，并且可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
121.当输入包括视频/图像信息的比特流时，解码设备300可以响应于在编码设备中处理视频/图像信息的处理而重构图像。例如，解码设备300可以基于从比特流获取的块划分相关信息来推导单元/块。解码设备300可以使用应用于编码设备的处理单元来执行解码。因此，用于解码的处理单元可以是编码单元，并且编码单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元划分。可以从编码单元推导一个或更多个变换单元。另外，可以通过再现设备来再现通过解码设备300解码并输出的重构图像信号。
122.解码设备300可以接收以比特流形式从编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以通过对比特流进行解析来推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)和视频参数集(vps)的各种参数集的信息。另外，视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息来对图片进行解码。本文档中稍后描述的用信号通知的/接收的信息和/或语法元素可以通过解码过程被解码，并从比特流中获取。例如，熵解码器310可以基于诸如指数哥伦布编码、cavlc或cabac的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差相关变换系数的量化值。更具体地，cabac熵解码方法可以接收与来自比特流的每个语法元素相对应的bin，使用待解码的语法元素信息并对邻近块或待解码的块的信息或在先前级中解码的符号/bin的信息进行解码来确定上下文模型，并且通过根据所确定的上下文模型预测bin的生成概率以对该bin进行算术解码来生成与每个语法元素的值相对应的符号。此时，cabac熵解码方法可以确定上下文模型，然后通过将经解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息当中关于预测的信息可以提供给预测器(帧间预测器332和帧内预测器331)，并且熵解码器310对其执行了熵解码的残差值(即，量化变换系数和相关参数信息)可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外，由熵解码器310解码的信息当中关于滤波的信息可以提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未例示)还可以被配置为解码设
备300的内部/外部元件，或者接收器还可以是熵解码器310的组件。
123.此外，根据本文档的解码设备可以称为视频/图像/图片解码设备，并且解码设备还可以分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一者。
124.解量化器321可以对量化变换系数进行解量化并且输出变换系数。解量化器321可以以二维块的形式重新布置量化变换系数。在这种情况下，可以基于由编码设备执行的系数扫描顺序来执行重新布置。解量化器321可以使用量化参数(例如，量化步长信息)对量化变换系数执行解量化，并且获取变换系数。
125.逆变换器322对变换系数进行逆变换以获取残差信号(残差块、残差样本阵列)。
126.预测器330可以对当前块执行预测，并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且确定具体的帧内/帧间预测模式。
127.预测器可以基于稍后将描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测。这可以称为帧间和帧内组合预测(ciip)。另外，预测器可以基于帧内块复制(ibc)预测模式或调板模式，以对块执行预测。ibc预测模式或调板模式可以用于游戏等的内容图像/视频编码(例如，屏幕内容编码(scc))。ibc基本上在当前图片中执行预测，但是因为在当前图片中推导参考块，所以可以类似于帧间预测来执行ibc。也就是说，ibc可以使用本文档中描述的帧间预测技术中的至少一者。调板模式可以被视为帧内编码或帧内预测的示例。当应用调板模式时，关于调板表和调板索引的信息可以被包括在视频/图像信息中并用信号通知。
128.帧内预测器331可以参考当前图片中的样本来预测当前块。根据预测模式，参考的样本可以位于当前块的附近，或者还可以远离当前块。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331还可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
129.帧间预测器332可以基于参考图片上的由运动向量指定的参考块(参考样本阵列)来推断当前块的预测块。此时，为了减少在帧间预测模式中发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测的模式的信息。
130.加法器340可以将所获取的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加，以生成重构信号(重构图片、重构块、重构样本阵列)。如应用跳过模式的情况那样，如果要处理的块没有残差，则可以将预
测块用作重构块。
131.加法器340可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一块的帧内预测，并且如下所述，还可以通过滤波输出，或者可以用于下一图片的帧间预测。此外，在图片解码过程中可以应用亮度映射与度缩放(lmcs)。
132.滤波器350可以向重构信号应用滤波，从而提高主观/客观图像质量。例如，滤波器350可以对重构图片应用各种滤波方法，以生成修改后的重构图片，并将修改后的重构图片存储在存储器360(具体地，存储器360的dpb)中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
133.存储器360的dpb中存储的(修改后的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储推导(解码)当前图片中的运动信息的块的运动信息和/或先前重构的图片中的块的运动信息。所存储的运动信息可以传送给帧间预测器260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并且可以将所存储的重构样本传送给帧内预测器331。
134.在本说明书中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的示例性实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331等同地或者相对应地应用。
135.图4例示了根据本公开的解码设备中的帧间预测方法。
136.参照图4，可以确定当前块的帧间预测模式(s400)。
137.可以将解码设备中预定义的多个帧间预测模式中的至少一者确定为当前块的帧间预测模式。在本文中，所述多个帧间预测模式可以包括诸如跳过模式、合并模式、运动向量预测(mvp)模式、子块合并模式、仿射模式、与mvd合并(mmvd)模式、帧间和帧内组合预测(ciip)模式等的各种模式。仿射模式可以被称为仿射运动预测模式。mvp模式可以被称为高级运动向量预测(amvp)模式。
138.另外，解码器侧运动向量细化(dmvr)模式、自适应运动向量分辨率(amvr)模式、双向光流(bdof)等也可以另外地或另选地用作附加模式。
139.指示当前块的帧间预测模式的预测模式信息可以从编码设备用信号通知给解码设备。预测模式信息可以被包括在比特流中并由解码设备接收。预测模式信息可以包括指示多个候选模式中的一者的索引信息。另选地，可以通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。
140.例如，可以用信号通知跳过标志以指示是否应用跳过模式，并且如果不应用跳过模式，则可以用信号通知合并标志以指示是否应用合并模式。如果不应用合并模式，则可以应用mvp模式，或另外地，还可以用信号通知用于标识帧间预测模式的标志。仿射模式可以被用信号通知为独立模式，或可以用信号通知为依赖于合并模式或mvp模式的模式。例如，在概念上，仿射模式可以包括仿射合并模式和仿射mvp模式。
141.此外，如果不应用合并模式，则可以在当前块中用信号通知指示list0(l0)预测、list1(l1)预测还是双预测用于当前块的信息(inter_pred_idc)。所述信息可以被称为运动预测方向信息、帧间预测方向信息或帧间预测指示信息。在本说明书中，为了便于解释，由语法元素inter_pred_idc指示的帧间预测类型(l0预测、l1预测或双预测)可以被指示为运动预测方向。l0预测、l1预测和双预测可以分别表示为pred_l0、pred_l1和pred_bi。
142.一个图片可以包括一个或更多个切片。切片可以具有包括帧内(i)切片、预测(p)切片和双预测(b)切片的切片类型中的任一者。可以基于切片类型信息来指示切片类型。对于i切片中的块，可以不使用帧间预测并且可以仅使用帧内预测。当然，即使在这种情况下，也可以在没有预测的情况下对原始样本值进行编码并用信号通知。对于p切片中的块，可以使用帧内预测或帧间预测，并且在使用帧间预测时可以仅使用单向预测。此外，对于b切片中的块，可以使用帧内预测和/或帧间预测，并且在使用帧间预测时，不仅可以使用单向预测，而且可以使用双向预测。
143.l0和l1可以包括在当前图片之前被编码/解码的参考图片。例如，l0可以包括按poc顺序在当前图片之前和/或之后的参考图片，并且l1可以包括按poc顺序在当前图片之后和/或之前的参考图片。在这种情况下，l0可以被指派比当前参考图片低的按poc顺序相对于先前参考图片的参考图片索引，并且l1可以被指派比当前图片低的按poc顺序相对于先前参考图片的参考图片索引。在b切片的情况下，可以应用双预测，并且在这种情况下，可以应用单向双预测或可以应用双向双预测。双向双预测可以被称为真双预测。
144.关于当前块的帧间预测模式的信息可以按诸如cu(cu语法)的级别编码并且用信号通知，或可以根据特定条件隐式地确定。信息可以在一些模式下显式地用信号通知，并且可以在其它模式下隐式地推导。
145.例如，cu语法可以如下定义关于(帧间)预测模式的信息。cu_skip_flag可以指示是否将跳过模式应用于当前块cu。pred_mode_ibc_flag可以指示当前块是否是在ibc预测模式下编码的块。例如，值为1的pred_mode_ibc_flag可以指定当前块是在ibc预测模式下编码的，并且值为0的pred_mode_ibc_flag可以指定当前块不是在ibc预测模式下编码的。在本文中，ibc预测模式意指通过参考属于与当前块相同的图片并且在当前块之前预重构的区域来执行预测的模式，预重构的区域可以由特定运动向量指定。
146.general_merge_flag可以指示通用合并可用。当general_merge_flag的值为1时，可以使用常规合并模式、mmvd模式以及合并子块模式(子块合并模式)。例如，当general_merge_flag的值为1时，可以从编码视频/图像信息(或比特流)解析合并数据语法，并且可以将合并数据语法配置/编码成包括以下信息。
147.merge_block_flag可以指示是否将基于子块的合并模式(或仿射合并模式)应用于当前块。merge_block_idx可以指定基于子块的合并候选列表的合并候选索引。regular_merge_flag可以指示是否将合并模式(即，常规合并模式)应用于当前块。例如，如果regular_merge_flag的值为1，则可以使用具有运动向量差(mmvd)的合并模式或常规合并模式来推导当前块的运动信息。
148.mmvd_merge_flag可以指示是否将mmvd应用于当前块。在本文中，mmvd可以意指通过将特定mvd添加到根据合并模式预推导的运动向量来校正运动向量的模式。例如，如果mmvd_merge_flag的值为1，则mmvd可以用于推导当前块的运动信息。mmvd_cand_flag可以指示是合并候选列表的第一候选还是其第二候选被用作根据合并模式的运动向量。
149.ciip_flag可以指示是否将ciip模式应用于当前块。ciip模式意指分别通过用于当前块的帧间预测和帧内预测来生成帧间预测块和帧内预测块并且通过帧间预测块和帧内预测块的加权求和生成当前块的最终预测块的方法。在本文中，可以基于前述帧间预测模式中的至少任一者执行帧间预测块。另选地，可以通过仅使用前述帧间预测模式当中的
合并模式(具体地，常规合并模式)来生成帧间预测块。可以通过仅使用预定义帧内预测模式当中的非定向模式(例如，平面模式)来生成帧内预测块。
150.参照图4，可以基于所确定的帧间预测模式推导当前块的运动信息(s410)。
151.运动信息可以包括运动向量(mv)、参考图片索引(refidx)和预测方向标志(predflagl0、predflagl1)中的至少一者。运动向量可以指定参考块的位置，并且参考图片索引可以指定当前块的属于参考图片列表的一个或更多个参考图片当中的参考图片。另外，predflagl0可以指示是否执行l0预测，并且predflagl1可以指示是否执行l1预测。当应用合并模式时，不直接发送当前块的运动信息，并且使用邻近块的运动信息推导当前预测块的运动信息。因此，可以通过发送指示使用合并模式的标志信息以及指定当前块的合并候选列表中的合并候选的合并索引来指示当前块的运动信息。合并模式可以被称为常规合并模式。例如，当regular_merge_flag的值为1时，可以应用合并模式。
152.在下文中，将参照图5至图7详细描述基于合并模式推导运动信息的方法。
153.可以通过使用五个合并候选块来配置合并候选列表。例如，可以使用四个空间合并候选和一个时间候选。在空间合并候选的情况下，图5的块中的全部或一些可以用作空间合并候选。
154.编码设备(编码器/解码器)将通过搜索当前块的空间邻近块而推导的空间合并候选插入到合并候选列表中。例如，空间邻近块可以包括当前块的左下角邻近块、左侧邻近块、右上角邻近块、顶部邻近块以及左上角邻近块。然而，这仅是示例，并且除了上文所描述的空间邻近块之外，附加邻近块(例如，右侧邻近块、底部邻近块以及右下部邻近块)可以用作空间邻近块。
155.编码设备可以基于用于检测可用块的优先级来搜索空间邻近块，并且可以将检测块的运动信息推导为空间合并候选。例如，编码设备和解码设备可以按a1、b1、b0、a0和b2的顺序搜索图5中所示的五个块，并且依次索引可用候选以配置合并候选列表。然而，不限于此，也可以按b1、a1、b0、a0和b2的顺序搜索五个块。可以仅在位置a1、b1、b0、a0以及b2处的块中的至少一者不可用时搜索位置b2处的块。在本文中，不可用的情况可以是属于与当前块的切片或拼块不同的切片或拼块的情况、对应块以帧内模式编码的情况等。
156.另外，可以在空间邻近块之间执行冗余检查以插入空间合并候选。这将排除具有与预定为来自合并候选列表的空间合并候选的空间邻近块相同的运动信息的空间邻近块。然而，可以仅在预定义的块对之间执行冗余检查，以降低计算复杂度。在本文中，可以定义诸如(a1，b1)、(b0，b1)、(a0，a1)、(b1，b2)、(a1，b2)的块对。也就是说，如果位置b1处的空间邻近块可用，则可以检查位置a1和b0处的空间邻近块是否具有与位置b1处的空间邻近块相同的运动信息。如果位置a1处的空间邻近块可用，则可以检查位置a1处的空间邻近块是否具有与位置a1处的空间邻近块相同的运动信息。在作为冗余检查的结果具有相同运动信息的情况下，可以不将对应空间邻近块插入到合并候选列表中。然而，块对仅用于示例性目的，并且还可以定义为例如(a0，a1)、(a0，b0)、(b0，b1)、(b0，b2)、(a0，b2)。
157.编码设备将通过搜索当前块的时间邻近块而推导的时间合并候选插入到合并候选列表中。时间邻近块可以属于作为与当前块所属的当前图片不同的图片的参考图片。时间邻近块所位于的参考图片可以被称为并置图片或col图片。时间邻近块可以按col图片上当前块的并置块的右下角邻近块和右下方中心块的顺序来搜索。
158.此外，参照图6，在推导时间合并候选的过程中，可以基于属于col图片的时间邻近块推导缩放运动向量。可以在切片报头中显式地用信号通知用于推导时间邻近块的参考图片列表。可以通过将特定poc距离tb和td应用于时间邻近块的运动向量来获得时间合并候选的缩放运动向量。在本文中，tb可以被定义为当前图片与当前图片的参考图片之间的poc差，并且td可以被定义为col图片与col图片的参考图片之间的poc差。时间合并候选的参考图片索引可以与时间邻近块无关地设置为0，或可以设置为时间邻近块的参考图片索引。
159.此外，当应用运动数据压缩时，可以将特定运动信息存储为col图片中的每个预定存储单元的代表性运动信息。在这种情况下，不必将所有块的运动信息存储在预定存储单元中，从而获得运动数据压缩效果。在这种情况下，预定存储单元可以预先确定为16
×
16样本单元、8
×
8样本单元等，或关于预定存储单元的大小信息可以从编码设备用信号通知给解码设备。
160.当应用运动数据压缩时，时间邻近块的运动信息可以用时间邻近块所位于的预定存储单元的代表性运动信息代替。也就是说，在这种情况下，在实现方面中，在向右边算术移位特定值之后，不是基于位于时间邻近块的坐标处的预测块而是时间邻近块的坐标(左上方样本位置)，可以基于覆盖算术移位到左边的位置的预测块的运动信息推导时间合并候选。
161.例如，如果预定存储单元为2n
×
2n样本单元，假定时间邻近块的坐标为(xtnb，ytnb)，则可以将位于修改后的位置((xtnb》》n)《《n),(ytnb》》n)《《n)处的预测块的运动信息用于时间合并候选。具体地，如果预定存储单元为16
×
16样本单元，假定时间邻近块的坐标为(xtnb,ytnb)，则可以将位于修改后的位置((xtnb》》4)《《4),(ytnb》》4)《《4)处的预测块的运动信息用于时间合并候选。另选地，如果预定存储单元为8
×
8样本单元，假定时间邻近块的坐标为(xtnb,ytnb)，则可以将位于修改后的位置((xtnb》》3)《《3),(ytnb》》3)《《3)处的预测块的运动信息用于时间合并候选。
162.编码设备可以确定当前合并候选的数量是否小于合并候选的最大数量。合并候选的最大数量可以是预定义的或可以从编码设备用信号通知给解码设备。例如，编码设备可以生成关于合并候选的最大数量的信息，对该信息进行编码，并且以比特流的形式将编码信息发送到解码设备。如果当前合并候选的数量等于合并候选的最大数量，则可以不执行附加合并候选插入过程。
163.作为检查的结果，如果当前合并候选的数量小于合并候选的最大数量，则编码设备将附加合并候选插入到合并候选列表中。附加合并候选可以包括基于历史的合并候选、成对平均合并候选、atmvp和组合式双预测合并候选(在当前切片/拼块组的切片/拼块组类型为b时)和/或零向量合并候选中的至少一者。
164.基于历史的合并候选可以添加到合并候选列表，并且可以在空间合并候选和时间合并候选之后添加。也就是说，预编码块的运动信息可以存储在具有特定大小的表或缓冲器中，并且可以用作当前块的合并候选。在下文中，将存储在表中的预编码块或预编码块的运动信息称为hvmp候选。
165.该表包括多个hmvp候选，但hmvp候选的数量可以以ctu行为单位重新设置为0。当在帧间模式下对预编码块进行编码并且其并非基于子块的合并模式时，可以将预编码块作为hmvp候选添加到表。在这种情况下，可以将预编码块添加到表的最后条目，或可以将预编
码块添加到第一条目。表的大小为5，这可以意味着可以将多达5个hmvp候选添加到所述表。当添加新hmvp候选时，可以从表移除预先存储的hvmp候选(即，以先进先出的方式)。然而，如果表中存在具有与新添加的hmvp候选相同的运动信息的hmvp候选，则可以从所述表中移除具有相同运动信息的hvmp候选。在被移除之后，剩余的hmvp候选中的全部或一些在表中向前移动。例如，如果第i hmvp候选被移除，则第(i+1)hmvp候选移动到第i hmvp候选的位置，并且第(i+2)hmvp候选移动到第(i+1)hmvp候选的位置。接下来，新添加的hmvp候选可以被添加到表格的最后条目。
166.可以对属于表的hmvp候选当中的最近添加的h个hmvp候选和空间/时间合并候选执行冗余检查。然而，为了减少冗余检查操作的数量，可以基于合并候选列表中存在的合并候选的数量n可变地确定用于生成合并候选列表的hmvp候选的数量h。例如，如果合并候选列表中存在的合并候选的数量n小于或等于4，则可以将数量h设置为表中的可用hmvp候选的数量。否则，如果合并候选列表中存在的合并候选的数量n大于4，则可以将数量h设置为(8-n)。然而，可以仅添加基于历史的合并候选，直到合并候选列表中的当前合并候选的数量达到(合并候选的最大数量-1)。
167.另外，在本说明书中，成对平均合并候选还可以被称为平均合并候选、成对平均候选或成对候选。可以通过对合并候选列表中的合并候选当中的预定义合并候选对进行平均来生成成对平均候选。合并候选对被定义为{(0,1)，(0,2)，(1,2)，(0,3)，(1,3)，(2,3)}，其中数字表示合并候选列表的合并索引。如果即使在将平均合并候选添加到合并候选列表之后合并候选列表的当前合并候选的数量也未达到合并候选的最大数量，则可以将零向量合并候选添加到合并候选列表的最后条目。可以添加零向量合并候选，直到合并候选列表的当前合并候选的数量达到合并候选的最大数量。
168.在下文中，将详细描述推导平均合并候选的方法。为了便于解释，将现有合并候选列表中的任何一个合并候选称为第一合并候选，并且将另一合并候选称为第二合并候选。
169.可以通过第一合并候选和第二合并候选的运动信息的加权平均来推导平均合并候选的运动信息。在本文中，加权平均的权重为[1:1]、[1:2]、[1:3]、[2:3]等，但不限于此。权重可以在编码设备/解码设备中预定义，或可以在解码设备中推导。在这种情况下，可以通过考虑当前图片与合并候选的参考图片之间的距离以及合并候选的预测方向中的至少一者来推导权重。另选地，可以通过从第一合并候选获得l0方向的运动信息和从第二合并候选获得l1方向的运动信息并对这两个运动信息进行组合来推导平均合并候选的运动信息。如下文所描述的，可以基于前述推导方法中的至少一者来推导平均合并候选的运动信息，所述推导方法可以通过考虑待组合的合并候选的预测方向来执行。
[0170]
1.当将单向预测应用于第一合并候选和第二合并候选两者时
[0171]
(情况1)当将l0预测应用于第一合并候选并且将l1预测应用于第二合并候选时，平均合并候选的l0方向的参考图片索引可以推导为第一合并候选的参考图片索引。平均合并候选的l0方向的预测方向标志可以推导为1。平均合并候选的l0方向的运动向量可以推导为第一合并候选的运动向量。平均合并候选的l1方向的参考图片索引可以推导为第二合并候选的参考图片索引。平均合并候选的l1方向的预测方向标志可以推导为1。平均合并候选的l1方向的运动向量可以推导为第二合并候选的运动向量。
[0172]
(情况2)当将l1预测应用于第一合并候选并且将l0预测应用于第二合并候选时，
平均合并候选的l0方向的参考图片索引可以推导为第二合并候选的参考图片索引。平均合并候选的l0方向的预测方向标志可以推导为1。平均合并候选的l0方向的运动向量可以推导为第二合并候选的运动向量。平均合并候选的l1方向的参考图片索引可以推导为第一合并候选的参考图片索引。平均合并候选的l1方向的预测方向标志可以推导为1。平均合并候选的l1方向的运动向量可以推导为第一合并候选的运动向量。
[0173]
(情况3)当将l0预测应用于第一合并候选和第二合并候选时，平均合并候选的l0方向的参考图片索引可以推导为第一合并候选和第二合并候选中的任一者的参考图片索引。例如，在第一合并候选与第二合并候选之间，具有最小索引的合并候选的参考图片索引可以设置为平均合并候选的l0方向的参考图片索引。平均合并候选的l0方向的预测方向标志可以推导为1。可以通过第一合并候选和第二合并候选的运动向量的加权平均推导平均合并候选的l0方向的运动向量。平均合并候选的l1方向的参考图片索引可以推导为-1。l1方向的预测方向标志可以推导为0。l1方向的运动信息可以推导为0。
[0174]
(情况4)当将l1预测应用于第一合并候选以及第二合并候选时，平均合并候选的l0方向的参考图片索引可以推导为-1。l0方向的预测方向标志可以推导为0。l0方向的运动信息可以推导为0。平均合并候选的l1方向的参考图片索引可以推导为第一合并候选和第二合并候选中的任一者的参考图片索引。例如，在第一合并候选与第二合并候选之间，具有最小索引的合并候选的参考图片索引可以设置为平均合并候选的l1方向的参考图片索引。平均合并候选的l1方向的预测方向标志可以推导为1。可以通过第一合并候选和第二合并候选的运动向量的加权平均推导平均合并候选的l1方向的运动向量。
[0175]
2.当将双向预测应用于第一合并候选和第二合并候选两者时
[0176]
(情况5)平均合并候选的l0方向的参考图片索引可以推导为第一合并候选和第二合并候选中的任一者的参考图片索引。例如，在第一合并候选与第二合并候选之间，具有最小索引的合并候选的参考图片索引可以设置为平均合并候选的l0方向的参考图片索引。平均合并候选的l0方向的预测方向标志可以推导为1。可以通过第一合并候选和第二合并候选的运动向量的加权平均推导平均合并候选的l0方向的运动向量。平均合并候选的l1方向的参考图片索引可以推导为第一合并候选和第二合并候选中的任一者的参考图片索引。例如，在第一合并候选与第二合并候选之间，具有最小索引的合并候选的参考图片索引可以设置为平均合并候选的l1方向的参考图片索引。平均合并候选的l1方向的预测方向标志可以推导为1。可以通过第一合并候选和第二合并候选的运动向量的加权平均推导平均合并候选的l1方向的运动向量。
[0177]
3.当将双向预测应用于第一合并候选并且将单向预测应用于第二合并候选时
[0178]
(情况6)当将l0预测应用于第二合并候选时，平均合并候选的l0方向的参考图片索引可以推导为第一合并候选和第二合并候选中的任一者的参考图片索引。例如，在第一合并候选与第二合并候选之间，具有最小索引的合并候选的参考图片索引可以设置为平均合并候选的l0方向的参考图片索引。平均合并候选的l0方向的预测方向标志可以推导为1。可以通过第一合并候选和第二合并候选的运动向量的加权平均推导平均合并候选的l0方向的运动向量。平均合并候选的l1方向的预测方向标志可以推导为1。平均合并候选的l1方向的运动向量可以推导为第一合并候选的运动向量。
[0179]
(情况7)当将l1预测应用于第二合并候选时，平均合并候选的l0方向的参考图片
索引可以推导为第一合并候选的参考图片索引。平均合并候选的l0方向的预测方向标志可以推导为1。平均合并候选的l0方向的运动向量可以推导为第一合并候选的运动向量。平均合并候选的l1方向的参考图片索引可以推导为第一合并候选和第二合并候选中的任一者的参考图片索引。例如，在第一合并候选与第二合并候选之间，具有最小索引的合并候选的参考图片索引可以设置为平均合并候选的l1方向的参考图片索引。平均合并候选的l1方向的预测方向标志可以推导为1。可以通过第一合并候选和第二合并候选的运动向量的加权平均推导平均合并候选的l1方向的运动向量。
[0180]
作为检查的结果，如果当前合并候选的数量不小于最大合并候选数量，则编码设备可以停止配置合并候选列表。在这种情况下，编码设备可以基于速率失真(rd)成本选择构成合并候选列表的合并候选当中的最优合并候选，并且将指示所选合并候选的选择信息(例如，合并索引)用信号通知给解码设备。解码设备可以基于合并候选列表和选择信息选择最优合并候选。
[0181]
所选合并候选的运动信息可以用作当前块的运动信息。另选地，可以通过使用如图7所示具有特定长度和方向的运动向量差(mvd)来校正所选合并候选的运动向量，并且基于mvd校正的运动向量可以用作当前块的运动向量。
[0182]
mmvd_distance_idx和mmvd_direction_idx中的至少一者可以用于推导mvd。mmvd_distance_idx可以表示用于推导mvd长度(mmvddistance)的索引，并且mmvd_direction_idx可以表示用于推导mvd方向或符号(mmvdsign)的索引。例如，可以如以下式1所示推导mvd。
[0183]
[式1]
[0184]
mmvdoffset[x0][y0][0]＝(mmvddistance[x0][y0]《《2)*mmvdsign[x0][y0][0]
[0185]
mmvdoffset[x0][y0][1]＝(mmvddistance[x0][y0]《《2)*mmvdsign[x0][y0][1]
[0186]
在本文中，可以基于mmvd_distance_idx和特定标志(ph_mmvd_fullpel_only_flag)如下表1所示推导mmvddistance。
[0187]
[表1]
[0188][0189]
在本文中，ph_mmvd_fullpel_only_flag可以指示运动向量在当前块的合并模式中是否使用整数像素精度。例如，当ph_mmvd_fullpel_only_flag为第一值时，当前块的合并模式使用整数像素精度。也就是说，这可以意指当前块的运动向量分辨率为整数画素。另
一方面，当ph_mmvd_fullpel_only_flag为第二值时，当前块的合并模式可以使用分数像素精度。换句话说，当ph_mmvd_fullpel_only_flag为第二值时，当前块的合并模式可以使用整数像素精度或分数像素精度。另选地，当ph_mmvd_fullpel_only_flag为第二值时，可以将当前块的合并模式限于仅使用分数像素精度。分数像素精度的示例包括1/2画素、1/4画素以及1/8画素。
[0190]
另外，mmvdsign可以表示mmvd的方向，并且方向可以包括左、右、顶部、底部、左上侧、左下侧、右上部以及右下侧方向中的至少一者。例如，如下表2所示，可以确定mmvdsign。
[0191]
[表2]
[0192][0193]
在表2中，mmvdsign[x0][y0][0]可以表示mvd的x分量的正负号，并且mmvdsign[x0][y0][1]可以表示mvd的y分量的正负号。当mmvd_direction_idx为0时，可以将mvd方向确定为右侧方向。当mmvd_direction_idx为1时，可以将mvd方向确定为左侧方向。当mmvd_direction_idx为2时，可以将mvd方向确定为底部方向。当mmvd_direction_idx为3时，可以将mvd方向确定为顶部方向。
[0194]
仅当mmvd_merge_flag为1时，才可以对前述mmvd_distance_idx和mmvd_direction_idx进行编码/解码。
[0195]
此外，mvd可以设置为与先前确定的mmvdoffset相同。另选地，可以考虑当前块的参考图片与当前块所属的当前图片之间的poc差(pocdiff)来校正mmvdoffset，并且可以将经校正的mmvdoffset设置为mvd。在这种情况下，通过双向预测来对当前块进行编码/解码，并且当前块的参考图片可以包括第一参考图片(l0方向上的参考图片)和第二参考图片(l1方向上的参考图片)。为了便于解释，在下文中，第一参考图片与当前图片之间的poc差被称为pocdiff0，并且第二参考图片与当前图片之间的poc差被称为pocdiff1。l0方向上的mvd被称为mvd0，并且l1方向上的mvd被称为mvd1。
[0196]
当pocdiff0和pocdiff1相同时，当前块的mvd0和mvd1中的每一者可以被同等地设置为mmvdoffset。
[0197]
在pocdiff0和pocdiff1不相同的情况下，当pocdiff0的绝对值大于或等于pocdiff1的绝对值时，可以将mvd0设置为等于mmvdoffset。此外，可以基于预设的mvd0推导mvd1。例如，当第一参考图片和第二参考图片是长期参考图片时，可以通过将第一缩放因子应用于mvd0来推导mvd1。可以基于pocdiff0和pocdiff1来确定第一缩放因子。另一方面，当第一参考图片和第二参考图片中的至少一者是短期参考图片时，可以通过将第二缩放因子应用于mvd0来推导mvd1。第二缩放因子可以是在编码设备/解码设备中预先约定的固定值(例如，-1/2、-1等)。然而，仅当pocdiff0的符号与pocdiff1的符号彼此不同时，才可以应用第二缩放因子。当pocdiff0的符号和pocdiff1的符号彼此相同时，mvd1被设置为等于mvd0，
并且可以不执行附加缩放。
[0198]
此外，在pocdiff0和pocdiff1不相同的情况下，当pocdiff0的绝对值小于pocdiff1的绝对值时，可以将mvd1设置为等于mmvdoffset。此外，可以基于预设的mvd1推导mvd0。例如，当第一参考图片和第二参考图片是长期参考图片时，可以通过将第一缩放因子应用于mvd1来推导mvd0。可以基于pocdiff0和pocdiff1来确定第一缩放因子。另一方面，当第一参考图片和第二参考图片中的至少一者是短期参考图片时，可以通过将第二缩放因子应用于mvd1来推导mvd0。第二缩放因子可以是在编码设备/解码设备中预先约定的固定值(例如，-1/2、-1等)。然而，仅当pocdiff0的符号与pocdiff1的符号彼此不同时，才可以应用第二缩放因子。当pocdiff0的符号和pocdiff1的符号彼此相同时，mvd0被设置为等于mvd1，并且可以不执行附加缩放。
[0199]
参照图4，可以基于所推导的运动信息获得当前块的预测块(s420)。
[0200]
预测块可以包括当前块的预测样本(预测样本阵列)。在当前块的运动向量指示分数样本单元时，可以执行内插过程，以使得可以基于参考图片内的分数样本单元中的参考样本推导当前块的预测样本。当将仿射帧间预测应用于当前块时，可以基于样本单元或子块单元中的运动向量获得预测块。
[0201]
所获得的预测块可以以包括通过l0预测获得的块(下文称为l0预测块)和通过l1预测获得的块(下文称为l1预测块)中的至少一者。l0预测可以意指使用参考图片列表0(list0)的参考图片和l0方向的运动向量(mvl0)的预测。l1预测可以意指使用参考图片列表1(list1)的参考图片和l1方向的运动向量(mvl1)的预测。
[0202]
例如，在当前块执行单预测时，可以针对当前块仅获得l0预测块和l1预测块中的任一者。具体地，在当前块仅执行l0预测(即，predflagl0＝1，predflagl1＝0)时，可以针对当前块仅获得l0预测块。另一方面，在当前块执行l1预测(即，predflagl0＝0，predflagl1＝1)时，可以针对当前块仅获得l1预测块。所获得的l0预测块或l1预测块可以用作当前块的预测块，或可以将加权预测应用于所获得的l0预测块或l1预测块，以获得当前块的预测块。
[0203]
此外，在当前块执行双预测时，可以针对当前块获得l0预测块和l1预测块中的每一者，并且可以通过l0预测块和l1预测块的加权预测获得当前块的预测块。
[0204]
根据本公开的加权预测可以大致分为显式加权预测和默认加权预测。可以选择性地使用显式加权预测和默认加权预测中的任一者，并且对此，可以使用特定标志(weightedpredflag)。如果当前块所属的切片的切片类型为p切片，则可以将weightedpredflag的值设置为指定是否将显式加权预测应用于p切片的标志(pps_weighted_pred_flag)的值。如果当前块所属的切片的切片类型为b切片，则可以将weightedpredflag的值设置为指定是否将显式加权预测应用于b切片的标志(pps_weighted_pred_flag)的值。如果weightedpredflag的值为1，则可以应用显式加权预测，并且如果weightedpredflag的值为0，则可以应用默认加权预测。在本文中，将详细描述显式加权预测和默认加权预测。
[0205]
1.显式加权预测
[0206]
显式加权预测可以意味着当前块的l0预测块和l1预测块基于显式地用信号通知的加权预测信息经加权预测。将参照图8详细描述使用加权预测信息的显式加权预测方法。
[0207]
2.默认加权预测
[0208]
默认加权预测可以意味着l0预测块/l1预测块基于解码设备中预定义的权重候选经加权预测。可以基于当前块的predflagl0和predflagl1，如式2至式5中所示执行默认加权预测。
[0209]
(情况1)当predflagl0＝1并且predflagl1＝0时
[0210]
这是当前块仅执行l0预测并且可以针对当前块仅获得l0预测块的情况。在这种情况下，可以通过将特定偏移(offset1)应用于提前获得的l0预测块来获得当前块的预测块。在本文中，可以基于编码图像的比特深度可变地确定偏移。例如，可以通过加权预测来获得当前块的预测块，如下面的式2所示。
[0211]
[式2]
[0212]
pbsamples[x][y]＝clip3(0,(1《《bitdepth)-1,(predsamplesl0[x][y]+offset1)》》shift1)
[0213]
在式2中，pbsamples[x][y]可以表示当前块的预测块，并且predsamplesl0[x][y]可以表示通过l0预测获得的l0预测块。offset1可以设置为等于(1《《(shift1-1))，并且shift1可以设置为等于max(2,14-bitdepth)。变量bitdepth可以表示编码图像的比特深度，并且可以基于编码信息来确定以指定亮度/度样本的比特深度。可以以较高级别(即，视频参数集、序列参数集、图片参数集、图片报头和切片报头中的至少一者)用信号通知信息。
[0214]
(情况2)当predflagl0＝0并且predflagl1＝1时
[0215]
这是当前块仅执行l1预测并且可以针对当前块仅获得l1预测块的情况。在这种情况下，可以通过将特定偏移(offset1)应用于提前获得的l1预测块来获得当前块的预测块。例如，如下面的式3所示，可以通过加权预测来获得当前块的预测块。
[0216]
[式3]
[0217]
pbsamples[x][y]＝clip3(0,(1《《bitdepth)-1,(predsamplesl1[x][y]+offset1)》》shift1)
[0218]
在式3中，pbsamples[x][y]可以表示当前块的预测块，并且predsamplesl1[x][y]可以表示通过l1预测获得的l1预测块。offset1和shift1与在情况1中描述的相同，并且将省略其详细描述。
[0219]
(情况3)当predflagl0＝1并且predflagl1＝1时
[0220]
这是当前块执行l0预测和l1预测两者并且可以针对当前块获得l0预测块和l1预测块的情况。在这种情况下，可以通过将特定权重或偏移应用于提前获得的l0预测块和l1预测块来获得当前块的预测块。可以基于权重候选、权重索引(bcwidx)以及其是否为以ciip模式编码的块中的至少一者来确定权重和偏移。
[0221]
例如，当加权索引的值为0时，可以通过加权预测获得当前块的预测块，如下面的式4所示。
[0222]
[式4]
[0223]
pbsamples[x][y]＝clip3(0,(1《《bitdepth)-1,(predsamplesl0[x][y]+predsamplesl1[x][y]+offset2)》》shift2)
[0224]
在式4中，pbsamples[x][y]可以表示当前块的预测块，并且predsamplesl0[x][y]
和predsamplesl1[x][y]可以分别表示通过l0预测和l1预测获得的l0预测块和l1预测块。将相同权重应用于l0预测块和l1预测块中的每一者，这意指通过对l0预测块和l1预测块进行平均来获得当前块的预测块。用于加权预测的偏移(offset1)可以设置为等于(1《《(shift2-1))，其中变量shift2可以设置为等于max(3,15-bitdepth)。此外，即使当前块是以ciip模式编码的块，也可以同等地应用如上文在式4中所示的相同加权预测。
[0225]
否则，当加权索引的值不为0时，可以通过加权预测获得当前块的预测块，如下面的式5所示。
[0226]
[式5]
[0227]
pbsamples[x][y]＝clip3(0,(1《《bitdepth)-1,(w0*predsamplesl0[x][y]+w1*predsam plesl1[x][y]+offset3)》》(shift1+3))
[0228]
在式5中，pbsamples[x][y]、predsamplesl0[x][y]和predsamplesl1[x][y]与如上文所描述的相同，并且w0和w1表示分别应用于l0预测块和l1预测块的权重。用于加权预测的偏移(offset3)可以设置为等于(1《《(shift1+2))，其中变量shift1可以设置为等于max(2,14-bitdepth)。
[0229]
式5的权重{w0,w1}可以基于解码设备中预定义的权重候选和权重索引(bcwidx)来确定。权重候选可以包括{4,4}、{3,5}、{5,3}、{-2,10}和{10,-2}中的至少一者。每个权重候选具有唯一索引，并且具有与权重索引(bcwidx)相同的索引的权重候选可以被设置为用于默认加权预测的权重。
[0230]
权重索引(bcwidx)可以是用于指定多个权重候选中的任一者的信息。在合并模式的情况下，权重索引可以从由合并索引指定的合并候选推导。在amvp模式的情况下，可以在编码设备中编码和用信号通知权重索引。然而，可以基于帧间预测指示符(inter_pred_idc)、稍后将描述的指示l0方向/l1方向上的权重的存在/不存在的标志(luma_weight_lx_flag，chroma_weight_lx_flag，x＝0、1)以及当前块的大小中的至少一者来有限地用信号通知权重索引。
[0231]
例如，可以仅在当前块根据帧间预测指示符(inter_pred_idc)使用双预测时用信号通知权重索引。可以仅在根据指示l0方向/l1方向上的权重的存在/不存在的标志不存在与参考图片相对应的权重时用信号通知权重索引。可以仅在当前块的大小大于或等于特定阈值时用信号通知权重索引。这里，当前块的大小可以由当前块的宽度和高度、宽度和高度的乘积或者宽度和高度的最小(或最大)值表示，并且阈值可以是16、32、64、128或256。
[0232]
图8例示了根据本公开的解码设备中的显式加权预测方法。
[0233]
参照图8，可以获得显式加权预测的加权预测信息(s800)。
[0234]
加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者。
[0235]
[表3]
[0236]
[0237][0238]
参照表3，可以首先在编码设备中用信号通知权重公共信息。权重公共信息可以指定当针对显式加权预测推导权重时通常使用的权重参考值。权重公共信息可以公共地用于推导l0方向上的权重w0和l1方向上的权重w1。可以针对亮度分量和度分量(luma_log2_weight_denom、delta_chroma_log2_weight_denom)中的每一者用信号通知权重公共信息。在本文中，可以通过使用亮度分量的权重参考值与度分量的权重参考值之间的差来对度分量的加权公共信息进行编码。
[0239]
可以在l0方向和l1方向中的每一者中用信号通知除加权公共信息之外的加权预测信息。在本文中，l0方向上的加权预测信息可以用于p切片的参考图片列表(或l0参考图片列表)的参考图片，并且l1方向上的加权预测信息可以用于b切片的参考图片列表(或l1参考图片列表)的参考图片。
[0240]
首先，关于l0方向上的权重预测信息，可以用信号通知指定在l0方向上用信号通知的权重的数量的权重数量信息(num_10_weight)。然而，可以基于指定用信号通知加权预测信息的位置的标志(wp_info_in_ph_flag，下文中被称为第一标志)自适应地用信号通知权重数量信息。在本文中，第一标志可以指定加权预测信息是存在于图片报头中还是存在于切片报头中。例如，当第一标志的值为1时，其可以指示加权预测信息可以存在于图片报头中但不存在于切片报头中。另一方面，当第一标志的值为0时，其可以指示加权预测信息不存在于图片报头中但可以存在于切片报头中。
[0241]
指示是否存在l0方向上的权重的标志通过基于权重数量信息的数量用信号通知，并且可以在亮度分量和度分量(luma_weight_l0_flag、chroma_weight_l0_flag，下文中被称为第二标志)中的每一者中用信号通知。
[0242]
基于第二标志，可以自适应地用信号通知l0方向上的权重增量信息和偏移信息。在本文中，权重增量信息可以指定显式加权预测的权重与前述权重参考值之间的差。当第二标志的值为1时，可以用信号通知l0方向上的权重增量信息和偏移信息，并且当第二标志的值为0时，可以不用信号通知l0方向上的权重增量信息和偏移信息并且可以将其推导为0。当第二标志为1时，l0方向上的权重增量信息的值应在-128至127的范围内。可以针对亮度分量和度分量中的每一者用信号通知前述权重增量信息和偏移信息。
[0243]
接下来，关于l1方向上的权重预测信息，可以用信号通知指定在l1方向上用信号通知的权重的数量的权重数量信息(num_11_weight)。然而，可以基于指定用信号通知加权预测信息的位置的标志(wp_info_in_ph_flag)或指示是否将显式加权预测应用于b切片的标志(pps_weighted_bipred_flag)中的至少一者自适应地用信号通知权重数量信息。在本文中，当pps_weighted_bipred_flag的值为1时，其可以指示应用显式加权预测。当pps_weighted_bipred_flag的值为0时，其可以指示不应用显式加权预测。相反，可以应用默认加权预测。
[0244]
例如，当在图片报头中用信号通知加权预测信息(即，wp_info_in_ph_flag＝1)并且将显式加权预测应用于b切片(即，pps_weighted_bipred_flag＝1)时，可以用信号通知加权数量信息。另一方面，当在图片报头中用信号通知加权预测信息但不将显式加权预测应用于b切片(即，pps_weighted_bipred_flag＝0)时，可以不用信号通知加权数量信息，但可以将其推导为0。
[0245]
另选地，可以通过仅考虑指定用信号通知加权预测信息的位置的标志(wp_info_in_ph_flag)而不管指示是否将显式加权预测应用于b切片的标志(pps_weighted_bipred_flag)来自适应地用信号通知权重数量信息。然而，根据pps_weighted_bipred_flag，当不将显式加权预测应用于b切片时，权重数量信息可以被迫始终为0。
[0246]
另外，还可以通过进一步考虑属于l1参考图片列表的参考图片的数量来用信号通知权重数量信息。例如，可以仅针对属于l1参考图片列表的参考图片的数量大于特定阈值数量的情况用信号通知权重数量信息。在本文中，阈值数量是在解码设备中预定义的值，并且可以为0、1或2。然而，本公开不限于此，并且阈值数量可以是大于2的整数。
[0247]
如上所述，当用信号通知l1方向上的权重数量信息时不考虑pps_weighted_bipred_flag时，尽管是将显式加权预测仅应用于p切片的情况，但编码设备对l1方向上的加权预测信息进行编码。例如，即使当未将显式加权预测应用于b切片(即，pps_weighted_bipred_flag＝0)时，也可以存在编码设备将权重数量信息(num_l1_weight)编码为大于0的值的情况。然而，当不将显式加权预测应用于b切片时，这意指不必需用信号通知l1方向上的加权预测信息。因此，可以通过省略对l1方向上的加权预测信息进行编码来移除编码冗余。另外，当不将显式加权预测应用于b切片时，这意味着当前块的加权预测不需要l1方向上的加权预测信息。因此，可以通过考虑pps_weighted_bipred_flag自适应地对l1方向上的加权预测信息进行解码来提高解码效率。
[0248]
指示是否存在l1方向上的权重的标志通过基于权重数量信息的数量用信号通知，并且可以在亮度分量和度分量(luma_weight_l1_flag、chroma_weight_l1_flag，被称为第三标志)中的每一者中用信号通知。
[0249]
基于第三标志，可以自适应地用信号通知l1方向上的权重增量信息和偏移信息。在本文中，权重增量信息可以指定显式加权预测的权重与前述权重参考值之间的差。当第三标志的值为1时，可以用信号通知l1方向上的权重增量信息和偏移信息，并且当第三标志的值为0时，可以不用信号通知l1方向上的权重增量信息和偏移信息并且可以将其推导为0。当第三标志为1时，l1方向上的权重增量信息的值应在-128至127的范围内。可以针对亮度分量和度分量中的每一者用信号通知前述权重增量信息和偏移信息。
[0250]
参照图8，可以通过使用上述加权预测信息来推导当前块的显式加权预测的权重
或偏移中的至少一者(s810)。
[0251]
例如，当满足以下条件中的至少一者时，可以通过使用在l0方向上用信号通知的加权预测信息中的至少一者来推导当前块的加权预测的权重和/或偏移。
[0252]
(条件1)加权预测信息存在于图片报头中，显式加权预测被应用于p切片，并且当前块所属的当前切片的切片类型为p切片。
[0253]
(条件2)加权预测信息存在于图片报头中，显式加权预测被应用于b切片，并且当前块所属的当前切片的切片类型为b切片。
[0254]
另选地，当满足以下条件中的至少一者时，可以通过使用在l0方向上用信号通知的加权预测信息中的至少一者来推导当前块的加权预测的权重和/或偏移。也就是说，当使用l0方向上的加权预测信息时，可以不根据wp_info_in_ph_flag来考虑加权预测信息是否存在于图片报头中。
[0255]
(条件1)显式加权预测被应用于p切片，并且当前块所属的当前切片的切片类型为p切片。
[0256]
(条件2)显式加权预测被应用于b切片，并且将当前块所属的当前切片的切片类型应用于b切片。
[0257]
例如，当加权预测信息存在于图片报头中、显式加权预测被应用于b切片并且当前块所属的当前切片的切片类型为b切片时，可以通过使用在l1方向上用信号通知的加权预测信息中的至少一者来推导当前块的加权预测的权重和/或偏移。
[0258]
另选地，当显式加权预测被应用于b切片并且当前块所属的当前切片的切片类型为b切片时，可以通过使用在l1方向上用信号通知的加权预测信息中的至少一者来推导当前块的加权预测的权重和/或偏移。也就是说，当使用l1方向上的加权预测信息时，可以不根据wp_info_in_ph_flag来考虑加权预测信息是否存在于图片报头中。
[0259]
针对亮度分量和度分量中的每一者推导权重和偏移。在下文中，将详细描述针对每个分量推导权重和偏移的方法。
[0260]
首先，通过使用权重公共信息和权重增量信息来推导亮度分量的权重，并且可以例如如以下式6所示推导。
[0261]
[式6]
[0262]
w0＝lumaweightl0[refidxl0]
[0263]
w1＝lumaweightl1[refidxl1]
[0264]
在式6中，w0可以表示l0方向上的权重，并且w1可以表示l1方向上的权重。lumaweightl0[i]可以推导为((1《《luma_log2_weight_denom)+delta_luma_weight_l0[i])，并且lumaweightl1[i]可以推导为((1《《luma_log2_weight_denom)+delta_luma_weight_l1[i])。refidxl0和refidxl1可以分别表示当前块的l0方向上的参考图片索引和l1方向上的参考图片索引。也就是说，可以通过使用与当前块的l0方向上的参考图片索引(refidxl0)相对应的权重公共信息和权重增量信息来推导l0方向上的权重。类似地，可以通过使用与当前块的l1方向上的参考图片索引(refidxl1)相对应的权重公共信息和权重增量信息来推导l1方向上的权重。
[0265]
然而，当指示是否存在l0方向上的权重的标志的值为0时，可以通过仅使用权重公共信息来推导l0方向上的权重，并且l0方向上的权重可以推导为2luma_log2_weight_
denom。类似地，当指示是否存在l1方向上的权重的标志的值为0时，可以通过仅使用权重公共信息来推导l1方向上的权重，并且l1方向上的权重可以推导为2luma_log2_weight_denom。
[0266]
通过使用偏移信息来推导亮度分量的偏移，并且可以例如如以下式7所示推导。
[0267]
[式7]
[0268]
o0＝luma_offset_l0[refidxl0]《《(bitdepth-8)
[0269]
o1＝luma_offset_l1[refidxl1]《《(bitdepth-8)
[0270]
在式7中，o0可以表示l0方向上的偏移，并且o1可以表示l1方向上的偏移。luma_offset_l0和luma_offset_l1与偏移信息相对应，并且具体地，可以表示通过取决于权重数量信息的数量用信号通知的偏移信息当中的与当前块的参考图片索引refidxl0和refidxl1相对应的偏移信息。
[0271]
通过使用权重公共信息和权重增量信息来推导度分量的权重，并且可以例如如以下式8所示推导。
[0272]
[式8]
[0273]
w0＝chromaweightl0[refidxl0]
[0274]
w1＝chromaweightl1[refidxl1]
[0275]
在式8中，w0可以表示l0方向上的权重，并且w1可以表示l1方向上的权重。chromaweightl0[i]可以推导为((1《《chromalog2weightdenom)+delta_chroma_weight_l0[i])，并且chromaweightl1[i]可以推导为((1《《chromalog2weightdenom)+delta_chroma_weight_l1[i])。在本文中，变量chromalog2weightdenom可以推导为针对亮度分量和度分量中的每一者用信号通知的前述加权公共信息的和(即，luma_log2_weight_denom+delta_chroma_log2_weight_denom)。refidxl0和refidxl1可以分别表示当前块的l0方向上的参考图片索引和l1方向上的参考图片索引。也就是说，可以通过使用针对亮度分量/度分量用信号通知的权重公共信息和与当前块的l0方向上的参考图片索引(refidxl0)相对应的权重增量信息来推导l0方向上的权重。类似地，可以通过使用针对亮度分量/度分量用信号通知的权重公共信息和与当前块的l1方向上的参考图片索引(refidxl1)相对应的权重增量信息来推导l1方向上的权重。
[0276]
然而，当指示是否存在l0方向上的权重的标志的值为0时，可以通过仅使用权重公共信息来推导l0方向上的权重，并且l0方向上的权重可以推导为2
chromalog2weightdenom
。类似地，当指示是否存在l1方向上的权重的标志的值为0时，可以通过仅使用权重公共信息来推导l1方向上的权重，并且l1方向上的权重可以推导为2
chromalog2weightdenom
。
[0277]
通过使用偏移信息来推导度分量的偏移，并且可以例如如以下式9和式10所示推导。
[0278]
[式9]
[0279]
o0＝chromaoffsetl0[refidxl0]《《(bitdepth-8)
[0280]
o1＝chromaoffsetl1[refidxl1]《《(bitdepth-8)
[0281]
在式9中，o0可以表示l0方向上的偏移，并且o1可以表示l1方向上的偏移。refidxl0和refidxl1可以分别表示当前块的l0方向上的参考图片索引和l1方向上的参考图片索引。在本文中，可以基于度分量的偏移信息、预推导的权重和变量
chromalog2weightdenom中的至少一者推导变量chromaoffsetl0和chromaoffsetl1，并且可以例如如以下式10所示推导。
[0282]
[式10]
[0283]
chromaoffsetl0[i]＝clip3(-128,127,(128+delta_chroma_offset_l0[i]-((128*chromaweightl0[i])》》chromalog2weightdenom)))
[0284]
chromaoffsetl1[i]＝clip3(-128,127,(128+delta_chroma_offset_l1[i]-((128*chromaweightl1[i])》》chromalog2weightdenom)))
[0285]
参照图8，可以基于所推导的权重和偏移来执行当前块的加权预测(s820)。
[0286]
具体地，可以通过考虑当前块是否执行l0预测(predflagl0)以及当前块是否执行l1预测(predflagl1)来执行显式加权预测。
[0287]
(情况1)当predflagl0＝1并且predflagl1＝0时
[0288]
这是当前块仅执行l0预测并且可以针对当前块仅获得l0预测块的情况。在这种情况下，可以通过将特定权重和偏移应用于提前获得的l0预测块来获得当前块的预测块，如以下式11所示。
[0289]
[式11]
[0290]
pbsamples[x][y]＝clip3(0,(1《《bitdepth)-1,((predsamplesl0[x][y]*w0+2
log2wd-1)》》log2wd)+o0)
[0291]
在式11中，pbsamples可以表示当前块的预测块(即，经加权预测的预测块)，并且predsamplesl0可以表示当前块的l0预测块。在本文中，变量log2wd可以推导为(luma_log2_weight_denom+shift1)，并且变量shift1可以推导为max(2,14-bitdepth)。
[0292]
(情况2)当predflagl0＝0并且predflagl1＝1时
[0293]
这是当前块仅执行l1预测并且可以针对当前块仅获得l1预测块的情况。在这种情况下，可以通过将特定权重和偏移应用于提前获得的l1预测块来获得当前块的预测块，如以下式12所示。
[0294]
[式12]
[0295]
pbsamples[x][y]＝clip3(0,(1《《bitdepth)-1,((predsamplesl1[x][y]*w0+2
log2wd-1)》》log2wd)+o0)
[0296]
在式12中，predsamplesl1可以表示当前块的l1预测块。此外，pbsamples和变量log2wd与式11中描述的相同，并且将省略其冗余描述。
[0297]
(情况3)当predflagl0＝1并且predflagl1＝1时
[0298]
这是当前块执行l0预测和l1预测并且可以针对当前块获得l0预测块和l1预测块的情况。在这种情况下，可以通过将特定权重和偏移应用于提前获得的l1预测块来获得当前块的预测块，如以下式13所示。
[0299]
[式13]
[0300]
pbsamples[x][y]＝clip3(0,(1《《bitdepth)-1,(predsamplesl0[x][y]*w0+predsamplesl1[x][y]*w1+((o0+o1+1)《《log2wd))》》(log2wd+1))
[0301]
在式13中，predsamples、predsamplesl0、predsamplesl1以及变量log2wd与式11和式12中所描述的相同，并且将省略其冗余描述。
[0302]
图9示意性地例示了根据本公开的解码设备中的帧间预测器332的结构。
[0303]
参照图9，帧间预测器332可以包括帧间预测模式确定器900、运动信息推导器910和预测块获得器920。
[0304]
帧间预测模式确定器900可以将解码设备中预定义的多个帧间预测模式中的至少一者确定为当前块的帧间预测模式。在本文中，多个帧间预测模式可以包括诸如跳过模式、合并模式、运动向量预测(mvp)模式、子块合并模式、仿射模式、与mvd合并(mmvd)模式、帧间和帧内组合预测(ciip)模式等的各种模式。仿射模式可以被称为仿射运动预测模式。mvp模式可以被称为高级运动向量预测(amvp)模式。另外，解码器侧运动向量细化(dmvr)模式、自适应运动向量分辨率(amvr)模式、双向光流(bdof)等也可以另外地或另选地用作附加模式。
[0305]
帧间预测模式确定器900可以基于从编码设备接收的预测模式信息确定当前块的帧间预测模式，其与上文参照图4描述的相同。在本文中，将省略其冗余描述。
[0306]
运动信息推导器910可以基于所确定的帧间预测模式推导当前块的运动信息。在当前块的帧间预测模式被确定为合并模式时，可以基于合并候选列表中的由选择信息(例如，合并索引)选择的合并候选的运动信息推导运动信息，其与上文参照图4描述的相同。在本文中，将省略其冗余描述。
[0307]
预测块获得器920可以基于所推导的运动信息获得当前块的预测块。
[0308]
预测块可以包括当前块的预测样本(预测样本阵列)。在当前块的运动向量指示分数样本单元时，可以执行内插过程，以使得可以基于参考图片内的分数样本单元中的参考样本推导当前块的预测样本。当将仿射帧间预测应用于当前块时，可以基于样本单元或子块单元中的运动向量获得预测块。
[0309]
另外，通过l0预测针对当前块获得的l0预测块或通过l1预测获得的l1预测块可以用作预测块。另选地，可以通过将加权预测应用于当前块的l0预测块和l1预测块中的至少一者来获得预测块。在本文中，加权预测大致被分为显式加权预测和默认加权预测，其与上文参照图4、图8和表3描述的相同。因此，将省略其冗余描述。
[0310]
图10示意性地例示了根据本公开的帧间预测器332中的预测块获得器920的结构。
[0311]
参照图10，预测块获得器920可以包括加权预测参数推导器1000和加权预测器1010。
[0312]
加权预测参数推导器1000可以通过使用加权预测信息来推导当前块的显式加权预测的加权预测参数。在本文中，加权预测信息可以包括显式加权预测的前述权重或偏移中的至少一者。
[0313]
加权预测信息可以通过解码设备的熵解码器310中的熵解码来获得，并且可以被发送到加权预测参数推导器1000。加权预测信息与参照表2描述的相同，并且基于加权预测信息推导加权预测参数的方法与参照图8描述的相同。
[0314]
加权预测器1010可以基于在加权预测参数推导器1000中推导的加权预测参数对当前块执行加权预测。通过考虑当前块是否执行l0预测(predflagl0)以及当前块是否执行l1预测(predflagl1)来执行加权预测，其与参照图8描述的相同。
[0315]
图11例示了根据本公开的编码设备中的帧间预测方法。
[0316]
参照图11，可以确定当前块的帧间预测模式(s1100)。
[0317]
可以将解码设备中预定义的多个帧间预测模式中的至少一者确定为当前块的帧
间预测模式。在本文中，多个帧间预测模式可以包括诸如跳过模式、合并模式、运动向量预测(mvp)模式、子块合并模式、仿射模式、与mvd合并(mmvd)模式、帧间和帧内组合预测(ciip)模式等的各种模式。另外，解码器侧运动向量细化(dmvr)模式、自适应运动向量分辨率(amvr)模式、双向光流(bdof)等也可以另外地或另选地用作附加模式。
[0318]
编码设备可以对指示当前块的帧间预测模式的预测模式信息进行编码并且可以将预测模式信息用信号通知给解码设备。预测模式信息可以包括指示多个候选模式中的一者的索引信息。另选地，可以通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。与帧间预测模式相关的预测模式信息与参照图4详细描述的相同。在本文中，将省略其详细描述。
[0319]
参照图11，可以基于所确定的帧间预测模式推导当前块的运动信息(s1110)。
[0320]
编码设备可以通过运动估计推导当前块的最优运动信息。运动信息可以包括运动向量(mv)、参考图片索引(refidx)和预测方向标志(predflagl0、predflagl1)中的至少一者，如上文参照图4所描述的。例如，编码设备可以通过将原始图片中的原始块用于当前块而在参考图片中的预定搜索范围内的以分数像素为单位搜索具有高相关性的类似参考块，从而推导运动信息。
[0321]
可以根据基于相位的采样值的差推导块的相似性。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的sad来计算块的相似性。在这种情况下，可以基于搜索区域中的具有最小sad的参考块推导运动信息。可以根据基于预定义的帧间预测模式的各种方法将所推导的运动信息用信号通知给解码设备。
[0322]
编码设备可以搜索用于推导当前块的运动信息以执行合并模式的合并候选块。例如，可以使用多达五个合并候选块，但是本说明书的实施方式不限于此。另外，可以在视频参数集、序列参数集、图片参数集、图片报头、切片报头和拼块组报头中的至少一者中发送合并候选块的最大数量，但本说明书的实施方式不限于此。
[0323]
在到合并候选块之后，编码器可以基于所到的合并候选块生成由多个合并候选组成的合并候选列表，并且可以选择其中具有最小成本的合并候选作为用于推导当前块的运动信息的最终合并候选。指定所选最终合并候选的合并索引被编码，并且这可以用信号通知给解码设备。
[0324]
合并候选列表包括空间合并候选、时间合并候选、基于历史的合并候选、平均合并候选或零向量合并候选中的至少一者。由于生成合并候选列表的方法与上文参照图4描述的相同，所以本文将省略其详细描述。
[0325]
所选合并候选的运动信息可以用作当前块的运动信息。另选地，可以通过使用如图7所示具有特定长度和方向的运动向量差(mvd)来校正所选合并候选的运动向量，并且基于mvd校正的运动向量可以用作当前块的运动向量。
[0326]
编码设备可以另外基于如表1所示的预定义mvd长度(mmvddistance)和如表2所示的预定义mvd方向(mmvdsign)搜索参考块，并且可以选择与最优参考块相对应的mvd的长度和方向中的每一者。可以基于所选mvd长度和mvd方向推导mvd。基于在编码设备中预定义的表1和表2，所选mvd长度和mvd方向可以分别编码为mmvd_distance_idx和mmvd_direction_idx。这与参照图4详细描述的相同，并且本文将省略其详细描述。
[0327]
参照图11，可以获得当前块的加权预测的加权预测信息(s1120)。
[0328]
加权预测可以为前述显式加权预测和默认加权预测中的任一者。可以针对当前块的l0预测块和l1预测块中的至少一者获得加权预测信息。在本文中，可以基于在上述s1110中推导的运动信息获得l0/l1预测块。
[0329]
可以基于特定加权预测系数(即，特定权重或偏移中的至少一者)获得加权预测信息。上文已经参照图8描述了基于加权预测信息推导权重和偏移的方法。可以通过所述方法的相反过程基于加权预测系数获得加权预测信息。在本文中，可以基于当前块的l0预测块/l1预测块确定加权预测系数，或可以基于当前块的l0参考图片/l1参考图片确定加权预测系数。
[0330]
加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者。加权预测信息可以在编码设备中编码并用信号通知给解码设备，并且可以针对l0方向和l1方向中的每一者编码除权重公共信息外的加权预测信息。
[0331]
具体地，在l0方向上的加权预测信息的情况下，当指定加权预测信息被编码的位置的标志(wp_info_in_ph_flag)的值为1时，可以对权重数量信息进行编码。可以通过基于所述权重数量信息的数量对指示权重是否存在的标志进行编码。也可以通过基于权重数量信息的数量对权重增量信息和偏移信息进行编码，并且仅当指示权重是否存在的标志的值为1时才可以进行编码。
[0332]
在l1方向上的加权预测信息的情况下，当指定加权预测信息被编码的位置的标志(wp_info_in_ph_flag)的值为1时，可以对权重数量信息进行编码。另外，可以在指示是否将显式加权预测应用于b切片的标志(pps_weighted_bipred_flag)的值为1时对加权预测信息进行编码。然而，仅当属于l1参考图片列表的参考图片的数量大于在编码设备中预定义的阈值数量时，才可以限制加权预测信息。在本文中，阈值数量可以是0、1或2。可以通过基于权重数量信息的数量对指示权重是否存在的标志进行编码。也可以通过基于权重数量信息的数量对权重增量信息和偏移信息进行编码，并且仅当指示权重是否存在的标志的值为1时才可以进行编码。
[0333]
此外，编码设备可以根据基于加权预测系数获得的预测块的预测样本推导当前块的残差样本，并且可以将关于残差样本的残差信息用信号通知给解码设备。
[0334]
图12示意性地例示了根据本公开的编码设备中的帧间预测器221的结构。
[0335]
参照图12，帧间预测器221可以包括帧间预测模式确定器1200、运动信息推导器1210和加权预测系数确定器1220。
[0336]
帧间预测模式确定器1200可以将解码设备中预定义的多个帧间预测模式中的至少一者确定为当前块的帧间预测模式。在本文中，多个帧间预测模式可以包括诸如跳过模式、合并模式、运动向量预测(mvp)模式、子块合并模式、仿射模式、与mvd合并(mmvd)模式、帧间和帧内组合预测(ciip)模式等的各种模式。另外，解码器侧运动向量细化(dmvr)模式、自适应运动向量分辨率(amvr)模式、双向光流(bdof)等也可以另外地或另选地用作附加模式。
[0337]
可以通过熵编码器240对指示所确定的帧间预测模式的预测模式信息进行编码并且可以将预测模式信息用信号通知给解码设备。预测模式信息可以包括指示多个候选模式中的一者的索引信息。另选地，可以通过标志信息的分层信令来指示帧间预测模式。在这种
情况下，预测模式信息可以包括一个或更多个标志。与帧间预测模式相关的预测模式信息与参照图4详细描述的相同。在本文中，将省略其详细描述。
[0338]
运动信息推导器1210可以基于所确定的帧间预测模式推导当前块的运动信息。
[0339]
运动信息推导器1210可以通过运动估计推导当前块的最优运动信息。运动信息可以包括运动向量(mv)、参考图片索引(refidx)和预测方向标志(predflagl0、predflagl1)中的至少一者，如上文参照图4所描述的。例如，运动信息推导器1210可以通过将原始图片中的原始块用于当前块而在参考图片中的预定搜索范围内的以数像素为单位中搜索具有高相关性的类似参考块，从而推导运动信息。
[0340]
可以根据基于相位的样本值的差推导块的相似性。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的sad来计算块的相似性。在这种情况下，可以基于搜索区域中的具有最小sad的参考块推导运动信息。可以根据基于预定义的帧间预测模式的各种方法将所推导的运动信息用信号通知给解码设备。
[0341]
运动信息推导器1210可以搜索用于推导当前块的运动信息以执行合并模式的合并候选块。例如，可以使用多达五个合并候选块，但是本说明书的实施方式不限于此。另外，可以在视频参数集、序列参数集、图片参数集、图片报头、切片报头和拼块组报头中的至少一者中发送合并候选块的最大数量，但本说明书的实施方式不限于此。
[0342]
在到合并候选块之后，运动信息推导器1210可以基于所到的合并候选块生成由多个合并候选组成的合并候选列表，并且可以选择其中具有最小成本的合并候选作为用于推导当前块的运动信息的最终合并候选。指定所选最终合并候选的合并索引可以通过熵编码器240被编码，并且这可以用信号通知给解码设备。
[0343]
合并候选列表包括空间合并候选、时间合并候选、基于历史的合并候选、平均合并候选或零向量合并候选中的至少一者。由于生成合并候选列表的方法与上文参照图4描述的相同，所以本文将省略其详细描述。
[0344]
运动信息推导器1210可以将所选合并候选的运动信息推导为当前块的运动信息。另选地，可以通过使用具有特定长度和方向的运动向量差(mvd)来校正所选合并候选的运动向量，并且可以将所校正的运动向量推导为当前块的运动向量。
[0345]
为此，运动信息推导器1210可以另外基于如表1所示的预定义mvd长度(mmvddistance)和如表2所示的预定义mvd方向(mmvdsign)搜索参考块，并且可以选择与最优参考块相对应的mvd的长度和方向中的每一者。运动信息推导器1210可以基于所选mvd长度和mvd方向推导mvd。
[0346]
此外，运动信息推导器1210可以分别根据可以在熵编码器240中被编码的所选择的mvd的长度和方向推导mmvd_distance_idx和mmvd_direction_idx。这与参照图4详细描述的相同，并且本文将省略其详细描述。
[0347]
加权预测信息获得器1220可以获得在运动信息推导器1210中获得的l0预测块/l1预测块的加权预测信息。在本文中，可以基于在运动信息推导器1210中推导的运动信息获得l0/l1预测块。加权预测可以为显式加权预测和默认加权预测中的任一者。
[0348]
加权预测信息获得器1220可以基于特定加权预测系数(即，权重或偏移中的至少一者)获得加权预测信息。上文已经参照图8描述了基于加权预测信息推导权重和偏移的方法。可以通过所述方法的相反过程基于加权预测系数获得加权预测信息。在本文中，可以基
于当前块的l0预测块/l1预测块确定加权预测系数，或者可以基于当前块的l0参考图片/l1参考图片确定加权预测系数。
[0349]
加权预测信息可以包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者。所获得的加权预测信息可以通过熵编码器240被编码，其与参照图11所描述的相同，因此将省略其冗余描述。
[0350]
可以在处理器、微处理器、控制器或芯片上实现和执行在本文档中描述的实施方式。例如，可以在计算机、处理器、微处理器、控制器或芯片上实现和执行每个图中所示的功能单元。在这种情况下，用于实施方式的信息(例如，关于指令的信息)或算法可以存储在数字存储介质中。
[0351]
此外，应用本说明书的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(vod)服务提供装置、过顶(ott)视频装置、互联网流传输服务提供装置、三维(3d)视频装置、虚拟现实(vr)设备、增强现实(ar)设备、视频电话视频装置、运输装置终端(例如，车辆终端、飞机终端、轮船终端等)和医疗视频装置中，并且可以用于处理视频信号或数据信号。例如，过顶(ott)视频装置可以包括游戏机、蓝光播放器、互联网接入tv、家庭影院系统、智能电话、平板pc、数字视频记录仪(dvr)等。
[0352]
另外，应用本说明书的实施方式的处理方法可以以由计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。根据本说明书的实施方式的具有数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有类型的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网的传输)的形式实现的介质。另外，由编码方法生成的比特流可以存储在计算机可读记录介质中或通过有线或无线通信网络来发送。
[0353]
另外，本说明书的实施方式可以通过程序代码实现为计算机程序产品，并且程序代码可以通过本说明书的实施方式在计算机上执行。程序代码可以存储在计算机可读载体上。
[0354]
应用本文档的实施方式的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体储存部、用户装置和多媒体输入装置。
[0355]
编码服务器将从诸如智能手机、相机、便携式摄像机等的多媒体输入装置输入的内容压缩为数字数据，以生成比特流并将该比特流发送到流传输服务器。作为另一示例，当诸如智能手机、相机、便携式摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。
[0356]
可以通过应用了本说明书的实施方式的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。
[0357]
流传输服务器基于用户请求通过网络服务器向用户装置发送多媒体数据，并且网络服务器用作向用户通知服务的媒介。当用户从网络服务器请求所需的服务时，网络服务器向流传输服务器传递该请求，并且流传输服务器向用户发送多媒体数据。在这种情况下，
内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输系统内的装置之间的命令/响应。
[0358]
流传输服务器可以从媒体储存部和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以将比特流存储预定时间。
[0359]
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航仪、触屏pc、平板pc、超级本、可穿戴装置(例如，智能手表、智能眼镜和头戴式显示器)、数字tv、台式计算机、数字标牌等。
[0360]
内容流传输系统内的每个服务器可以作为分布式服务器操作，在这种情况下，从每个服务器接收的数据可以被分发。
[0361]
工业实用性
[0362]
本公开可以用于对视频信号进行编码/解码。

技术特征：

1.一种图像解码方法，所述图像解码方法包括以下步骤：确定当前块的帧间预测模式；根据所确定的帧间预测模式推导所述当前块的运动信息；以及基于所推导的运动信息获得所述当前块的预测块，其中，所述预测块是基于所述当前块的显式加权预测的加权预测信息获得的，其中，所述加权预测信息包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者，并且其中，基于指定用信号通知所述加权预测信息的位置的第一标志或指示是否将所述显式加权预测应用于双预测b切片的第二标志中的至少一者自适应地用信号通知所述权重数量信息。2.根据权利要求1所述的图像解码方法，其中，所述当前块的所述运动信息是基于合并候选列表推导的，并且其中，所述合并候选列表包括空间合并候选、时间合并候选、基于历史的合并候选或平均合并候选中的至少一者。3.根据权利要求1所述的图像解码方法，其中，推导所述当前块的所述运动信息的步骤包括：通过使用特定运动向量差mvd来修改所推导的运动信息当中的运动向量，并且其中，所述mvd是基于所述mvd的长度、所述mvd的方向和所述当前块的参考图片与当前图片之间的图片顺序计数poc差中的至少一者推导的。4.根据权利要求1所述的图像解码方法，其中，获得所述当前块的所述预测块的步骤包括：获得所述当前块的所述显式加权预测的所述加权预测信息；通过使用所述加权预测信息推导所述当前块的所述显式加权预测的权重或偏移中的至少一者；以及基于所推导的权重或偏移中的至少一者执行所述当前块的加权预测。5.根据权利要求4所述的图像解码方法，其中，所述权重数量信息包括l0方向的权重数量信息和l1方向的权重数量信息，其中，所述l0方向的权重数量信息是基于指定用信号通知所述加权预测信息的所述位置的所述第一标志自适应地用信号通知的，并且其中，所述l1方向的权重数量信息是基于指定用信号通知所述加权预测信息的所述位置的所述第一标志和指示是否将所述显式加权预测应用于所述b切片的所述第二标志自适应地用信号通知的。6.根据权利要求5所述的图像解码方法，其中，指定用信号通知所述加权预测信息的所述位置的所述第一标志指定所述加权预测信息是存在于图片报头中还是存在于切片报头中，并且其中，指示是否将所述显式加权预测应用于所述b切片的所述第二标志指定是将所述显式加权预测应用于所述b切片还是将默认加权预测应用于所述b切片。7.根据权利要求6所述的图像解码方法，其中，当根据所述第一标志所述加权预测信息存在于所述切片报头中或者根据所述第二标志未将所述显式加权预测应用于所述b切片时，所述l1方向的权重数量信息被推导为0。
8.一种图像编码方法，所述图像编码方法包括以下步骤：确定当前块的帧间预测模式；根据所确定的帧间预测模式推导所述当前块的运动信息；以及获得所述当前块的加权预测的加权预测信息，其中，所述加权预测信息包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者，并且其中，基于指定对所述加权预测信息进行编码的位置的第一标志或指示是否将显式加权预测应用于双预测b切片的第二标志中的至少一者自适应地对所述权重数量信息进行编码。9.根据权利要求8所述的图像编码方法，其中，所述当前块的所述运动信息是基于合并候选列表推导的，并且其中，所述合并候选列表包括空间合并候选、时间合并候选、基于历史的合并候选或平均合并候选中的至少一者。10.根据权利要求8所述的图像编码方法，其中，推导所述当前块的所述运动信息的步骤包括：通过使用特定运动向量差mvd来修改所推导的运动信息当中的运动向量，并且其中，所述mvd是基于所述mvd的长度、所述mvd的方向和所述当前块的参考图片与当前图片之间的图片顺序计数poc差中的至少一者推导的。11.根据权利要求8所述的图像编码方法，其中，获得所述当前块的所述加权预测的所述加权预测信息的步骤包括：确定所述当前块的所述加权预测的权重或偏移中的至少一者；以及基于所确定的权重或偏移中的至少一者获得所述当前块的所述加权预测信息。12.根据权利要求11所述的图像编码方法，其中，所述权重数量信息包括l0方向的权重数量信息和l1方向的权重数量信息，其中，所述l0方向的权重数量信息是基于指定对所述加权预测信息进行编码的所述位置的所述第一标志自适应地编码的，并且其中，所述l1方向的权重数量信息是基于指定对所述加权预测信息进行编码的所述位置的所述第一标志和指示是否将所述显式加权预测应用于所述b切片的所述第二标志自适应地编码的。13.根据权利要求12所述的图像编码方法，其中，指定用信号通知所述加权预测信息的所述位置的所述第一标志指定所述加权预测信息是存在于图片报头中还是存在于切片报头中，并且其中，指示是否将所述显式加权预测应用于所述b切片的所述第二标志指定是将所述显式加权预测应用于所述b切片还是将默认加权预测应用于所述b切片。14.根据权利要求12所述的图像编码方法，其中，当根据所述第一标志所述加权预测信息被编码在切片报头中或者根据所述第二标志未将所述显式加权预测应用于所述b切片时，所述l1方向的权重数量信息不被编码。15.一种存储有编码信息的计算机可读存储介质，所述编码信息使图像解码设备执行图像解码方法，所述图像解码方法包括以下步骤：确定当前块的帧间预测模式；
根据所确定的帧间预测模式推导所述当前块的运动信息；以及基于所推导的运动信息获得所述当前块的预测块，其中，所述预测块是基于所述当前块的显式加权预测的加权预测信息获得的，其中，所述加权预测信息包括权重公共信息、权重数量信息、指示权重是否存在的标志、权重增量信息或偏移信息中的至少一者，并且其中，基于指定用信号通知所述加权预测信息的位置的第一标志或指示是否将所述显式加权预测应用于双预测b切片的第二标志中的至少一者自适应地用信号通知所述权重数量信息。

技术总结

根据本公开的图像解码方法和设备可以确定当前块的帧间预测模式、根据所确定的帧间预测模式推导当前块的运动信息以及基于所推导的运动信息获得当前块的预测块。的运动信息获得当前块的预测块。的运动信息获得当前块的预测块。

技术研发人员：

亨得利

受保护的技术使用者：

LG电子株式会社

技术研发日：

2021.02.25

技术公布日：

2022/12/1