面向转播视频的冰壶球运动状态检测方法、系统、计算机设备和存储介质与流程

1.本技术涉及人工智能检测技术领域，尤其涉及冰壶球比赛转播视频中的冰壶球运动状态检测。

背景技术：

2.冰壶比赛转播视频中包含着大量的专业信息，从转播视频中提取冰壶球的运动信息能够为训练策略提供专家样本，并快速准确地从重要转播赛事中提取对战信息，对分析冰壶比赛的投掷策略、提取专家经验、研制冰壶机器人具有重要的参考价值。
3.但由于比赛转播相机的参数未知，以及为了转播效果需要多相机之间进行视角切换，导致很难从转播视频中提取冰壶球的运动信息。

技术实现要素：

4.本发明目的是为了解决现有难以从冰壶球比赛转播视频中提取冰壶球的运动信息的问题，提供了面向转播视频的冰壶球运动状态检测方法、系统、计算机设备和存储介质。
5.本发明是通过以下技术方案实现的，本发明一方面，提供一种面向转播视频的冰壶球运动状态检测方法，所述方法包括：
6.步骤1、对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道的尺寸先验信息，计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵，将所述转播视频从斜视视角转换到俯视视角；
7.步骤2、建立冰壶球目标检测网络，具体包括：
8.采集冰壶球转播视频，利用步骤1的方法对所述冰壶球转播视频进行转换，通过数据增强方法建立冰壶球目标检测训练数据集；基于所述冰壶球目标检测训练数据集，并利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输出为冰壶球检测框；
9.步骤3、建立冰壶球把柄角度检测模型，具体包括：
10.基于步骤2中所述冰壶球目标检测网络输出的冰壶球检测框，构建冰壶球检测框数据集；基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，建立冰壶球把柄角度检测模型，所述冰壶球把柄角度检测模型的输出为冰壶球把柄角度；
11.步骤4、获取待检测冰壶比赛转播视频，利用步骤1的方法对所述待检测冰壶比赛转播视频进行转换；
12.利用转换后的待检测冰壶比赛转播视频和所述冰壶球目标检测网络获取待检测冰壶球检测框，根据所述冰壶球检测框获取待检测冰壶球的位置和速度；
13.步骤5、根据所述待检测冰壶球检测框，并利用所述冰壶球把柄角度检测模型，获取待检测冰壶球把柄角度，根据所述待检测冰壶球把柄角度获取待检测冰壶球的旋转角速
度。
14.进一步地，步骤1具体包括：
15.步骤1.1、将转播视频中的冰壶赛道进行语义分割图像标注，所述语义分割图像标注包括8类，具体包括：空白赛道、前卫线、蓝环大本营、白环大本营、红环大本营、白圆大本营、记分牌和徽标；
16.步骤1.2、基于deeplabv3+语义分割网络分割冰壶赛道，具体为：将转播视频进行空洞卷积和空洞空间金字塔池化，设置的初始学习率，使用指数变换的衰减策略动态调整训练过程中的学习率，并设置目标函数为交点损失函数，基于步骤1.1中的8类图像标注得到转播视频的冰壶赛道图像语义分割结果；
17.步骤1.3、基于步骤1.2获取的语义分割结果，从转播视频中分割出空白赛道、蓝环大本营、白环大本营，获取空白赛道左边界线和空白赛道右边界线的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式；
18.步骤1.4、利用所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，并基于冰壶赛道尺寸先验信息计算转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵，将所述转播视频从斜视视角变换到俯视视角。
19.进一步地，所述损失函数f具体为
[0020][0021]
其中，y是真实样本，y
′
是模型给出的预测类别概率，γ为损失因子，α为平衡因子。
[0022]
进一步地，步骤1.3，具体包括：
[0023]
步骤1.3.1、将空白赛道、蓝环大本营、白环大本营对应的像素位置设为1，其他位置为0，分别得到掩膜图像；
[0024]
步骤1.3.2、如果掩膜图像中一个像素点的8连通域或4连通域内有0像素存在，那么这个像素点就是边界点，得到掩膜图像每一个连通区域的多个轮廓点集，再计算每个轮廓点集对应的面积，选择其中面积最大的那条轮廓作为边缘轮廓；
[0025]
步骤1.3.3、轮廓线上的每个点在冰壶赛道坐标系下的坐标为(xi,yi)，将xi作为自变量、yi作为输出进行低通滤波处理，以yi的原始值和滤波值的差的绝对值作为差值，删除差值超过预设个数的像素的点；
[0026]
步骤1.3.4、根据滤波之后的轮廓点集，采用最小二乘方法来对轮廓点集进行拟合，得到空白赛道左边界线和空白赛道右边界线的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式。
[0027]
进一步地，步骤1.4，具体包括：
[0028]
步骤1.4.1、根据所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，获取蓝圆环的外轮廓切线与左边界线的交点a、蓝圆环的外轮廓切线与右边界线的交点b、蓝圆环的内轮廓切线与左边界线的交点c和蓝圆环的内轮廓切线与右边界线的交点d在转播视频坐标系下的坐标，所述蓝圆环的外轮廓切线和所述蓝圆环的内轮廓切线均平行于t线；
[0029]
再根据冰壶赛道尺寸先验信息得到所述交点a、交点b、交点c和交点d在冰壶赛道
坐标系下的坐标，获取第一单应性矩阵；
[0030]
步骤1.4.2、根据所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，获取蓝圆环的外轮廓切线的切点e和蓝圆环的内轮廓切线的切点f在转播视频坐标系下的坐标；
[0031]
再根据冰壶赛道尺寸先验信息得到所述切点e和切点f在冰壶赛道坐标系下的坐标，获取第二单应性矩阵；
[0032]
步骤1.4.3、将所述第一单应性矩阵和所述第二单应性矩阵相乘，获取转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵；
[0033]
步骤1.4.4、将所述转播视频乘以所述坐标变换矩阵得到俯视视角图像，将所述转播视频从斜视视角变换到俯视视角。
[0034]
进一步地，步骤2，具体包括：
[0035]
步骤2.1、从不同角度、位置、遮挡以及不同背景的带有冰壶球的转播视频中采集若干张冰壶球图像，利用步骤1的方法对所述冰壶球图像进行转换，将每预设张数的转换后的图像进行随机缩放后再按随机分布进行拼接、扩增，并将所述转换后的图像中的冰壶球按照颜标注类别，获取冰壶球目标检测训练数据集；
[0036]
步骤2.2、利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输入为所述冰壶球目标检测训练数据集，输出为冰壶球检测框；设置所述冰壶球目标检测网络的初始学习率，每次梯度下降时的学习率通过指数变换的衰减策略自行调整，设置训练周期，网络使用小批量梯度下降进行训练。
[0037]
进一步地，步骤3，具体包括：
[0038]
步骤3.1、基于步骤2中所述冰壶球目标检测网络输出的冰壶球检测框，获取若干张冰壶球检测框图像，利用双线性插值方法将所述若干张冰壶球检测框图像统一到相同尺寸，并标注冰壶球上的把柄，构建冰壶球检测框数据集,
[0039]
步骤3.2、基于所述冰壶球检测框数据集，利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，建立冰壶球把柄角度检测模型，所述冰壶球把柄角度检测模型的输出为冰壶球把柄角度，具体包括：
[0040]
基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络获取冰壶球把柄图像；
[0041]
利用霍夫变换直线拟合的方法，对所述冰壶球把柄图像进行霍夫变换，获取一组直线，按直线角度等间距离散化，精度为1度，将若干个离散点重合拟合为一条直线，将拟合得到的直线的斜率转换为角度，取角度均值作为冰壶球把柄角度。
[0042]
第二方面，本发明提供一种面向转播视频的冰壶球运动状态检测系统，所述系统包括：
[0043]
坐标转换模块，用于对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道的尺寸先验信息，计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵，将转播视频从斜视视角转换到俯视视角；
[0044]
冰壶球目标检测网络建立模块，用于建立冰壶球目标检测网络，具体包括：
[0045]
图像采集转换模块，用于采集冰壶球转播视频，利用坐标转换模块对所述冰壶球转播视频进行转换，通过数据增强方法建立冰壶球目标检测训练数据集；
[0046]
网络建立模块，用于基于所述冰壶球目标检测训练数据集，并利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输出为冰壶球检测框；
[0047]
冰壶球把柄角度获取模块，用于基于冰壶球目标检测网络建立模块中所述冰壶球目标检测网络输出的冰壶球检测框，构建冰壶球检测框数据集；基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，获取冰壶球把柄角度；
[0048]
冰壶球位置和速度获取模块，用于获取待检测冰壶比赛转播视频，利用坐标转换模块对所述待检测冰壶比赛转播视频进行转换；
[0049]
利用转换后的待检测冰壶比赛转播视频和所述冰壶球目标检测网络获取待检测冰壶球检测框，根据所述冰壶球检测框获取待检测冰壶球的位置和速度；
[0050]
冰壶球旋转角速度获取模块，用于根据所述待检测冰壶球检测框，并利用所述冰壶球把柄角度检测模型，获取待检测冰壶球把柄角度，根据所述待检测冰壶球把柄角度获取待检测冰壶球的旋转角速度。
[0051]
第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行如上文所述的一种面向转播视频的冰壶球运动状态检测方法的步骤。
[0052]
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行如上文所述的一种面向转播视频的冰壶球运动状态检测方法。
[0053]
本发明的有益效果：
[0054]
首先，本发明利用人工智能图像分割和目标检测技术，结合坐标系变换能够获取转播视频中冰壶球的位置和旋转信息，从转播视频中恢复冰壶球的运动过程；
[0055]
其次，本发明面向冰壶比赛转播视频，提出一种冰壶比赛转播视频从斜视视角到俯视视角投影变换矩阵计算方法，将冰壶球的像素坐标转换到具有实际意义的冰壶赛道坐标系；
[0056]
最后，基于目标检测算法得到了冰壶球在冰壶赛道坐标系下的位置信息，基于图像分割算法和霍夫变换直线拟合方法得到了描述冰壶球旋转的把柄角度信息，实现了转播视频中冰壶球的运动状态检测。
[0057]
本发明适用于冰壶球比赛转播视频中冰壶球的运动状态检测。
附图说明
[0058]
为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0059]
图1为本发明方法针对解析式获取方法的流程示意图；
[0060]
图2为本发明方法冰壶球比赛转播视频中直线ac、bd的示意图；
[0061]
图3为本发明方法的流程示意图。
具体实施方式
[0062]
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始
至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0063]
实施方式一、一种面向转播视频的冰壶球运动状态检测方法，所述方法包括：
[0064]
步骤1、对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道的尺寸先验信息，计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵，将所述转播视频从斜视视角转换到俯视视角；
[0065]
步骤2、建立冰壶球目标检测网络，具体包括：
[0066]
采集冰壶球转播视频，利用步骤1的方法对所述冰壶球转播视频进行转换，通过数据增强方法建立冰壶球目标检测训练数据集；基于所述冰壶球目标检测训练数据集，并利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输出为冰壶球检测框；
[0067]
步骤3、建立冰壶球把柄角度检测模型，具体包括：
[0068]
基于步骤2中所述冰壶球目标检测网络输出的冰壶球检测框，构建冰壶球检测框数据集；基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，建立冰壶球把柄角度检测模型，所述冰壶球把柄角度检测模型的输出为冰壶球把柄角度；
[0069]
步骤4、获取待检测冰壶比赛转播视频，利用步骤1的方法对所述待检测冰壶比赛转播视频进行转换；
[0070]
利用转换后的待检测冰壶比赛转播视频和所述冰壶球目标检测网络获取待检测冰壶球检测框，根据所述冰壶球检测框获取待检测冰壶球的位置和速度；
[0071]
步骤5、根据所述待检测冰壶球检测框，并利用所述冰壶球把柄角度检测模型，获取待检测冰壶球把柄角度，根据所述待检测冰壶球把柄角度获取待检测冰壶球的旋转角速度。
[0072]
本实施方式中，首先，利用人工智能图像分割和目标检测技术，结合坐标系变换能够获取转播视频中冰壶球的位置和旋转信息，从转播视频中恢复冰壶球的运动过程；
[0073]
其次，面向冰壶比赛转播视频，提出一种冰壶比赛转播视频从斜视视角到俯视视角投影变换矩阵计算方法，将冰壶球的像素坐标转换到具有实际意义的冰壶赛道坐标系；
[0074]
最后，基于目标检测算法得到了冰壶球在冰壶赛道坐标系下的位置信息，基于图像分割算法和霍夫变换直线拟合方法得到了描述冰壶球旋转的把柄角度信息，实现了转播视频中冰壶球的运动状态检测。
[0075]
实施方式二，本实施方式是对实施方式一所述的一种面向转播视频的冰壶球运动状态检测方法的进一步限定，本实施方式中，对步骤1，做了进一步限定，具体包括：
[0076]
步骤1.1、将转播视频中的冰壶赛道进行语义分割图像标注，所述语义分割图像标注包括8类，具体包括：空白赛道、前卫线、蓝环大本营、白环大本营、红环大本营、白圆大本营、记分牌和徽标；
[0077]
步骤1.2、基于deeplabv3+语义分割网络分割冰壶赛道，具体为：将转播视频进行空洞卷积和空洞空间金字塔池化，设置的初始学习率，使用指数变换的衰减策略动态调整训练过程中的学习率，并设置目标函数为交点损失函数，基于步骤1.1中的8类图像标注得到转播视频的冰壶赛道图像语义分割结果；
[0078]
步骤1.3、基于步骤1.2获取的语义分割结果，从转播视频中分割出空白赛道、蓝环
大本营、白环大本营，获取空白赛道左边界线和空白赛道右边界线(即图2中的空白赛道左边界线ac和空白赛道右边界线bd)的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式；
[0079]
步骤1.4、利用所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，并基于冰壶赛道尺寸先验信息计算转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵，将所述转播视频从斜视视角变换到俯视视角。
[0080]
本实施方式给出了将所述转播视频从斜视视角变换到俯视视角的具体方法，该方法可以准确地将转播视频统一转换到冰壶赛道坐标系下，后续的冰壶球目标检测网络和冰壶球把柄角度检测模型的建立都是基于该冰壶赛道坐标系下进行计算，进而实现对冰壶球运动信息的提取的准确性和标准化的提升。
[0081]
实施方式三，本实施方式是对实施方式二所述的一种面向转播视频的冰壶球运动状态检测方法的进一步限定，本实施方式中，对所述损失函数，做了进一步限定，具体包括：
[0082]
所述损失函数f具体为
[0083][0084]
其中，y是真实样本，y
′
是模型给出的预测类别概率，γ为损失因子，α为平衡因子。
[0085]
本实施方式中的损失函数，可以设置平衡因子α＝0.25，以解决空白赛道与其它类别数据之间的正负样本数量比例不均。
[0086]
实施方式四，本实施方式是对实施方式二或三中的任一项所述的一种面向转播视频的冰壶球运动状态检测方法的进一步限定，本实施方式中，对步骤1.3，做了进一步限定，具体包括：
[0087]
步骤1.3.1、将空白赛道、蓝环大本营、白环大本营对应的像素位置设为1，其他位置为0，分别得到掩膜图像；
[0088]
步骤1.3.2、如果掩膜图像中一个像素点的8连通域或4连通域内有0像素存在，那么这个像素点就是边界点，得到掩膜图像每一个连通区域的多个轮廓点集，再计算每个轮廓点集对应的面积，选择其中面积最大的那条轮廓作为边缘轮廓；
[0089]
步骤1.3.3、轮廓线上的每个点在冰壶赛道坐标系下的坐标为(xi,yi)，将xi作为自变量、yi作为输出进行低通滤波处理，以yi的原始值和滤波值的差的绝对值作为判断依据，删除差值(即yi的原始值和滤波值的差的绝对值)超过预设个数的像素的点；
[0090]
步骤1.3.4、根据滤波之后的轮廓点集，采用最小二乘方法来对轮廓点集进行拟合，得到空白赛道左边界线和空白赛道右边界线的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式。
[0091]
本实施方式给出了空白赛道左边界线和空白赛道右边界线的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式的具体获取方法，该方法可以无需在冰壶赛道上放置标定板，进而实现对冰壶球运动信息的提取的准确性的提高。
[0092]
实施方式五，本实施方式是对实施方式二所述的一种面向转播视频的冰壶球运动状态检测方法的进一步限定，本实施方式中，对步骤1.4，做了进一步限定，具体包括：
[0093]
步骤1.4.1、根据所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，获取蓝圆环的外轮廓切线与左边界线的交点a、蓝圆环的外轮廓切线与右边界线的交点b、蓝圆环的内轮廓切线与左边界线的交点c和蓝
圆环的内轮廓切线与右边界线的交点d在转播视频坐标系下的坐标，所述蓝圆环的外轮廓切线和所述蓝圆环的内轮廓切线均平行于t线；
[0094]
再根据冰壶赛道尺寸先验信息得到所述交点a、交点b、交点c和交点d在冰壶赛道坐标系下的坐标，获取第一单应性矩阵；
[0095]
步骤1.4.2、根据所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，获取蓝圆环的外轮廓切线的切点e和蓝圆环的内轮廓切线的切点f在转播视频坐标系下的坐标；
[0096]
再根据冰壶赛道尺寸先验信息得到所述切点e和切点f在冰壶赛道坐标系下的坐标，获取第二单应性矩阵；
[0097]
步骤1.4.3、将所述第一单应性矩阵和所述第二单应性矩阵相乘，获取转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵；
[0098]
步骤1.4.4、将所述转播视频乘以所述坐标变换矩阵得到俯视视角图像，将所述转播视频从斜视视角变换到俯视视角。
[0099]
需要说明的是，t线为与场地同宽，与前掷线和后卫线平行，并穿过大本营中心的线，即图2中最下面那条虚线；也可以将t线替换为与其平行的后卫线。
[0100]
本实施方式给出了将所述转播视频从斜视视角变换到俯视视角的具体方法，该方法的优势是通过冰壶场地轮廓分割和尺寸先验信息提高了特征点的提取精度，进而实现对冰壶球运动信息的提取的准确性的提高。
[0101]
实施方式六，本实施方式是对实施方式一所述的一种面向转播视频的冰壶球运动状态检测方法的进一步限定，本实施方式中，对步骤2，做了进一步限定，具体包括：
[0102]
步骤2.1、从不同角度、位置、遮挡以及不同背景的带有冰壶球的转播视频中采集若干张冰壶球图像，利用步骤1的方法对所述冰壶球图像进行转换，将每预设张数的转换后的图像进行随机缩放后再按随机分布进行拼接、扩增，并将所述转换后的图像中的冰壶球按照颜标注类别，获取冰壶球目标检测训练数据集；
[0103]
步骤2.2、利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输入为所述冰壶球目标检测训练数据集，输出为冰壶球检测框；设置所述冰壶球目标检测网络的初始学习率，每次梯度下降时的学习率通过指数变换的衰减策略自行调整，设置训练周期，网络使用小批量梯度下降进行训练。
[0104]
利用本实施方式的方法建立的冰壶球目标检测网络，可以准确识别出冰壶球的运动状态信息(如位置和速度)，基于该信息还可以准确识别冰壶球的旋转角速度，以实现对冰壶球运动信息的提取的准确性的提高。
[0105]
实施方式七，本实施方式是对实施方式一所述的一种面向转播视频的冰壶球运动状态检测方法的进一步限定，本实施方式中，对步骤3，做了进一步限定，具体包括：
[0106]
步骤3.1、基于步骤2中所述冰壶球目标检测网络输出的冰壶球检测框，获取若干张冰壶球检测框图像，利用双线性插值方法将所述若干张冰壶球检测框图像统一到相同尺寸，并标注冰壶球上的把柄，构建冰壶球检测框数据集,
[0107]
步骤3.2、基于所述冰壶球检测框数据集，利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，建立冰壶球把柄角度检测模型，所述冰壶球把柄角度检测模型的输出为冰壶球把柄角度，具体包括：
[0108]
基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络获取冰壶球把柄图像；
[0109]
利用霍夫变换直线拟合的方法，对所述冰壶球把柄图像进行霍夫变换，获取一组直线，按直线角度等间距离散化，精度为1度，将若干个离散点重合拟合为一条直线，将拟合得到的直线的斜率转换为角度，取角度均值作为冰壶球把柄角度。
[0110]
需要说明的是，上述步骤中将会拟合若干个直线，从而会得到若干个直线斜率，进而将该若干个直线斜率对应转换的角度取均值。
[0111]
本实施方式给出了冰壶球把柄角度的获取方法，该方法的优势是从冰壶球中分割出把柄来消除冰壶比赛场地背景的影响，进而可以实现获取冰壶球的旋转角速的准确性。
[0112]
实施方式八，本实施方式是本发明方法的一种实施例，如图3所示，具体包括：
[0113]
步骤一、对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道的尺寸先验信息，计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵，将冰壶比赛转播视频从斜视视角转换到俯视视角。
[0114]
第一步、对转播视频中的冰壶赛道进行语义分割图像标注。将转播视频中的冰壶赛道按8类进行语义分割图像标注：空白赛道、前卫线、蓝环大本营、白环大本营、红环大本营、白圆大本营、记分牌、徽标。
[0115]
第二步、基于deeplabv3+语义分割网络分割冰壶赛道。将冰壶比赛转播视频进行空洞卷积和空洞空间金字塔池化，设置的初始学习率为0.01，使用指数变换的衰减策略动态调整训练过程中的学习率，并设置目标函数为交点损失函数f，基于第一步的8类图像标注得到冰壶比赛转播视频的冰壶赛道图像语义分割结果。
[0116][0117]
其中，y是真实样本，y
′
是模型给出的预测类别概率。设置损失因子γ＝2来减少易分类样本的损失。设置平衡因子α＝0.25解决空白赛道与其它类别数据之间的正负样本数量比例不均。
[0118]
第三步、冰壶赛道语义分割后的轮廓信息提取。基于第二步deeplabv3+网络得到的语义分割结果，从转播视频中分割出空白赛道、蓝环大本营、白环大本营，并按照图1的流程得到图2中的直线ac、bd的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式。
[0119]
(1)提取图形二值化掩膜。将空白赛道、蓝环大本营、白环大本营对应的像素位置设为1，其他位置为0，分别得到掩膜图像。
[0120]
(2)计算边缘轮廓。如果掩膜图像中一个像素点的8连通域或4连通域内有0像素存在，那么这个像素点就是边界点，可以得到掩膜图像每一个连通区域的多个轮廓点集，再计算每个轮廓点集对应的面积，选择其中面积最大的那条轮廓作为边缘轮廓。
[0121]
(3)轮廓线滤波处理。将轮廓线上的每个点的横坐标作为自变量、纵坐标作为输出(将轮廓线上的每个点在冰壶赛道坐标系下的坐标为(xi,yi)，将xi作为自变量、yi作为输出)，进行低通滤波处理，以每个点纵坐标的原始值和滤波值的差的绝对值作为判断依据，删除差值超过10个像素的点。
[0122]
(4)轮廓线解析式拟合。根据滤波之后的轮廓点集，采用最小二乘方法来对轮廓点
集进行拟合，得到转播视频中冰壶赛道边缘直线ac、bd和蓝圆环的内外轮廓对应椭圆的解析式。
[0123]
第四步、基于冰壶赛道尺寸先验信息计算转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵，将冰壶比赛转播视频从斜视视角变换到俯视视角。
[0124]
根据转播视频中冰壶赛道边缘直线ac、bd和蓝圆环的内外轮廓对应椭圆的解析式计算出点a、b、c、d在转播视频坐标系下的坐标，再根据冰壶赛道尺寸先验信息得到点a、b、c、d在冰壶赛道坐标系下的坐标，可以计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵的第一个单应性矩阵；根据转播视频中冰壶赛道边缘直线ac、bd和蓝圆环的内外轮廓对应椭圆的解析式计算出点e、f在转播视频坐标系下的坐标，再根据冰壶赛道尺寸先验信息得到点e、f在冰壶赛道坐标系下的坐标，可以计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵的第二个单应性矩阵。将两个单应性矩阵相乘，得到转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵，再将冰壶比赛转播的斜视视角图像乘以坐标变换矩阵得到俯视视角图像。
[0125]
步骤二、针对俯视视角下含有冰壶球的转播视频，设计冰壶球目标检测数据集标注原则，通过数据增强方法自动扩增数据集，基于yolox网络输出冰壶球的检测框；再基于deeplabv3+语义分割网络和霍夫变换直线拟合的方法，实现对冰壶球把柄角度的检测。
[0126]
第1步、从不同角度、位置、遮挡以及不同背景的带有冰壶球的转播视频中提取1000张图像，基于步骤一得到其俯视视角图像，将每4张图像进行随机缩放后再按随机分布进行拼接、扩增并将俯视视角图像中的冰壶球按照颜标注两个类别“红”和“黄”，得到冰壶球目标检测训练数据集。
[0127]
第2步、基于yolox搭建冰壶球目标检测网络，输入冰壶球训练集图像，设置初始学习率为0.01，每次梯度下降时的学习率通过指数变换的衰减策略自行略微调整，训练周期设为300，网络使用小批量梯度下降进行训练，输出冰壶球的检测框。
[0128]
第3步、基于deeplabv3+语义分割网络从冰壶球中分割出把柄。基于第2步的冰壶球检测框可以得到1000张不同尺寸的冰壶球图像，利用双线性插值方法将这些图片统一到相同尺寸，并标注出来冰壶球上的把柄作为训练数据集,基于deeplabv3+网络分割得到冰壶球把柄的图像。
[0129]
第4步、通过霍夫变换直线拟合得到冰壶球把柄的角度。对冰壶球把柄图像进行霍夫变换可以得到一组直线，按直线角度等间距离散化，精度为1度，将200个离散点重合拟合为一条直线，将拟合得到的直线的斜率转换为角度，取均值作为冰壶球把柄的角度。
[0130]
步骤三、根据第2步中输出的冰壶球检测框可以计算冰壶球的位置和速度，根据第4步中输出的冰壶球把柄角度，可以计算出冰壶球的旋转角速度，即获取了转播视频中冰壶球的运动状态。
[0131]
本发明的方法对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道中的尺寸先验信息，计算得出转播视频平面与冰壶赛道平面之间的坐标转换矩阵，将冰壶比赛转播视频从斜视视角变换到俯视视角；然后训练冰壶球目标检测网络，设计数据集标注原则，通过数据增强方法自动扩增数据集，得到冰壶球的检测框和位置信息，再基于图像分割算法和霍夫变换直线拟合方法得到描述冰壶球旋转的把柄角度信息，实现了转播视频中冰壶球的运动状态检测。

技术特征：

1.一种面向转播视频的冰壶球运动状态检测方法，其特征在于，所述方法包括：步骤1、对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道的尺寸先验信息，计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵，将所述转播视频从斜视视角转换到俯视视角；步骤2、建立冰壶球目标检测网络，具体包括：采集冰壶球转播视频，利用步骤1的方法对所述冰壶球转播视频进行转换，通过数据增强方法建立冰壶球目标检测训练数据集；基于所述冰壶球目标检测训练数据集，并利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输出为冰壶球检测框；步骤3、建立冰壶球把柄角度检测模型，具体包括：基于步骤2中所述冰壶球目标检测网络输出的冰壶球检测框，构建冰壶球检测框数据集；基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，建立冰壶球把柄角度检测模型，所述冰壶球把柄角度检测模型的输出为冰壶球把柄角度；步骤4、获取待检测冰壶比赛转播视频，利用步骤1的方法对所述待检测冰壶比赛转播视频进行转换；利用转换后的待检测冰壶比赛转播视频和所述冰壶球目标检测网络获取待检测冰壶球检测框，根据所述冰壶球检测框获取待检测冰壶球的位置和速度；步骤5、根据所述待检测冰壶球检测框，并利用所述冰壶球把柄角度检测模型，获取待检测冰壶球把柄角度，根据所述待检测冰壶球把柄角度获取待检测冰壶球的旋转角速度。2.根据权利要求1所述的一种面向转播视频的冰壶球运动状态检测方法，其特征在于，步骤1具体包括：步骤1.1、将转播视频中的冰壶赛道进行语义分割图像标注，所述语义分割图像标注包括8类，具体包括：空白赛道、前卫线、蓝环大本营、白环大本营、红环大本营、白圆大本营、记分牌和徽标；步骤1.2、基于deeplabv3+语义分割网络分割冰壶赛道，具体为：将转播视频进行空洞卷积和空洞空间金字塔池化，设置的初始学习率，使用指数变换的衰减策略动态调整训练过程中的学习率，并设置目标函数为交点损失函数，基于步骤1.1中的8类图像标注得到转播视频的冰壶赛道图像语义分割结果；步骤1.3、基于步骤1.2获取的语义分割结果，从转播视频中分割出空白赛道、蓝环大本营、白环大本营，获取空白赛道左边界线和空白赛道右边界线的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式；步骤1.4、利用所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，并基于冰壶赛道尺寸先验信息计算转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵，将所述转播视频从斜视视角变换到俯视视角。3.根据权利要求2所述的一种面向转播视频的冰壶球运动状态检测方法，其特征在于，所述损失函数f具体为
其中，y是真实样本，y
′
是模型给出的预测类别概率，γ为损失因子，α为平衡因子。4.根据权利要求2或3中的任一项所述的一种面向转播视频的冰壶球运动状态检测方法，其特征在于，步骤1.3，具体包括：步骤1.3.1、将空白赛道、蓝环大本营、白环大本营对应的像素位置设为1，其他位置为0，分别得到掩膜图像；步骤1.3.2、如果掩膜图像中一个像素点的8连通域或4连通域内有0像素存在，那么这个像素点就是边界点，得到掩膜图像每一个连通区域的多个轮廓点集，再计算每个轮廓点集对应的面积，选择其中面积最大的那条轮廓作为边缘轮廓；步骤1.3.3、轮廓线上的每个点在冰壶赛道坐标系下的坐标为(x
i
,y
i
)，将x
i
作为自变量、y
i
作为输出进行低通滤波处理，以y
i
的原始值和滤波值的差的绝对值作为差值，删除差值超过预设个数的像素的点；步骤1.3.4、根据滤波之后的轮廓点集，采用最小二乘方法来对轮廓点集进行拟合，得到空白赛道左边界线和空白赛道右边界线的解析式，以及蓝圆环的内外轮廓对应椭圆的解析式。5.根据权利要求2所述的一种面向转播视频的冰壶球运动状态检测方法，其特征在于，步骤1.4，具体包括：步骤1.4.1、根据所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，获取蓝圆环的外轮廓切线与左边界线的交点a、蓝圆环的外轮廓切线与右边界线的交点b、蓝圆环的内轮廓切线与左边界线的交点c和蓝圆环的内轮廓切线与右边界线的交点d在转播视频坐标系下的坐标，所述蓝圆环的外轮廓切线和所述蓝圆环的内轮廓切线均平行于t线；再根据冰壶赛道尺寸先验信息得到所述交点a、交点b、交点c和交点d在冰壶赛道坐标系下的坐标，获取第一单应性矩阵；步骤1.4.2、根据所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝圆环的内外轮廓对应椭圆的解析式，获取蓝圆环的外轮廓切线的切点e和蓝圆环的内轮廓切线的切点f在转播视频坐标系下的坐标；再根据冰壶赛道尺寸先验信息得到所述切点e和切点f在冰壶赛道坐标系下的坐标，获取第二单应性矩阵；步骤1.4.3、将所述第一单应性矩阵和所述第二单应性矩阵相乘，获取转播视频坐标系与冰壶赛道坐标系之间的坐标变换矩阵；步骤1.4.4、将所述转播视频乘以所述坐标变换矩阵得到俯视视角图像，将所述转播视频从斜视视角变换到俯视视角。6.根据权利要求1所述的一种面向转播视频的冰壶球运动状态检测方法，其特征在于，步骤2，具体包括：步骤2.1、从不同角度、位置、遮挡以及不同背景的带有冰壶球的转播视频中采集若干张冰壶球图像，利用步骤1的方法对所述冰壶球图像进行转换，将每预设张数的转换后的图像进行随机缩放后再按随机分布进行拼接、扩增，并将所述转换后的图像中的冰壶球按照颜标注类别，获取冰壶球目标检测训练数据集；步骤2.2、利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输入
为所述冰壶球目标检测训练数据集，输出为冰壶球检测框；设置所述冰壶球目标检测网络的初始学习率，每次梯度下降时的学习率通过指数变换的衰减策略自行调整，设置训练周期，网络使用小批量梯度下降进行训练。7.根据权利要求1所述的一种面向转播视频的冰壶球运动状态检测方法，其特征在于，步骤3，具体包括：步骤3.1、基于步骤2中所述冰壶球目标检测网络输出的冰壶球检测框，获取若干张冰壶球检测框图像，利用双线性插值方法将所述若干张冰壶球检测框图像统一到相同尺寸，并标注冰壶球上的把柄，构建冰壶球检测框数据集,步骤3.2、基于所述冰壶球检测框数据集，利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，建立冰壶球把柄角度检测模型，所述冰壶球把柄角度检测模型的输出为冰壶球把柄角度，具体包括：基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络获取冰壶球把柄图像；利用霍夫变换直线拟合的方法，对所述冰壶球把柄图像进行霍夫变换，获取一组直线，按直线角度等间距离散化，精度为1度，将若干个离散点重合拟合为一条直线，将拟合得到的直线的斜率转换为角度，取角度均值作为冰壶球把柄角度。8.一种面向转播视频的冰壶球运动状态检测系统，其特征在于，所述系统包括：坐标转换模块，用于对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道的尺寸先验信息，计算得出转播视频坐标系与冰壶赛道坐标系之间的坐标转换矩阵，将转播视频从斜视视角转换到俯视视角；冰壶球目标检测网络建立模块，用于建立冰壶球目标检测网络，具体包括：图像采集转换模块，用于采集冰壶球转播视频，利用坐标转换模块对所述冰壶球转播视频进行转换，通过数据增强方法建立冰壶球目标检测训练数据集；网络建立模块，用于基于所述冰壶球目标检测训练数据集，并利用yolox网络建立冰壶球目标检测网络，所述冰壶球目标检测网络的输出为冰壶球检测框；冰壶球把柄角度获取模块，用于基于冰壶球目标检测网络建立模块中所述冰壶球目标检测网络输出的冰壶球检测框，构建冰壶球检测框数据集；基于所述冰壶球检测框数据集，并利用deeplabv3+语义分割网络和霍夫变换直线拟合的方法，获取冰壶球把柄角度；冰壶球位置和速度获取模块，用于获取待检测冰壶比赛转播视频，利用坐标转换模块对所述待检测冰壶比赛转播视频进行转换；利用转换后的待检测冰壶比赛转播视频和所述冰壶球目标检测网络获取待检测冰壶球检测框，根据所述冰壶球检测框获取待检测冰壶球的位置和速度；冰壶球旋转角速度获取模块，用于根据所述待检测冰壶球检测框，并利用所述冰壶球把柄角度检测模型，获取待检测冰壶球把柄角度，根据所述待检测冰壶球把柄角度获取待检测冰壶球的旋转角速度。9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，当所述处理器运行所述存储器存储的计算机程序时执行权利要求1至7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条计
算机指令，所述多条计算机指令用于使计算机执行权利要求1至7中任一项所述的方法。

技术总结

面向转播视频的冰壶球运动状态检测方法、系统、计算机设备和存储介质，属于人工智能检测技术领域，解决难以从转播视频中提取冰壶球的运动信息问题。本发明的方法包括：对转播视频中的冰壶赛道进行语义分割，基于冰壶赛道中的尺寸先验信息，计算得出转播视频平面与冰壶赛道平面之间的坐标转换矩阵，将冰壶比赛转播视频从斜视视角变换到俯视视角；然后训练冰壶球目标检测网络，设计数据集标注原则，通过数据增强方法自动扩增数据集，得到冰壶球的检测框和位置信息，再基于图像分割算法和霍夫变换直线拟合方法得到描述冰壶球旋转的把柄角度信息，实现了转播视频中冰壶球的运动状态检测。本发明适用于冰壶比赛转播视频中冰壶球的运动状态检测。运动状态检测。运动状态检测。