一种驾驶违规行为的检测方法及装置与流程

1.本技术涉及深度学习技术领域，尤其涉及一种驾驶违规行为的检测方法及装置。

背景技术：

2.智能化是如今汽车行业发展的重要趋势之一，目前人工智能技术已经被广泛应用于各类车载视觉分析系统。可以实现对驾驶员行为进行分析、预警和记录，可以检测到驾驶员在驾驶过程中存在的违规操作，比如未系安全带或者方向盘脱手等操作。检测违规操作对规范驾驶行为习惯以及降低道路交通事故提供了重要的保障。
3.相关技术中提出的检测方向盘脱手操作的方法是，通过设定的与车型相关联的脱手力扭矩以及实时检测方向盘实际扭矩来确定是否存在方向盘脱手现象。但是，由于不同驾驶员的驾驶习惯并不相同，因此这种通过检测方向盘扭矩来确定方向盘脱手的方式误报率较高。相关技术中提出的关于检测系安全带操作的方法是，通过车载相机采集驾驶图像，通过分析图像中安全带像素点的数量来确定安全带检测结果。这种方式没有很好的考虑到安全带的几何形状，对衣着纹理鲁棒性较差。并且通过对驾驶图像整体进行安全带像素点分析的计算量比较大，导致检测运算的效率较低。

技术实现要素：

4.本技术提供一种驾驶违规行为的检测方法及装置，用以提升通过图像识别检测驾驶违规行为的效率，减少硬件的计算量。
5.第一方面，本技术提出了一种驾驶违规行为的检测方法，包括：
6.获取待检测图像；
7.根据预先存储的驾驶区域的位置信息，从所述待检测图像中确定所述驾驶区域；
8.通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第一组关键点的位置；所述第一组关键点的位置用于表征驾驶员系安全带的区域；
9.根据所述第一组关键点的位置，从所述驾驶区域中识别出安全带区域；
10.根据所述安全带区域，确定所述待检测图像的安全带状态；所述安全带状态用于指示所述待检测图像中是否存在未系安全带行为。
11.基于上述方案，本技术提出了一种违规驾驶行为的检测方法，通过预先存储的驾驶区域的位置信息以及对于驾驶员身体的关键点的识别，对车载相机采集到的图像进行范围限缩，对限缩后得到的部分图像进行特征识别得到图像中存在安全带的区域，再根据识别出的安全带区域判断是否存在违规行为。相较于现有技术中通过对整张图像进行特征识别确定安全带像素点的方式，本技术提出的方案能够有效地减少硬件的计算量，降低成本。
12.在一些实施例中，所述方法还包括：
13.通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第二组关键点的位置；所述第二组关键点的位置用于指示所述驾驶员的手所处的区域；
14.根据所述第二组关键点的位置和预先存储的方向盘区域的位置信息，确定所述驾
驶员的手与所述方向盘区域的中心点之间的距离；所述方向盘区域为所述驾驶区域中包括方向盘的区域；
15.基于所述距离和从所述方向盘区域提取到的特征，确定所述待检测图像的手扶方向盘状态；所述待检测图像的手扶方向盘状态用于指示所述待检测图像中是否存在手脱离方向盘的行为。
16.基于上述方案，本技术提出的检测方扶方向盘行为的方法并不是对整张图像进行特征识别，而是基于预先存储的方向盘区域的位置信息确定待检测图像中的方向盘区域，对方向盘区域进行特征识别，确定驾驶员的手是否在方向盘上。并且，本技术还提出了通过判断驾驶员的手与方向盘区域中心点之间的距离，和方向盘区域的特征识别共同确定待检测图像的手扶方向盘状态，避免了现有技术中存在误判的情况。
17.在一些实施例中，所述方法还包括：
18.获取所述驾驶室的背景图像；所述背景图像为在所述驾驶室内无驾驶员状态下获取的图像；
19.采用预先训练好的神经网络模型对所述背景图像进行特征识别，确定所述背景图像中的所述驾驶区域和所述方向盘区域的位置信息；
20.存储所述驾驶区域和所述方向盘区域的位置信息。
21.在一些实施例中，所述通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第一组关键点的位置，包括：
22.对所述驾驶区域进行特征提取，得到所述驾驶区域的多个特征；
23.结合预先设定的所述第一组关键点的特征描述以及所述多个特征，确定所述驾驶区域中每一个像素点属于第一组关键点的置信度；
24.将所述置信度高于设定阈值的像素点组成所述第一组关键点。
25.在一些实施例中，所述根据第一组关键点的位置，从所述驾驶区域中识别出安全带区域，包括：
26.根据所述第一组关键点的位置，确定所述驾驶区域中包括的目标区域；所述目标区域为所述驾驶员佩戴安全带的区域；
27.对所述目标区域进行图像识别，得到所述安全带区域。
28.在一些实施例中，所述基于距离和从所述方向盘区域提取到的特征，确定所述待检测图像的手扶方向盘状态，包括：
29.通过对所述方向盘区域进行特征提取，确定所述方向盘区域内包括的第二组关键点的数量；
30.在所述距离大于第一预设值，或者所述数量小于第二预设值时，确定所述手扶方向盘的状态为目标状态；
31.其中，所述目标状态用于指示所述待检测图像中存在手脱离方向盘的操作。
32.在一些实施例中，所述通过对所述方向盘区域进行特征提取，确定所述方向盘区域内包括的第二组关键点的数量，包括：
33.对所述方向盘区域进行特征提取，得到所述方向盘区域的多个特征；
34.结合预先设定的第二组关键点特征描述以及所述方向盘区域的多个特征，确定所述方向盘区域中每一个像素点属于第二组关键点的置信度；
35.根据所述方向盘区域中每一个像素点属于第二组关键点的置信度，确定所述方向盘区域内包括的第二组关键点的数量。
36.在一些实施例中，在确定所述待检测图像的安全带状态之后，所述方法还包括：
37.结合在所述待检测图像之前获取到的连续设定数量个图像的安全带状态，以及所述待检测图像的安全带状态，确定当前驾驶室内是否存在未系安全带行为。
38.在确定所述待检测图像的手扶方向盘状态之后，所述方法还包括：
39.结合在所述待检测图像之前获取到的连续设定数量个图像的手扶方向盘状态，以及所述待检测图像的手扶方向盘状态，确定当前驾驶室内是否存在手脱离方向盘的行为。
40.第二方面，本技术提供了一种驾驶违规行为的检测装置，包括：
41.获取单元，用于获取待检测图像；
42.处理单元，被配置为执行：
43.根据预先存储的驾驶区域的位置信息，从所述待检测图像中确定所述驾驶区域；
44.通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第一组关键点的位置；所述第一组关键点的位置用于表征驾驶员系安全带的区域；
45.根据所述第一组关键点的位置，从所述驾驶区域中识别出安全带区域；
46.根据所述安全带区域，确定所述待检测图像的安全带状态；所述安全带状态用于指示所述待检测图像中是否存在未系安全带行为。
47.在一些实施例中，所述处理单元，还用于：
48.通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第二组关键点的位置；所述第二组关键点的位置用于指示所述驾驶员的手所处的区域；
49.根据所述第二组关键点的位置和预先存储的方向盘区域的位置信息，确定所述驾驶员的手与所述方向盘区域的中心点之间的距离；所述方向盘区域为所述驾驶区域中包括方向盘的区域；
50.基于所述距离和从所述方向盘区域提取到的特征，确定所述待检测图像的手扶方向盘状态；所述待检测图像的手扶方向盘状态用于指示所述待检测图像中是否存在手脱离方向盘的行为。
51.在一些实施例中，所述装置还包括存储单元，
52.所述获取单元，还用于获取所述驾驶室的背景图像；所述背景图像为在所述驾驶室内无驾驶员状态下获取的图像；
53.所述处理单元，还用于采用预先训练好的神经网络模型对所述背景图像进行特征识别，确定所述背景图像中的所述驾驶区域和所述方向盘区域的位置信息；
54.所述存储单元，用于存储所述驾驶区域和所述方向盘区域的位置信息。
55.在一些实施例中，所述处理单元，具体用于：
56.对所述驾驶区域进行特征提取，得到所述驾驶区域的多个特征；
57.结合预先设定的所述第一组关键点的特征描述以及所述多个特征，确定所述驾驶区域中每一个像素点属于第一组关键点的置信度；
58.将所述置信度高于设定阈值的像素点组成所述第一组关键点。
59.在一些实施例中，所述处理单元，具体用于：
60.根据所述第一组关键点的位置，确定所述驾驶区域中包括的目标区域；所述目标
区域为所述驾驶员佩戴安全带的区域；
61.对所述目标区域进行图像识别，得到所述安全带区域。
62.在一些实施例中，所述处理单元，具体用于：
63.通过对所述方向盘区域进行特征提取，确定所述方向盘区域内包括的第二组关键点的数量；
64.在所述距离大于第一预设值，或者所述数量小于第二预设值时，确定所述手扶方向盘的状态为目标状态；
65.其中，所述目标状态用于指示所述待检测图像中存在手脱离方向盘的操作。
66.在一些实施例中，所述处理单元，具体用于：
67.对所述方向盘区域进行特征提取，得到所述方向盘区域的多个特征；
68.结合预先设定的第二组关键点特征描述以及所述方向盘区域的多个特征，确定所述方向盘区域中每一个像素点属于第二组关键点的置信度；
69.根据所述方向盘区域中每一个像素点属于第二组关键点的置信度，确定所述方向盘区域内包括的第二组关键点的数量。
70.在一些实施例中，所述处理单元，在确定所述待检测图像的安全带状态之后，还用于：
71.结合在所述待检测图像之前获取到的连续设定数量个图像的安全带状态，以及所述待检测图像的安全带状态，确定当前驾驶室内是否存在未系安全带行为。
72.所述处理单元，在确定所述待检测图像的手扶方向盘状态之后，还用于：
73.结合在所述待检测图像之前获取到的连续设定数量个图像的手扶方向盘状态，以及所述待检测图像的手扶方向盘状态，确定当前驾驶室内是否存在手脱离方向盘的行为。
74.第三方面，提供了一种电子设备，所述电子设备包括控制器和存储器。存储器用于存储计算机执行指令，控制器执行存储器中的计算机执行指令以利用控制器中的硬件资源执行第一方面任一种可能实现的方法的操作步骤。
75.第四方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
76.另外，第二方面至第四方面的有益效果可以参见如第一方面所述的有益效果，此处不再赘述。
附图说明
77.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
78.图1为本技术实施例提供的一种驾驶违规行为的检测方法流程图；
79.图2为本技术实施例提供的一种驾驶员手扶方向盘状态的检测方法流程图；
80.图3为本技术实施例提供的一种神经网络架构示意图；
81.图4为本技术实施例提供的一种驾驶违规行为的检测装置的结构示意图；
82.图5为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
83.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
84.需要说明的是，本技术中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
85.在相关技术中，提出的对于检测未系安全带的违规驾驶行为所采用的方式是通过对车载相机采集到的整张图片进行特征识别，得到安全带的像素点，确定像素点的数量是否达到了设定阈值，以此来判断是否系安全带。这种对于整个图片进行识别的计算量较大，且由于安全带的形状不固定，因此通过识别像素点的数量来判断是否系安全带容易发生误判。
86.为了解决上述问题，本技术实施例提供了一种驾驶违规行为的检测方法及装置，通过对于车载相机采集到的图像进行两次范围限缩，获取到图像中包括的驾驶员佩戴安全带的区域，通过对获取到的该区域进行特征识别确定安全带区域，根据安全带区域判断待检测图像中是否存在未系安全带的违规行为。相较于现有技术中通过对整张图像进行特征识别来确定安全带像素点的方式，本技术提出的方案的计算量更少，提高了硬件资源的利用率，降低成本。
87.下面具体介绍本技术提出的驾驶违规行为的检测方法及装置。本技术下述实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。以及，除非有相反的说明，本技术实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一任务执行设备和第二任务执行设备，只是为了区分不同的任务执行设备，而并不是表示这两种任务执行设备的优先级或者重要程度等的不同。
88.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
89.下面，具体介绍本技术提供的方案，参见图1，为本技术实施例提供的一种驾驶违规行为的检测方法流程图。需要说明的是，本技术对于驾驶违规行为检测方法的执行主体不作限定，比如可以由电脑、手机等终端设备来执行，也可以由服务器、服务器集、处理器
或者处理芯片等具有计算功能的电子设备来执行，还可以由云端的计算平台来执行。图1所示的方法流程具体包括：
90.101，获取待检测图像。
91.可选地，待检测图像可以是通过车载广角相机采集的车内的实时图像。
92.102，根据预先存储的驾驶区域的位置信息，从待检测图像中确定驾驶区域。
93.可选地，预先存储的驾驶区域的位置信息可以为车载广角相机采集到的图像中驾驶区域位于整张图像的位置。其中，驾驶区域即为待检测图像中驾驶员所处区域，驾驶区域可以看作是将待检测图像进行剪裁后得到的子图像。
94.举例来说，预先存储的驾驶区域的位置信息可以为图片中一些像素点的位置坐标，比如驾驶区域的位置信息可以为：x取值[1，5]，y取值[3，7]。因此，在获取到待检测图像时，可以将待检测图像中x取值[1，5]、y取值[3，7]的区域作为待检测图像中的驾驶区域。
[0095]
103，通过对驾驶区域进行特征提取，确定驾驶区域内的第一组关键点的位置。
[0096]
其中，第一组关键点的位置用于表征驾驶员系安全带的区域。第一组关键点也就是驾驶员身体上佩戴安全带的关键位置点，第一组关键点也可以称为身体关键点，可以包括驾驶员的肩膀、颈部、躯干和肘部等位置点。
[0097]
104，根据第一组关键点的位置，从驾驶区域中识别出安全带区域。
[0098]
可选地，可以根据第一组关键点的位置对驾驶区域进行进一步范围限缩，得到一个范围小于驾驶区域的区域，该区域内包括第一组关键点。进一步地，可以对该区域进行特征识别，确定该区域内包括的安全带区域。其中，安全带区域即为待检测图像中存在安全带的区域。
[0099]
105，根据安全带区域，确定待检测图像的安全带状态。
[0100]
其中，安全带状态用于指示待检测图像中是否存在未系安全带的行为。
[0101]
可选地，可以通过判断安全带区域的面积大小是否小于预设面积，若小于则说明待检测图像中存在未系安全带行为，若不小于，则说明待检测图像中不存在未系安全带行为。或者，还可以通过判断安全带区域的长度或者宽度来确定待检测图像中存在未系安全带行为。
[0102]
基于上述方案，本技术提出了一种违规驾驶行为的检测方法，通过预先存储的驾驶区域的位置信息以及对于驾驶员身体的关键点的识别，对车载相机采集到的图像进行范围限缩，对限缩后得到的部分图像进行特征识别得到图像中存在安全带的区域，再根据识别出的安全带区域判断是否存在违规行为。相较于现有技术中通过对整张图像进行特征识别确定安全带像素点的方式，本技术提出的方案能够有效地减少硬件的计算量，降低成本。
[0103]
在一个或多个实施例中，在通过车载广角相机采集待检测图像时，可以根据需求预先设置相机的分辨率和采集频率等参数。在获取到车载广角相机采集的待检测图像之后，还可以对图像进行预处理，比如可以采用预配置的自动曝光和自动白平衡算法对待检测图像的曝光参数、增益参数以及白平衡参数进行调节。还可以通过相机固化的图像信号处理(image signal processor，isp)模块对待检测图像进行3d降噪以及数字宽动态参数调节。
[0104]
在一些实施例中，在获取到待检测图像之后，可以获取预先存储的驾驶区域的位置信息，根据预先存储的驾驶区域的位置信息从待检测图像中确定驾驶区域。在一种可能
实现的方式中，预先存储的驾驶区域的位置信息可以是通过训练好的神经网络模型识别背景图像得到的，其中背景图像可以是车载广角相机采集到的驾驶室内无驾驶员的图像。
[0105]
在一种可选的方式中，可以采用不用视角、车型以及光照情况下的驾驶室内的图像作为用于识别驾驶区域的神经网络模型的训练样本，可以标注各类训练样本中驾驶区域的位置信息，结合标注的位置信息和训练样本对神经网络模型进行训练。训练得到的神经网络模型可以在输入为任一图像的情况下输出该图像中包括的驾驶区域的位置信息。
[0106]
在另一种可选的方式中，还可以标注训练样本中每一个像素点所述的区域信息，比如按照预设分辨率将训练样本标注为一个特征矩阵，特征矩阵中每一个元素的取值为用于指示对应像素点所属区域的数字。例如，可以设定数字1表征座椅区域，数字2表征方向盘区域，数字3表征驾驶区域，数字0表征其他区域。因此训练得到的神经网络模型可以在输入为任一图像的情况下输出该图像中每一个像素点所属的区域，从而确定图像中的驾驶区域。
[0107]
在一些实施例中，为了使得神经网络模型的输出结果的准确性，还可以通过对采集到的训练样本进行随机的几何或者彩的变换生成新的训练样本。
[0108]
在一种可选的方式中，本技术提出的用于识别驾驶区域的神经网络模型可以采用像素级语义分割卷积神经网络，可以包括卷积层、池化层、激活层、反卷积层以及softmax层等网络层。在对该神经网络模型进行训练时，可以随机初始化模型的参数，采用批量随机梯度下降的方法确定损失函数。例如，可以采用如下公式(1)确定损失函数：
[0109][0110]
其中，l
cab
为损失函数，[u,v]为输入到神经网络的图像中每一个像素点的坐标，[w,h]为输入到神经网络模型中图像的宽高，s
u,v
为相应坐标的真实标签，p
u,v
为相应坐标的预测值。
[0111]
可选地，还可以将训练好的神经网络模型进行剪枝(可以包括通道剪裁和稀疏化)和量化(可以设定不同的量化类型，比如8位、16位浮点型或者顶点数据类型)等压缩处理，可以将处理后的神经网络模型部署到车载的处理器中。
[0112]
进一步地，可以采用训练好的神经网络模型确定背景图像中的驾驶区域，并确定驾驶区域的位置信息。可选地，位置信息可以为驾驶区域的外边框的位置坐标。比如，驾驶区域的位置信息可以为：x取值[1，5]，y取值[3，7]。再进一步地，可以将确定的驾驶区域的位置信息进行存储，在获取到待检测图像时，采用存储的位置信息从待检测图像中确定驾驶区域。需要知道的是，由于车载相机的位置不变，因此存储的驾驶区域位于背景图像中的位置信息，与后续采集到的待检测图像中驾驶区域的位置信息相同。
[0113]
在一些实施例中，确定了待检测图像中的驾驶区域之后，可以对驾驶区域进行特征提取得到第一组关键点的位置。在一种可能实现的方式中，可以对驾驶区域进行特征提取，得到驾驶区域的多个特征。结合预先设定的第一组关键点的特征描述从多个特征中确定属于第一组关键点的特征的置信度，进而确定驾驶区域中每一个像素点属于第一组关键点的置信度，将置信度高于设定阈值的像素点组成第一组关键点。
[0114]
举例来说，可以在得到待检测图像的驾驶区域之后，通过卷积、池化、激活、上采样以及通道级联等神经网络运算，输出不同尺度的驾驶区域的卷积特征图谱。进一步地，结合
第一组关键点的特征描述，输出驾驶区域中每一个像素点属于第一组关键点的置信度以及相应的像素点的位置。将置信度高于设定阈值的像素点组成第一组关键点，记录第一组关键点的位置。
[0115]
在一种可能实现的方式中，在确定第一组关键点的位置之后，可以根据第一组关键点的位置从驾驶区域中识别出安全带区域。可选地，可以根据第一组关键点的位置，确定驾驶区域中包括的目标区域。其中目标区域为驾驶员佩戴安全带的区域，目标区域中包括第一组关键点。可以理解的是，从待检测图像中确定驾驶区域可以看作是对待检测图像的第一次区域限缩，驾驶区域可以看作为待检测图像的子图像。从驾驶区域中确定目标区域可以看作是第二次区域限缩，目标区域可以看作为驾驶区域的子图像。
[0116]
进一步地，可以对目标区域进行图像识别，得到安全带区域。可选地，可以采用语义神经网络对目标区域中包括的每一个像素点进行特征提取以及分类，确定每一个像素点属于安全带区域的置信度，基于确定的置信度确定目标区域中存在安全带的区域，即安全带区域。
[0117]
再进一步地，可以根据安全带区域确定待检测图像中是否存在未系安全带行为。一种可能实现的方式中，可以计算安全带区域的长度和长宽比，若长度和长宽比均大于设定阈值，则确定待检测图像的安全带状态为系安全带的状态，即待检测图像中不存在未系安全带的行为。反之，则可以确定待检测图像中存在未系安全带的行为。
[0118]
在一些实施例中，还可以结合待检测图像的安全带状态，以及待检测图像之前获取到的连续设定数量个图像的安全带状态，确定当前驾驶室内是否存在未系安全带行为。从而可以避免由于单张图像判定违规行为误报率较高的问题。一种可选地方式中，可以采用长短期记忆神经网络(long short-term memory，lstm)对连续设定数量个时序递归单元的安全带状态进行分类，在确定连续设定数量个时序递归单元的安全带状态均为未系安全带状态时，确定当前驾驶室内存在未系安全带的行为。
[0119]
可选地，还可以基于确定的安全带状态对驾驶员进行预警，比如通过指示灯或者语音交互等方式实现对驾驶员的预警。
[0120]
在一种可能实现的方式中，可以在确定当前驾驶室内存在未系安全带的行为时进行预警。在另一种可能实现的方式中，为了避免误报，还可以在根据驾驶室内的安全带状态计算当前驾驶室内未系安全带置信度，当未系安全带置信度大于了设定的预警阈值时，再对驾驶员进行预警。可选地，可以采用如下公式(2)计算驾驶室内未系安全带置信度：
[0121]c1，t
＝max(0,c
1,t-1
+(s
1,t-1)*k1+s
1,t
*k2)；
ꢀꢀꢀꢀꢀꢀ
公式(2)
[0122]
其中，c
1，t
为t时刻驾驶室内未系安全带置信度，c
1,t-1
为t-1时刻驾驶室内未系安全带置信度，s
1,t
为t时刻的安全带状态，k1和k2为预设参数。
[0123]
以上，介绍了违规驾驶行为中未系安全带行为的检测方法。对于驾驶违规行为中手脱离方向盘行为的检测，相关技术中提出的方法是通过检测方向盘的扭矩来判断是否存在手脱离方向盘的行为。但是不同驾驶员的驾驶习惯并不相同，因此输出扭矩也不相同，采用这种检测方向盘扭矩的方式来判断驾驶员的手是否脱离方向盘容易出现误报问题。基于此，本技术实施例还提出了一种用于检测驾驶员手扶方向盘状态的方法。参见图2，为本技术实施例提供的一种驾驶员手扶方向盘状态的检测方法流程图。具体包括：
[0124]
201，获取待检测图像，根据预先存储的驾驶区域的位置信息，从待检测图像中确
定驾驶区域。
[0125]
获取待检测图像以及确定待检测图像中驾驶区域的方法，可以参见上述实施例中的介绍，在此不再进行赘述。
[0126]
202，通过对驾驶区域进行特征提取，确定驾驶区域内的第二组关键点的位置。
[0127]
其中，第二组关键点的位置用于指示驾驶员的手所处的区域。第二组关键点的位置即为驾驶区域中驾驶员的手所处的区域。
[0128]
203，根据第二组关键点的位置和预先存储的方向盘区域的位置信息，确定驾驶员的手与方向盘区域的中心点之间的距离。
[0129]
其中，方向盘区域为驾驶区域中包括方向盘的区域。
[0130]
可选地，可以根据预先存储的方向盘的位置信息，确定驾驶区域中包括方向盘的区域，计算该区域的中心点与驾驶员的手之间的距离。
[0131]
204，基于距离和从方向盘区域提取到的特征，确定待检测图像的手扶方向盘状态。
[0132]
可选地，可以在驾驶员的手与方向盘区域中心点之间的距离大于第一预设值时，或者在根据方向盘区域提取到的特征确定方向盘区域包括的第二组关键点的数量小于第二预设值时，确定待检测图像的手扶方向盘状态为目标状态，其中目标状态用于指示待检测图像中存在手脱离方向盘的操作。
[0133]
基于上述方案，本技术提出的检测方扶方向盘行为的方法并不是对整张图像进行特征识别，而是基于预先存储的方向盘区域的位置信息确定待检测图像中的方向盘区域，对方向盘区域进行特征识别，确定驾驶员的手是否在方向盘上。并且，本技术还提出了通过判断驾驶员的手与方向盘区域中心点之间的距离，和方向盘区域的特征识别共同确定待检测图像的手扶方向盘状态，避免了现有技术中存在误判的情况。
[0134]
可选地，本技术提出的预先确定及存储方向盘区域位置信息的方法可以与上述实施例中介绍的，预先确定及存储驾驶区域位置信息的方法相同。一种可能实现的方式中，可以采用预先训练好的神经网络模型对背景图像进行识别，确定背景图像中包括的方向盘区域的位置信息。需要知道的是，方向盘区域位于背景图像中的位置信息与位于待检测图像中的位置信息相同。
[0135]
在一个或多个实施例中，在确定待检测图像中的方向盘区域之后，可以对方向盘区域进行特征提取，得到方向盘区域的多个特征。进一步地，可以结合预先设定的第二组关键点特征描述以及得到的多个特征，确定方向盘区域中每一个像素点属于第二组关键点的置信度。根据确定的置信度得到方向盘区域包括的第二组关键点的数量。
[0136]
在一种可能实现的方式中，可以根据特征识别确定方向盘区域包括的第二组关键点的数量，以及根据驾驶员的手与方向盘区域的中心点之间的距离，共同确定待检测图像中的手扶方向盘状态。
[0137]
可选地，可以通过如下公式(3)-公式(4)分别计算驾驶员左手和右手与方向盘区域中心点的距离：
[0138][0139]
[0140]
其中，d
l
为驾驶员左手与方向盘区域中心点之间的距离，dr为驾驶员右手与方向盘区域中心点之间的距离，(x
l
，y
l
)为第二组关键点中包括的左手关键点，(xr，yr)为第二组关键点中包括的右手关键点，(x
sw
，y
sw
)为方向盘区域的中心点。
[0141]
在一种可选的方式中，可以采用语义分割卷积神经网络对方向盘区域进行卷积、池化以及全连接等神经网络运算得到方向盘区域对应的卷积特征图谱。基于第二组关键点的特征描述，确定方向盘区域对应的卷积特征图谱中属于第二组关键点的特征。根据确定的各个特征确定方向盘区域中包括的第二组关键点的数量。
[0142]
进一步地，可以根据确定方向盘区域中心点与驾驶员的手之间的距离，以及方向盘区域包括的第二组关键点的数量，确定待检测图像中手扶方向盘的状态。可选地，可以在距离大于第一预设值，或者数量小于第二预设值时，确定待检测图像中存在驾驶员手脱离方向盘的行为。
[0143]
在一些实施例中，还可以结合待检测图像的手扶方向盘状态，以及待检测图像之前获取到的连续设定数量个图像的手扶方向盘状态，确定当前驾驶室内是否存在未系安全带的行为。可选地，可以采用lstm对连续设定数量个时序递归单元的手扶方向盘状态进行分类，在确定连续设定数量个时序递归单元的手扶方向盘状态均为手脱离方向盘时，可以确定当前驾驶室内存在手脱离方向盘的行为。
[0144]
可选地，还可以基于确定的手扶方向盘状态对驾驶员进行预警，比如通过指示灯或者语音交互等方式实现预警。
[0145]
在一种可能实现的方式中，可以在确定当前驾驶室内存在手脱离方向盘的行为时进行预警。在另一种可能实现的方式中，还可以在根据驾驶室内的手扶方向盘状态计算当前驾驶室内手脱离方向盘置信度，当手脱离方向盘置信度大于设定的预警阈值时，对驾驶员进行预警。可选地，可以采用如下公式(5)计算驾驶室内手脱离方向盘置信度：
[0146]c2，t
＝max(0,c
2,t-1
+(s
2,t-1)*k1′
+s
2,t
*k2′
)；
ꢀꢀꢀꢀꢀꢀ
公式(5)
[0147]
其中，c
2，t
为t时刻驾驶室内手脱离方向盘置信度，c
2,t-1
为t-1时刻手脱离方向盘置信度，s
2,t
为t时刻驾驶室内的手扶方向盘状态，k1′
和k2′
为预设参数。
[0148]
下面，为了更进一步理解本技术实施例提供的驾驶违规行为的检测方法，结合具体的神经网络架构进行介绍。参见图3，为本技术实施例提供的一种神经网络架构示意图。图3示出的神经网络架构图具体包括：区域切割子网络、关键点识别子网络、图像安全带状态识别子网络、图像手扶方向盘状态识别子网络、驾驶室安全带状态识别子网络、驾驶室手扶方向盘状态识别子网络以及预警子网络。
[0149]
可选地，图3中示出的区域切割子网络用于提取输入的待检测图像中包括的驾驶区域和方向盘区域。具体地，可以根据预先存储的驾驶区域和方向盘区域的位置信息，确定待检测图像中的驾驶区域和方向盘区域。
[0150]
图3中示出的关键点识别子网络用于对驾驶区域进行特征识别，确定第一组关键点的位置，以及用于对方向盘区域进行特征识别，确定第二组关键点的位置。具体的特征识别确定关键点的方法可以参见上述实施例中的介绍，在此不再进行赘述。
[0151]
图3中示出的图像安全带状态识别子网络用于对第一组关键点的位置指示的驾驶员佩戴安全带的区域进行特征识别，确定安全带区域。还用于根据安全带区域的尺寸确定待检测图像的安全带状态。图3中示出的图像手扶方向盘状态识别子网络用于根据第二组
关键点的位置以及方向盘区域的位置，确定待检测图像手扶方向盘状态。
[0152]
图3中示出的驾驶室安全带状态识别子网络用于对待检测图像以及待检测图像之前多个时序单元获取的图像的安全带状态进行综合分析，确定当前驾驶室内的安全带状态。图3示出的驾驶室手扶方向盘状态识别子网络用于对待检测图像以及待检测图像之前多个时序单元获取的图像的手扶方向盘状态进行综合分析，确定当前驾驶室内的手扶方向盘状态。
[0153]
图3示出的预警子网络用于根据驾驶室安全带状态识别子网络输出的驾驶室内的安全带状态，计算驾驶室内未系安全带置信度，根据计算得到的未系安全带置信度对驾驶员进行预警。预警子网络还用于根据驾驶室内手扶方向盘状态该识别子网络输出的驾驶室内的手扶方向盘状态，计算驾驶室内手脱离方向盘置信度，并根据计算得到的置信度对驾驶员进行预警。
[0154]
基于与上述方法的同一构思，参见图4，为本技术实施例提供的一种驾驶违规行为的检测装置400。装置400用于实现上述方法中的各个步骤，为了避免重复，此处不再进行赘述。装置400包括：获取单元401、处理单元402和存储单元403。
[0155]
获取单元401，用于获取待检测图像；
[0156]
处理单元402，被配置为执行：
[0157]
根据预先存储的驾驶区域的位置信息，从所述待检测图像中确定所述驾驶区域；
[0158]
通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第一组关键点的位置；所述第一组关键点的位置用于表征驾驶员系安全带的区域；
[0159]
根据所述第一组关键点的位置，从所述驾驶区域中识别出安全带区域；
[0160]
根据所述安全带区域，确定所述待检测图像的安全带状态；所述安全带状态用于指示所述待检测图像中是否存在未系安全带行为。
[0161]
在一些实施例中，所述处理单元402，还用于：
[0162]
通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第二组关键点的位置；所述第二组关键点的位置用于指示所述驾驶员的手所处的区域；
[0163]
根据所述第二组关键点的位置和预先存储的方向盘区域的位置信息，确定所述驾驶员的手与所述方向盘区域的中心点之间的距离；所述方向盘区域为所述驾驶区域中包括方向盘的区域；
[0164]
基于所述距离和从所述方向盘区域提取到的特征，确定所述待检测图像的手扶方向盘状态；所述待检测图像的手扶方向盘状态用于指示所述待检测图像中是否存在手脱离方向盘的行为。
[0165]
在一些实施例中，所述装置还包括存储单元403，
[0166]
所述获取单元401，还用于获取所述驾驶室的背景图像；所述背景图像为在所述驾驶室内无驾驶员状态下获取的图像；
[0167]
所述处理单元402，还用于采用预先训练好的神经网络模型对所述背景图像进行特征识别，确定所述背景图像中的所述驾驶区域和所述方向盘区域的位置信息；
[0168]
所述存储单元403，用于存储所述驾驶区域和所述方向盘区域的位置信息。
[0169]
在一些实施例中，所述处理单元402，具体用于：
[0170]
对所述驾驶区域进行特征提取，得到所述驾驶区域的多个特征；
[0171]
结合预先设定的所述第一组关键点的特征描述以及所述多个特征，确定所述驾驶区域中每一个像素点属于第一组关键点的置信度；
[0172]
将所述置信度高于设定阈值的像素点组成所述第一组关键点。
[0173]
在一些实施例中，所述处理单元402，具体用于：
[0174]
根据所述第一组关键点的位置，确定所述驾驶区域中包括的目标区域；所述目标区域为所述驾驶员佩戴安全带的区域；
[0175]
对所述目标区域进行图像识别，得到所述安全带区域。
[0176]
在一些实施例中，所述处理单元402，具体用于：
[0177]
通过对所述方向盘区域进行特征提取，确定所述方向盘区域内包括的第二组关键点的数量；
[0178]
在所述距离大于第一预设值，或者所述数量小于第二预设值时，确定所述手扶方向盘的状态为目标状态；
[0179]
其中，所述目标状态用于指示所述待检测图像中存在手脱离方向盘的操作。
[0180]
在一些实施例中，所述处理单元402，具体用于：
[0181]
对所述方向盘区域进行特征提取，得到所述方向盘区域的多个特征；
[0182]
结合预先设定的第二组关键点特征描述以及所述方向盘区域的多个特征，确定所述方向盘区域中每一个像素点属于第二组关键点的置信度；
[0183]
根据所述方向盘区域中每一个像素点属于第二组关键点的置信度，确定所述方向盘区域内包括的第二组关键点的数量。
[0184]
在一些实施例中，所述处理单元402，在确定所述待检测图像的安全带状态之后，还用于：
[0185]
结合在所述待检测图像之前获取到的连续设定数量个图像的安全带状态，以及所述待检测图像的安全带状态，确定当前驾驶室内是否存在未系安全带行为。
[0186]
所述处理单元402，在确定所述待检测图像的手扶方向盘状态之后，还用于：
[0187]
结合在所述待检测图像之前获取到的连续设定数量个图像的手扶方向盘状态，以及所述待检测图像的手扶方向盘状态，确定当前驾驶室内是否存在手脱离方向盘的行为。
[0188]
图5示出了本技术实施例提供的电子设备500结构示意图。本技术实施例中的电子设备500还可以包括通信接口503，该通信接口503例如是网口，电子设备可以通过该通信接口503传输数据。
[0189]
在本技术实施例中，存储器502存储有可被至少一个控制器501执行的指令，至少一个控制器501通过执行存储器502存储的指令，可以用于执行上述方法中的各个步骤，例如，控制器501可以实现上述图4中的获取单元401部分功能和处理单元402的功能。
[0190]
可选地，存储器502还可以用于实现上述图4中存储单元403的功能。
[0191]
其中，控制器501是电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据。可选的，控制器501可包括一个或多个处理单元，控制器501可集成应用控制器和调制解调控制器，其中，应用控制器主要处理操作系统和应用程序等，调制解调控制器主要处理无线通信。可以理解的是，上述调制解调控制器也可以不集成到控制器501中。在一些实施例中，控制器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独
立的芯片上分别实现。
[0192]
控制器501可以是通用控制器，例如中央控制器(英文：central processing unit，简称：cpu)、数字信号控制器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用控制器可以是微控制器或者任何常规的控制器等。结合本技术实施例所公开的数据统计平台所执行的步骤可以直接由硬件控制器执行完成，或者用控制器中的硬件及软件模块组合执行完成。
[0193]
存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(英文：random access memory，简称：ram)、静态随机访问存储器(英文：static random access memory，简称：sram)、可编程只读存储器(英文：programmable read only memory，简称：prom)、只读存储器(英文：read only memory，简称：rom)、带电可擦除可编程只读存储器(英文：electrically erasable programmable read-only memory，简称：eeprom)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
[0194]
通过对控制器501进行设计编程，例如，可以将前述实施例中介绍的神经网络模型的训练方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的神经网络模型训练方法的步骤，如何对控制器501进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
[0195]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0196]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的控制器以产生一个机器，使得通过计算机或其它可编程数据处理设备的控制器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0197]
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0198]
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0199]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0200]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：

1.一种驾驶违规行为的检测方法，其特征在于，包括：获取待检测图像；根据预先存储的驾驶区域的位置信息，从所述待检测图像中确定所述驾驶区域；通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第一组关键点的位置；所述第一组关键点的位置用于表征驾驶员系安全带的区域；根据所述第一组关键点的位置，从所述驾驶区域中识别出安全带区域；根据所述安全带区域，确定所述待检测图像的安全带状态；所述安全带状态用于指示所述待检测图像中是否存在未系安全带行为。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第二组关键点的位置；所述第二组关键点的位置用于指示所述驾驶员的手所处的区域；根据所述第二组关键点的位置和预先存储的方向盘区域的位置信息，确定所述驾驶员的手与所述方向盘区域的中心点之间的距离；所述方向盘区域为所述驾驶区域中包括方向盘的区域；基于所述距离和从所述方向盘区域提取到的特征，确定所述待检测图像的手扶方向盘状态；所述待检测图像的手扶方向盘状态用于指示所述待检测图像中是否存在手脱离方向盘的行为。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取所述驾驶室的背景图像；所述背景图像为在所述驾驶室内无驾驶员状态下获取的图像；采用预先训练好的神经网络模型对所述背景图像进行特征识别，确定所述背景图像中的所述驾驶区域和所述方向盘区域的位置信息；存储所述驾驶区域和所述方向盘区域的位置信息。4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第一组关键点的位置，包括：对所述驾驶区域进行特征提取，得到所述驾驶区域的多个特征；结合预先设定的所述第一组关键点的特征描述以及所述多个特征，确定所述驾驶区域中每一个像素点属于第一组关键点的置信度；将所述置信度高于设定阈值的像素点组成所述第一组关键点。5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据第一组关键点的位置，从所述驾驶区域中识别出安全带区域，包括：根据所述第一组关键点的位置，确定所述驾驶区域中包括的目标区域；所述目标区域为所述驾驶员佩戴安全带的区域；对所述目标区域进行图像识别，得到所述安全带区域。6.根据权利要求2或3所述的方法，其特征在于，所述基于距离和从所述方向盘区域提取到的特征，确定所述待检测图像的手扶方向盘状态，包括：通过对所述方向盘区域进行特征提取，确定所述方向盘区域内包括的第二组关键点的数量；在所述距离大于第一预设值，或者所述数量小于第二预设值时，确定所述手扶方向盘
的状态为目标状态；其中，所述目标状态用于指示所述待检测图像中存在手脱离方向盘的操作。7.根据权利要求6所述的方法，其特征在于，所述通过对所述方向盘区域进行特征提取，确定所述方向盘区域内包括的第二组关键点的数量，包括：对所述方向盘区域进行特征提取，得到所述方向盘区域的多个特征；结合预先设定的第二组关键点特征描述以及所述方向盘区域的多个特征，确定所述方向盘区域中每一个像素点属于第二组关键点的置信度；根据所述方向盘区域中每一个像素点属于第二组关键点的置信度，确定所述方向盘区域内包括的第二组关键点的数量。8.根据权利要求2或3所述的方法，其特征在于，在确定所述待检测图像的安全带状态之后，所述方法还包括：结合在所述待检测图像之前获取到的连续设定数量个图像的安全带状态，以及所述待检测图像的安全带状态，确定当前驾驶室内是否存在未系安全带行为；在确定所述待检测图像的手扶方向盘状态之后，所述方法还包括：结合在所述待检测图像之前获取到的连续设定数量个图像的手扶方向盘状态，以及所述待检测图像的手扶方向盘状态，确定当前驾驶室内是否存在手脱离方向盘的行为。9.一种驾驶违规行为的检测装置，其特征在于，包括：获取单元，用于获取待检测图像；处理单元，被配置为执行：根据预先存储的驾驶区域的位置信息，从所述待检测图像中确定所述驾驶区域；通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第一组关键点的位置；所述第一组关键点的位置用于表征驾驶员系安全带的区域；根据所述第一组关键点的位置，从所述驾驶区域中识别出安全带区域；根据所述安全带区域，确定所述待检测图像的安全带状态；所述安全带状态用于指示所述待检测图像中是否存在未系安全带行为。10.根据权利要求9所述的装置，其特征在于，所述处理单元，还用于：通过对所述驾驶区域进行特征提取，确定所述驾驶区域内的第二组关键点的位置；所述第二组关键点的位置用于指示所述驾驶员的手所处的区域；根据所述第二组关键点的位置和预先存储的方向盘区域的位置信息，确定所述驾驶员的手与所述方向盘区域的中心点之间的距离；所述方向盘区域为所述驾驶区域中包括方向盘的区域；基于所述距离和从所述方向盘区域提取到的特征，确定所述待检测图像的手扶方向盘状态；所述待检测图像的手扶方向盘状态用于指示所述待检测图像中是否存在手脱离方向盘的行为。11.根据权利要求10所述的装置，其特征在于，所述装置还包括存储单元，所述获取单元，还用于获取所述驾驶室的背景图像；所述背景图像为在所述驾驶室内无驾驶员状态下获取的图像；所述处理单元，还用于采用预先训练好的神经网络模型对所述背景图像进行特征识别，确定所述背景图像中的所述驾驶区域和所述方向盘区域的位置信息；
所述存储单元，用于存储所述驾驶区域和所述方向盘区域的位置信息。12.根据权利要求9-11任一项所述的装置，其特征在于，所述处理单元，具体用于：对所述驾驶区域进行特征提取，得到所述驾驶区域的多个特征；结合预先设定的所述第一组关键点的特征描述以及所述多个特征，确定所述驾驶区域中每一个像素点属于第一组关键点的置信度；将所述置信度高于设定阈值的像素点组成所述第一组关键点。13.根据权利要求9-11任一项所述的装置，其特征在于，所述处理单元，具体用于：根据所述第一组关键点的位置，确定所述驾驶区域中包括的目标区域；所述目标区域为所述驾驶员佩戴安全带的区域；对所述目标区域进行图像识别，得到所述安全带区域。14.根据权利要求10或11所述的装置，其特征在于，所述处理单元，具体用于：通过对所述方向盘区域进行特征提取，确定所述方向盘区域内包括的第二组关键点的数量；在所述距离大于第一预设值，或者所述数量小于第二预设值时，确定所述手扶方向盘的状态为目标状态；其中，所述目标状态用于指示所述待检测图像中存在手脱离方向盘的操作。15.根据权利要求14所述的装置，其特征在于，所述处理单元，具体用于：对所述方向盘区域进行特征提取，得到所述方向盘区域的多个特征；结合预先设定的第二组关键点特征描述以及所述方向盘区域的多个特征，确定所述方向盘区域中每一个像素点属于第二组关键点的置信度；根据所述方向盘区域中每一个像素点属于第二组关键点的置信度，确定所述方向盘区域内包括的第二组关键点的数量。16.根据权利要求10或11所述的装置，其特征在于，所述处理单元，在确定所述待检测图像的安全带状态之后，还用于：结合在所述待检测图像之前获取到的连续设定数量个图像的安全带状态，以及所述待检测图像的安全带状态，确定当前驾驶室内是否存在未系安全带行为；所述处理单元，在确定所述待检测图像的手扶方向盘状态之后，还用于：结合在所述待检测图像之前获取到的连续设定数量个图像的手扶方向盘状态，以及所述待检测图像的手扶方向盘状态，确定当前驾驶室内是否存在手脱离方向盘的行为。17.一种电子设备，其特征在于，包括：存储器以及控制器；存储器，用于存储程序指令；控制器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-8中任一项所述的方法。18.一种计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-8中任一项所述的方法。

技术总结

本申请公开了一种驾驶违规行为的检测方法及装置，用以提升通过图像识别检测驾驶违规行为的效率，减少硬件的计算量。该方法包括：获取待检测图像；根据预先存储的驾驶区域的位置信息，从待检测图像中确定驾驶区域；通过对驾驶区域进行特征提取，确定驾驶区域内的第一组关键点的位置；第一组关键点的位置用于表征驾驶员系安全带的区域；根据第一组关键点的位置，从驾驶区域中识别出安全带区域；根据安全带区域，确定待检测图像的安全带状态；安全带状态用于指示待检测图像中是否存在未系安全带行为。带行为。带行为。