运动目标识别的方法以及拍摄设备与流程

1.本发明涉及计算机视觉与视频图像处理领域，尤其涉及一种运动目标识别的方法以及一种拍摄设备。

背景技术：

2.在目标跟踪系统中，为了跟踪目标，首先要确定跟踪目标区域，可以通过手动选择目标或者手势控制等方式选择目标，或者通过检测进行目标选择(有检测目标就进行选择，但是如果有误检测也会进行跟随，导致误跟踪)，而某些限制场景下，无法进行用户交互，用户无法选择目标，所以需要解决如何进行跟踪目标的检测及限制场景下的跟踪目标选择问题。

技术实现要素：

3.有鉴于现有技术的至少一个缺陷，本发明提供一种运动目标识别的方法，所述方法包括：
4.s11：采集或获取图像；
5.s12：对所述图像进行前景检测，输出前景检测区域；
6.s13：根据所述前景检测区域的大小选择所述图像的分辨率；和
7.s14：在所选择的分辨率的所述图像上，对包括所述前景检测区域的第二检测区域上进行目标检测，输出目标检测区域。
8.根据本发明的一个方面，所述方法还包括：
9.s15：对所述目标检测区域进行目标跟踪。
10.根据本发明的一个方面，其中所述步骤s12包括：
11.s121：获取运动目标区域；
12.s122：对所述运动目标区域进行连通区域检测和滤波；
13.s123：计算每个连通区域的最小外接矩形，将中心距离小于距离阈值的连通区域融合；和
14.s124：将融合后的连通区域作为所述前景检测区域输出。
15.根据本发明的一个方面，其中所述步骤s121包括依据vibe算法获取运动目标区域。
16.根据本发明的一个方面，其中所述步骤s122包括：
17.计算每个连通区域的面积；
18.滤除面积小于第一预设面积阈值的连通区域。
19.根据本发明的一个方面，其中所述步骤s124包括：将所述融合后的连通区域的外接矩形列表作为所述前景检测区域输出。
20.根据本发明的一个方面，其中所述步骤s13包括：
21.s131：计算所述前景检测区域的面积；
22.s132：当所述前景检测区域的面积小于第二预设面积阈值时，选择高分辨率的所述图像；当所述前景检测区域的面积不小于第二预设面积阈值时，选择低分辨率的所述图像。
23.根据本发明的一个方面，其中所述高分辨率为4k分辨率，所述低分辨率为1k分辨率。
24.根据本发明的一个方面，其中所述第二检测区域是所述前景检测区域的1-5倍。
25.根据本发明的一个方面，其中所述步骤s14包括执行人脸检测、行人检测或头肩检测中的任意一项或多项。
26.根据本发明的一个方面，还包括：
27.对所述前景检测区域和/或所述目标检测区域进行手势检测与识别；
28.当检测到预设手势时，对包括所述预设手势的目标检测区域进行目标跟踪。
29.根据本发明的一个方面，还包括：在初始帧，基于前景检测区域或目标检测区域进行手势检测与识别；在非初始帧，基于前景检测区域或目标检测区域与上一帧的跟踪区域进行手势检测与识别。
30.根据本发明的一个方面，其中步骤s14还包括：基于手势识别结果选择运动目标，根据前景检测区域或目标检测区域确定运动目标区域的大小，执行自适应目标跟踪算法，输出所述运动目标的跟踪区域。
31.本发明还提供一种拍摄设备，包括：
32.云台；
33.摄像装置，所述摄像装置安装在所述云台上；
34.控制单元，所述控制单元与所述云台和摄像装置耦接，并可执行如上所述的运动目标识别的方法。
35.根据本发明的一个方面，其中所述控制单元配置成控制所述云台，对所述目标检测区域进行跟随。
36.根据本发明的一个方面，其中所述拍摄设备是无人机。
37.本发明还提供一种计算机可读存储介质，其上存储有计算机可读取指令，当所述计算机可读取指令由处理器执行时执行如上所述的运动目标识别的方法。
38.本发明的设计方案针对复杂场景下容易出现部分目标误检测问题以及用户交互较为繁琐或者无法直接进行用户角度定位的问题，例如某app智能跟随中无法进行跟随目标的手动选取，只能通过手势识别或者实体按钮的方式控制跟随的开启和关闭以及跟随目标的选取，但是如果出现误检测问题则会造成跟随失败。本发明设计了一种限制场景下的运动目标选择与跟随系统，通过引入前景检测算法降低了目标选择系统的智能程度以及可靠性，降低了误检测概率，且所设计的算法满足远距离多场景下跟随需求，跟随资源占用少，满足部分低算力平台上的实际跟随需求。
附图说明
39.构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
40.图1示出了本发明一个实施例的运动目标识别方法流程图；
41.图2示出了本发明一个实施例的运动目标识别方法之步骤s12的流程图；
42.图3示出了本发明一个实施例的运动目标识别方法之步骤s13的流程图；
43.图4示出了本发明一个实施例的运动目标识别的示意图；
44.图5示出了本发明一个实施例的拍摄设备模块图。
具体实施方式
45.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
46.在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
47.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
48.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
49.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
50.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
51.图1示出了本发明一个实施例的运动目标识别方法流程图，所述方法10包括：
52.在步骤s11通过拍摄设备实时采集视频图像，或者从存储介质中加载包括识别目标图像的视频文件。
53.在步骤s12对在步骤s11采集或获取的图像进行前景检测，输出前景检测区域。为了自动进行目标的选择，可以采用前景检测算法获取运动目标区域。初始跟踪阶段，只将运动目标作为跟踪目标。
54.首先，依据前景检测算法获取运动目标的区域。优选地，前景检测算法选择vibe(visual background extractor，即可视化背景提取器)算法。vibe是像素级的算法，对运动目标进行分离和提取时，相比于其他的一些检测算法具有计算量小、内存占用少、处理速度快、检测效果好、有更快的鬼影(ghost)区域消融速度和应对噪声稳定可靠的特点，非常适合嵌入摄像设备等要求计算量小和内存占用少的场景中。根据不同的应用场景，也可以采用其他的前景检测算法，例如帧差法、背景建模法、前景建模法、光流法、平均背景法和背景非参数估计法，这些都在本发明的保护范围内。
55.然后，进行连通区域检测，低连通区域被认为是噪点区域，进行滤波处理；获取符合条件(例如面积大小符合最小面积要求)的连通区域，计算每个连通区域的最小外接矩形，最后输出潜在前景目标区域的坐标列表。
56.图2示出了本发明一个实施例的运动目标识别方法之步骤s12的流程图，优选地，步骤s12包括：
57.在步骤s121获取运动目标区域。因为前景检测的目标是在相对静态的背景之下检测出相对动态的前景目标，所以初始跟踪阶段，只将运动目标作为前景目标。
58.在步骤s122对运动目标区域进行连通区域检测，利用像素点之间的邻接关系得到运动目标的一个或多个连通区域，然后再进行滤波。为了将噪点区域滤除，可以设定不同的滤波条件，以进一步确定运动目标的区域。优选地，可以以面积大小为滤波条件，将最小面积要求设为第一预设面积阈值。滤波时，首先计算每个连通区域的面积，然后将面积小于第一预设面积阈值的连通区域作为噪点区域滤除。
59.在步骤s123计算每个连通区域的最小外接矩形，然后进行比较，如果两个连通区域的中心距离小于距离阈值，则进行两个连通区域的融合，将其作为一个连通区域。
60.在步骤s124将滤波和融合后的连通区域作为所述前景检测区域输出，优选地，可以将融合后的连通区域的外接矩形列表或者矩形检测框的坐标列表作为前景检测区域输出。
61.通过步骤s121-s124对步骤s12的前景检测进行了具体描述，本发明不对各步骤的执行顺序做限定。接下来继续说明后续步骤。
62.在步骤s13，为了降低检测算法的耗时和提高检测的准确性与检测的距离，根据本发明的一个优选实施例，采用自适应区域的目标检测算法。在步骤s12获取前景目标的运动区域并输出前景检测区域，在步骤s13首先计算前景检测区域的大小，例如面积或像素，然后选择输入图像的分辨率，在下一步骤针对不同分辨率的图像进行局部或全局检测，可以降低目标检测的复杂度和提高检测距离。具体地，如果前景检测区域的大小小于指定大小，则选择在高分辨率图像上进行检测；如果前景检测区域的大小大于指定大小，则选择在低分辨率图像上进行检测；确定输入图像的分辨率后，依据前景目标区域确定后续目标的检测区域，提高了检测的有效性。
63.图3示出了本发明一个实施例的运动目标识别方法之步骤s13的流程图，优选地，步骤s13包括：
64.在步骤s131计算前景检测区域的面积，例如，依据前景目标的像素宽度和像素高度确定面积大小。
65.在步骤s132当前景检测区域的面积小于第二预设面积阈值时，选择高分辨率的图像；当前景检测区域的面积不小于第二预设面积阈值时，选择低分辨率的图像。也可以设定两个面积阈值，分别进行高分辨率和低分辨率图像的判断，例如，当前景检测区域的面积小于第二预设面积阈值时，选择高分辨率图像；当面积大于第三预设面积阈值时，选择低分辨率图像。
66.更进一步地，当运动目标较远时，所占用的前景检测区域的面积较小，可以在步骤s11中采集或获取的初始图像上的相应区域进行抠图，或者在前景检测的图像转换或处理过程中得到的多个图像中选择其中之一进行抠图，以获得较高分辨率的图像；当运动目标较近时，所占的前景检测区域的面积较大，可以在初始图像或者图像转换或处理过程中得到的图像上抠图，以获得较低分辨率的图像。
67.所述高分辨率和低分辨率为相对概念，可以综合考虑对检测效率、检测速度或者检测精度的要求，例如，高分辨率设为4k分辨率，低分辨率设为1k分辨率，或者根据场景需要，自定义其他数值的高分辨率和低分辨率，都在本发明的保护范围内。
68.在抠图前后，需要对图像进行坐标转换，转换为统一图像分辨率下的检测坐标或者统一坐标系，例如图像坐标系或者像素坐标系，以便于后续步骤的执行。
69.通过步骤s131-s132确定后续目标检测算法的输入图像的分辨率，然后在步骤s14：在所选择的分辨率的图像上，对包括前景检测区域的第二检测区域进行目标检测，输出目标检测区域。依据前景检测区域确定后续的目标检测区域，这样可以提高检测的有效性。通常来说，前景检测区域小于在步骤s11采集或获取的初始图像大小，也就是通过步骤s12确定了更接近运动目标的区域，考虑目标的移动速度或者因为移动或肢体活动带来的区域位置或面积的变换，或者判断后续目标区域的大小，再基于更接近运动目标的区域设置第二检测区域，对第二检测区域进行目标检测，可以降低检测算法的复杂度。优选地，可以将前景检测区域的1-5倍作为第二检测区域。
70.基于前景检测算法的目标检测算法，只在第二检测区域才进行检测，不仅提高了检测效率，还降低了检测算法的误检率，相对于初始的运动目标区域，减小了检测区域的面积，也就减少了背景中可能出现的误检测问题。
71.在某些场景下无法进行运动目标的选择和识别，比如没有显示屏、或者无法通过app画框手动选择运动目标，还可以通过其他检测与识别的方式进行目标的选择。根据本发明的一个优选实施例，在步骤s14可以采用的检测与识别方法包括执行人脸检测、行人检测或头肩检测的其中一项，或者多项的组合。
72.头肩检测是在对输入图像的背景不加任何控制条件下，检测是否有头肩像存在，若存在，则标定其位置。利用头肩像进行检测定位减少了不同姿态、不同成像条件、不确定饰物及复杂背景等因素的影响，可作为人脸检测定位识别的第一步。同时，头肩检测也是行人检测的基础，由于人是复杂的变形体，人体四肢关节自由度多、运动范围很大等使得行人检测也成为目标检测中的难点问题之一。利用头肩像检测不易受其他因素(例如，人体的步态、衣着颜、环境等)的干扰这一有利的条件，可以增加行人检测的准确性。所以，将头肩检测和人脸检测或行人检测相结合，当运动目标为人体的话，可以基本解决在某些场景下
无法进行跟踪目标的选择和识别问题。
73.根据本发明的一个优选实施例，还可以通过手势检测与识别来确定跟踪目标，例如视频播主可以使用预设手势主动激活手势检测功能。优选地，对在步骤s12获得的前景检测区域和在步骤s14获得的目标检测区域，分别或依次或择其一进行手势检测与识别。具体实施时，在初始帧，基于前景检测区域或目标检测区域进行手势检测与识别；在非初始帧，基于前景检测区域或目标检测区域与上一帧的跟踪区域进行手势检测与识别。
74.在步骤s14还可以基于手势识别结果选择运动目标，根据前景检测区域或目标检测区域确定运动目标区域的大小，执行自适应目标跟踪算法，输出运动目标的跟踪区域。具体地，对包括所述前景检测区域的第二检测区域进行目标检测，输出目标检测区域，当目标检测区域存在有效检测模型时，再进行手势检测与识别。换句话说，只对有效的检测区域进行手势检测与识别。
75.手势检测区域的确定有两种模式：基于前景检测区域和/或目标检测区域进行手势区域检测，或者基于通用区域或通用目标进行手势区域检测。基于通用目标进行手势区域检测，例如，基于人手的肤。影响肤变化的主要是亮度和度，因此只要在一个将亮度分量和度分量分开的颜空间中，根据肤的聚类性，可以很好地识别肤，进而实现对手的捕捉。
76.根据本发明的一个优选实施例，方法10还包括：
77.在步骤s15对目标检测区域进行目标跟踪，在步骤s14将第二检测区域作为目标检测区域，或者根据人脸检测、行人检测或头肩检测确定目标检测区域，或者当检测到预设手势时，将包括预设手势的区域作为目标检测区域，然后在步骤s15进行目标跟踪。
78.综上所述，为了解决限制场景下的跟踪目标选择问题，可以通过手势控制的方式确定跟踪目标的选择，同时通过前景检测区域分割加通用检测算法，确定候选目标的大小，解决了目标选择过程中用户手动画框时，目标包含过多背景区域，影响跟踪器性能。如果只通过检测确定后续目标的大小，若检测框回归不准，会导致跟踪失败或者效果较差的问题。
79.图4示出了本发明一个实施例的运动目标识别的示意图，如图4中的(a)图，首先获取原始图像，例如通过视频设备拍摄的图像。然后，对原始图像进行前景检测。如果不考虑检测算法耗时的情况，可以直接对原始图像进行前景检测；如果需要考虑检测算法的耗时，也可以选择对低分辨率图像进行前景检测，前景检测后得出图4中的(b)图，即运动目标为行走的人。接着，对运动目标区域进行连通区域检测，依据每一块连通区域的大小进行滤波处理，例如，计算每个连通区域的面积，然后将面积小于第一预设面积阈值的连通区域作为噪点区域滤除。删除掉无效的噪点区域后，得到图4中的(c)图；随后，计算连通区域的最小外接矩形，将中心距离小于距离阈值的连通区域融合，将融合后的连通区域作为前景检测区域输出，如图4中(d)图；如果前景检测区域的大小小于指定大小，则选择在高分辨率图像上进行后续的目标检测；如果前景检测区域的大小大于指定大小，则选择在低分辨率图像上进行后续的目标检测。例如，当前景检测区域的面积小于第二预设面积阈值时，选择高分辨率的图像；当前景检测区域的面积不小于第二预设面积阈值时，选择低分辨率的图像。确定输入图像的分辨率后，在所选择的分辨率的图像上，对包括前景检测区域的第二检测区域进行目标检测，输出目标检测区域。亦即，通过前景检测确定后续目标检测的区域以及图像的分辨率，最后，在此区域内对该分辨率的图像进行运动目标的目标检测，获取真实有效
的潜在跟踪目标，如图4中的(e)图。如果存在多个潜在运动目标，例如多个行走的人，可以通过手势识别等方法确定选择哪个运动目标作为最终的跟随目标。
80.本发明还提供一种拍摄设备20，如图5所示，包括：
81.云台21；
82.摄像装置22，所述摄像装置22安装在所述云台21上；
83.控制单元23，所述控制单元23与所述云台21和摄像装置22耦接，并可执行如上所述的运动目标识别的方法。
84.根据本发明的一个优选实施例，其中所述控制单元23配置成控制所述云台21，对所述目标检测区域进行跟随。
85.根据本发明的一个优选实施例，其中所述拍摄设备是无人机。
86.本发明还提供一种计算机可读存储介质，其上存储有计算机可读取指令，当所述计算机可读取指令由处理器执行时执行如上所述的运动目标识别的方法。
87.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种运动目标识别的方法，所述方法包括：s11：采集或获取图像；s12：对所述图像进行前景检测，输出前景检测区域；s13：根据所述前景检测区域的大小选择所述图像的分辨率；和s14：在所选择的分辨率的所述图像上，对包括所述前景检测区域的第二检测区域上进行目标检测，输出目标检测区域。2.如权利要求1所述的方法，还包括：s15：对所述目标检测区域进行目标跟踪。3.如权利要求1所述的方法，其中所述步骤s12包括：s121：获取运动目标区域；s122：对所述运动目标区域进行连通区域检测和滤波；s123：计算每个连通区域的最小外接矩形，将中心距离小于距离阈值的连通区域融合；和s124：将融合后的连通区域作为所述前景检测区域输出。4.如权利要求3所述的方法，其中所述步骤s121包括依据vibe算法获取运动目标区域；所述步骤s122包括：计算每个连通区域的面积和滤除面积小于第一预设面积阈值的连通区域；所述步骤s124包括：将所述融合后的连通区域的外接矩形列表作为所述前景检测区域输出。5.如权利要求1-3中任一项所述的方法，其中所述步骤s13包括：s131：计算所述前景检测区域的面积；s132：当所述前景检测区域的面积小于第二预设面积阈值时，选择高分辨率的所述图像；当所述前景检测区域的面积不小于第二预设面积阈值时，选择低分辨率的所述图像；其中，所述高分辨率为4k分辨率，所述低分辨率为1k分辨率。6.如权利要求1-3中任一项所述的方法，其中所述第二检测区域是所述前景检测区域的1-5倍，所述步骤s14包括执行人脸检测、行人检测或头肩检测中的任意一项或多项。7.如权利要求1所述的方法，还包括：对所述前景检测区域和/或所述目标检测区域进行手势检测与识别；当检测到预设手势时，对包括所述预设手势的目标检测区域进行目标跟踪；和在初始帧，基于前景检测区域或目标检测区域进行手势检测与识别；在非初始帧，基于前景检测区域或目标检测区域与上一帧的跟踪区域进行手势检测与识别。8.如权利要求7所述的方法，其中步骤s14还包括：基于手势识别结果选择运动目标，根据前景检测区域或目标检测区域确定运动目标区域的大小，执行自适应目标跟踪算法，输出所述运动目标的跟踪区域。9.一种拍摄设备，包括：云台；摄像装置，所述摄像装置安装在所述云台上；控制单元，所述控制单元与所述云台和摄像装置耦接，并可执行如权利要求1-8中任一项所述的运动目标识别的方法。10.如权利要求9所述的拍摄设备，其中所述控制单元配置成控制所述云台，对所述目
标检测区域进行跟随，所述拍摄设备是无人机。

技术总结

本发明提供一种运动目标识别的方法，所述方法包括：S11：采集或获取图像；S12：对所述图像进行前景检测，输出前景检测区域；S13：根据所述前景检测区域的大小选择所述图像的分辨率；和S14：在所选择的分辨率的所述图像上，对包括所述前景检测区域的第二检测区域上进行目标检测，输出目标检测区域。本发明的设计方案兼备速度优势和时间优势，还可以解决部分场景下无法进行目标选择的问题(某些场景下无显示屏或者用户无法通过app画框选择跟踪目标的操作)。同时，跟踪目标选择的可靠性也较高。跟踪目标选择的可靠性也较高。跟踪目标选择的可靠性也较高。