一种人体姿态识别方法、系统、电子设备及存储介质

1.本发明涉及数据处理技术领域，更具体地，涉及一种人体姿态识别方法、系统、电子设备及存储介质。

背景技术：

2.毫米波雷达使用毫米波通常是指30~-300ghz频域(波长为1~10mm)的。毫米波的波长介于厘米波和光波之间,因此毫米波兼有微波制导和光电制导的优点。同厘米波导引头相比,毫米波导引头具有体积小、质量轻和空间分辨率高的特点。与红外、激光、电视等光学导引头相比,毫米波导引头穿透雾、烟、灰尘的能力强,具有全天候全天时的特点,目前经常用亳米波雷达来识别人体姿态的信息。
3.随着毫米波雷达技术的成熟，毫米波雷达在日常生活中得到了广泛的引用，其中包括基于毫米波雷达的多普勒效应对人体姿态进行识别，其过程可以是利用人体各身体部件的不同微动方式会在雷达回信号中引起不同调制效果，可通过对雷达回波信号进行时频变换得到的微多普勒谱图中观察到这种效果，并具有各自的微多普勒特性，这样的微多普勒特性能有效地估计人体运动姿态变化规律和识别人体运动动作。然而由于毫米波雷达系统产生的点云稀疏和不均匀，导致在人体姿态识别时精度降低，因此，如何进一步提高人体姿态识别精度是亟待解决的问题。

技术实现要素：

4.本发明针对现有技术中存在的技术问题，提供一种人体姿态识别方法、系统、电子设备及存储介质，用以解决如何进一步提高人体姿态识别精度的问题。
5.根据本发明的第一方面，提供了一种人体姿态识别方法，包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
6.在上述技术方案的基础上，本发明还可以作出如下改进。
7.可选的，所述基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据的步骤，包括：获取初始点云数据；基于预设算法对所述初始点云数据中人体中心进行聚类；将聚类后的结果进行体素化处理，得到噪声分离后的人体运动点云数据。
8.可选的，所述对所述人体运动点云数据中多个点进行关联，获取其对应的多个特
征信息的步骤，包括：将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息。
9.可选的，所述将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息的步骤之后，包括：构建二维矩阵，将所述多个点之间的距离、角度、移动方向和移动速度的特征信息以one-hot编码进行存储。
10.可选的，所述基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型的步骤，包括：基于所述多个特征信息构建对应的预设的分类识别模型，所述预设的分类识别模型为高阶因子分解模型；基于所述高阶因子分解模型对所述人体运动点云数据和所述多个特征信息进行交叉学习，直至满足预设学习率时，得到训练完成的姿态识别模型。
11.可选的，所述高阶因子分解模型为：;其中，是目标函数，和是权重因子，、和表示特征变量，、和表示隐向量，和为隐向量的点积，为单个特征变量的数量，i、j和l为序号。
12.可选的，所述人体姿态识别方法，还包括：基于所述多个特征信息的交互顺序，对所述姿态识别模型进行优化，得到优化后的姿态识别模型。
13.根据本发明的第二方面，提供一种人体姿态识别系统，包括：数据处理模块，用于基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；特征提取模块，用于对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；模型训练模块，用于基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；姿态识别模块，用于基于所述姿态识别模型对所述初始点云数据进行识别，得到
其对应的人体姿态信息。
14.根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述第一方面中任一人体姿态识别方法的步骤。
15.根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述第一方面中任一人体姿态识别方法的步骤。
16.本发明提供的一种人体姿态识别方法、系统、电子设备及存储介质，方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过对初始点云数据预处理，从而将点云数据中的噪声数据去除，进而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于上述姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。
附图说明
17.图1为本发明提供的一种人体姿态识别方法流程图；图2为本发明提供的数据处理流程示意图；图3为本发明提供的一种人体姿态识别系统结构示意图；图4为本发明提供的一种可能的电子设备的硬件结构示意图；图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
18.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
19.图1为本发明提供的一种人体姿态识别方法流程图，如图1所示，方法包括：步骤s100：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信及程序运行功能的计算机终端设备，例如：电脑、平板电脑等；也可以是具有相同相似功能的服务器设备，还可以是具有相似功能的云服务器，本实施例对此不做限制。为了便于理解，本实施例及下述各实施例将以服务器设备为例进行说明。
20.可以理解的是，在硬件方面，本实施例方法可以是直接在各种型号毫米波雷达和 pc 上构建本系统。该雷达的实际频率范围为 76 至 81ghz，实际带宽为 4ghz。它的距离分辨率为0.047m，多普勒分辨率为0.38m/s。，该雷达有3个发射天线和4个接收天线，发射功率为12dbm，采样率为37.5msps。带有处理器（intel xxxxxx @ 2.1ghz）和内存（4gb）详细信息的 pc。软件方面，数据收集模块在 c 程序上运行，数据预处理模块在 python 上运行，
actfm模型在 tensorflow 1.4 平台上运行。
21.应理解的是，上述初始点云数据可以是毫米波雷达首先发出 fmcw（调频连续波）信号，并将反射信号处理成中频（if）信号，然后可以推导出距离d、速度v和角度。以帧为单位，获取每一帧的原始采集数据，包括坐标值（x、y、z）和速度（v）。
22.还可以理解的是，得到上述预处理的步骤可以是包括，将人体运动的点云从环境和多径效应引起的噪声中分离出来的步骤，从而减少噪声数据的干扰，提升模型训练过程的训练效率。
23.为了进一步说明上述预处理的步骤，本实施例中，还包括：步骤s101：获取初始点云数据；步骤s102：基于预设算法对所述初始点云数据中人体中心进行聚类；可以理解的是，上述预设算法可以是使用大阈值的dbscan（density-based spatial clustering of applications with noise，基于密度的聚类算法），基于目标人体的位置和点分布的密度，对人体中心进行聚类，以提取面向人体运动的点云数据。
24.步骤s103：将聚类后的结果进行体素化处理，得到噪声分离后的人体运动点云数据。
25.在具体过程中，将上述聚类后的得到的面向人体运动的点云数据进行体素化，从而使得后续训练的模型进一步的得到简化，降低分类器的计算复杂度，增强学习效率。
26.步骤s200：对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；为了进一步说明上述多个点进行关联的步骤，本实施例中，还包括：步骤s201：将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息。
27.需要说明的是，上述对多个点进行关联可以是将点云数据中的点与点之间进行连接，从而获取其对应的特征信息，例如：将三个点之间进行连接，从而得到三个点之间的相互距离、角度、移动方向和移动速度。
28.为了进一步降低分类器数据处理的复杂度，本实施例中，还包括：步骤s202：构建二维矩阵，将所述多个点之间的距离、角度、移动方向和移动速度的特征信息以one-hot编码进行存储。
29.需要说明的是，上述one-hot编码也称为独热编码，也即是用n位状态寄存器编码n个状态，每个状态都有独立的寄存器位，且这些寄存器位中只有一位有效，只能有一个状态。
30.步骤s300：基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；需要说明的是，上述预设的分类模型可以是本实施例设计的基于actfm的轻量级机器学习模型，同时结合了高阶分解机对不同的活动进行分类。
31.其中，标准的因子分解机的模型如下所示：
；其中，是目标函数，和是权重因子，和表示特征变量，和表示隐向量，为隐向量的点积，n为单个特征变量的数量，i和j为序号。
32.因子分解机能够学习到数据中特征变量之间隐藏的相互关系，也就是所谓的隐空间，这样就在合理的适用情况下，使用更多的信息进行学习。当训练输入的点云数据比较稀疏时，即缺少足够的样本供模型学习交叉项系数，而因子分解机通过因子分解的方式，学习到交互参数。
33.一般的因子分解机是一个二阶多项式模型，在建模时只考虑特征和特征之间的二阶互动，即特征变量的成对互动，因为这是由因子分解机模型本身决定的。然而事实证明，仅仅考虑两个特征之间的相互作用关系是不够的，还涉及高阶组合关系。因此，将二阶因子化模型扩展到三阶甚至更高的因子分解机是必要的，这样就可以学习到特征之间的高阶交叉关系，从而实现模型的更好性能。由此给出了高阶因子分解机模型为：;其中，是目标函数，和是权重因子，、和表示特征变量，、和表示隐向量，和为隐向量的点积，为单个特征变量的数量，i、j和l为序号，省略号部分为当存在更多的特征变量时按前面的规则进行扩展。
34.本实施例模型中，不仅可以有效利用多个特征的信息，并且可以发掘特征与特征之间的隐藏关系以获取更多信息。执行10x5的嵌套交叉验证，正则化参数在的范围内进行优化。
35.为了进一步说明上述模型训练的步骤，本实施例中，还包括：步骤s301：基于所述多个特征信息构建对应的预设的分类识别模型，所述预设的分类识别模型为高阶因子分解模型；步骤s302：基于所述高阶因子分解模型对所述人体运动点云数据和所述多个特征
信息进行交叉学习，直至满足预设学习率时，得到训练完成的姿态识别模型。
36.需要说明的是，上述预设学习率可以是根据用户的实际需求设定的，当然为了得到在同等计算机性能的基础上训练时长和预测精度之间相对较好效果的模型，上述学习率可以设置为0.001。
37.同时，为了进一步降低训练时长，同时的得到相对较好的预测精确度，本实施例，还包括：步骤s303：基于所述多个特征信息的交互顺序，对所述姿态识别模型进行优化，得到优化后的姿态识别模型。
38.可以理解的是，由于特征信息的交互顺序也会对训练时长和预测精度产生影响，因此本实施例还提供了基于多个特征信息的交互顺序对上述姿态识别模型进行优化，从而实现训练时长与预测精度之间的最优效果。
39.步骤s400：基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
40.可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种人体姿态识别方法。方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过对初始点云数据预处理，从而将点云数据中的噪声数据去除，进而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于上述姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。并且由于是使用的是低成本的毫米波雷达，从而可以在低成本的情况下实现获取到的点云数据不仅是坐标，还包括目标的运动方向、运动速度等，能够在模型训练中使用更多的特征。本发明还通过使用构造点云矢量特征的方式，并将其加入高阶分解机模型汇总，可以减少模型参数估计的运行时间，以达到轻量级的效果。
41.在一种可能的实施例场景中，本实施例中的数据流向，参见图2，图2为本发明提供的数据处理流程示意图；在本实施例中，首先基于毫米波雷达进行数据采集得到初始的点云数据，再对初始的点云数据进行数据预处理，从而得到降噪后的人体运动点云数据，然后进一步基于人体运动点云数据构造点云矢量特征，其特征信息包括：距离、角度、方向和速度，进而基于点云矢量特征和人体运动点云数据进行模型训练，得到训练好的姿态识别模型，最后用训练好的姿态识别模型对获取到的初始点云数据进行分类识别，从而得到室内人体的姿态信息，进而根据人体的姿态信息检测得到目标人体的状态信息。
42.请参阅图3，图3为本发明实施例提供的一种人体姿态识别系统结构图示意图，如图3所示，一种人体姿态识别系统，包括数据处理模块100、特征提取模块200、模型训练模块300和姿态识别模块400，其中：数据处理模块100，用于基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；特征提取模块200，用于对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；模型训练模块300，用于基于所述人体运动点云数
据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；姿态识别模块400，用于基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
43.可以理解的是，本发明提供的一种人体姿态识别系统与前述各实施例提供的人体姿态识别方法相对应，人体姿态识别系统的相关技术特征可参考人体姿态识别方法的相关技术特征，在此不再赘述。
44.请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提供了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。
45.请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。
46.本发明提供的一种人体姿态识别方法、系统、电子设备及存储介质，方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过对初始点云数据预处理，从而将点云数据中的噪声数据去除，进而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于上述姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。
47.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
48.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
49.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
50.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
51.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
52.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
53.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

技术特征：

1.一种人体姿态识别方法，其特征在于，所述方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。2.根据权利要求1所述的人体姿态识别方法，其特征在于，所述基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据的步骤，包括：获取初始点云数据；基于预设算法对所述初始点云数据中人体中心进行聚类；将聚类后的结果进行体素化处理，得到噪声分离后的人体运动点云数据。3.根据权利要求1所述的人体姿态识别方法，其特征在于，所述对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息的步骤，包括：将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息。4.根据权利要求3所述的人体姿态识别方法，其特征在于，所述将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息的步骤之后，包括：构建二维矩阵，将所述多个点之间的距离、角度、移动方向和移动速度的特征信息以one-hot编码进行存储。5.根据权利要求1所述的人体姿态识别方法，其特征在于，所述基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型的步骤，包括：基于所述多个特征信息构建对应的预设的分类识别模型，所述预设的分类识别模型为高阶因子分解模型；基于所述高阶因子分解模型对所述人体运动点云数据和所述多个特征信息进行交叉学习，直至满足预设学习率时，得到训练完成的姿态识别模型。6.根据权利要求5所述的人体姿态识别方法，其特征在于，所述高阶因子分解模型为：;
其中，是目标函数，和是权重因子，、和表示特征变量，、和表示隐向量，和为隐向量的点积，为单个特征变量的数量，i、j和l为序号。7.根据权利要求5所述的人体姿态识别方法，其特征在于，还包括：基于所述多个特征信息的交互顺序，对所述姿态识别模型进行优化，得到优化后的姿态识别模型。8.一种人体姿态识别系统，其特征在于，包括：数据处理模块，用于基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；特征提取模块，用于对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；模型训练模块，用于基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；姿态识别模块，用于基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的人体姿态识别方法的步骤。10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的人体姿态识别方法的步骤。

技术总结

本发明提供的一种人体姿态识别方法、系统、电子设备及存储介质，方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于人体运动点云数据和多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于姿态识别模型对初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过预处理去除初始点云数据的噪声，从而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。体姿态识别精度。体姿态识别精度。