一种家庭助老全景云机器人及其全景人体行为识别方法

1.本发明涉及一种家庭助老全景云机器人及其全景人体行为识别方法。

背景技术：

2.家庭助老机器人是服务机器人的一种，能够为老年人的日常事务和基本需求提供帮助和支持。国内外根据老年人不同的护理需求，研究设计了多种家庭助老机器人，可分为家庭陪伴型、生活护理型、搬运型、残障护理型等。家庭助老机器人在移动机构设计(行走)、语音交互(听觉)、非结构化环境下导航(环境感知)等方面的技术上逐渐成熟。
3.与常规的单目和双目摄像机相比，全景相机可以一次性观察到四周的环境信息，使机器人超越人类的观测能力。在助老机器人人机交互的过程中，通过全景视觉可以高效地进行人体检测、人脸识别、物体检测、人体姿态检测与人机跟随，进而提高人机交互的智能化水平和扩大家庭助老的应用场景。
4.全景成像的方法主要有：单目旋转拼接、鱼眼透镜和折反射透镜。单目旋转拼接法将一个普通的摄像机固定在云台上，控制云台旋转并通过拼接获取全景图像，但受限于云台的旋转速度，所获得全景图像存在延时，不适合助老机器人对家庭环境中快速移动的目标进行检测。折反射透镜法利用特殊的反射镜，一次性可将周围的环境信息反射到一个单目摄像机中。折反射全景成像由于遵循平面圆柱投影法，会导致助老机器人的全景视角受限，在3d空间中存在视野盲区，不利于进行人机交互。
5.助老机器人在全景视觉下的姿态检测与行为识别，是通过深度神经网络对校正后的全景图像进行处理而实现的。现有的全景图像矫正方法已较为成熟，提升全景行为识别准确率的关键在于行为识别网络模型的设计。而现有行为识别各模型并未同时强调环境特征、人体运动特征及人体结构特征，在特征提取的全面性上均有欠缺，因此导致行为识别的准确率不高。

技术实现要素：

6.为了解决家庭助老机器人获得的全景图像存在延迟或存在视野盲区的技术问题，本发明提出了一种家庭助老全景云机器人，同时，本发明还提出了一种同时强调环境特征、人体运动特征及人体结构特征，提高行为识别准确率的一种家庭助老全景云机器人的全景人体行为识别方法。
7.本发明的技术方案如下：
8.一种家庭助老全景云机器人，包括全景摄像机、5g通信终端、处理器和运动机构，所述全景摄像机还包含广角摄像头，所述每个广角摄像头配备一个视场角大于180
°
的鱼眼镜头，所述鱼眼镜头围绕所述光角摄像头的垂直光轴间隔180
°
固定安装。
9.优选的，所述运动机构作为机器人的底盘，主要由电源、移动机构、升降机构、测距传感器和控制器构成，所述全景摄像机、5g通信终端和处理器安装在机器人的底盘上。
10.优选的，所述鱼眼镜头的视场角为210
°
。
11.优选的，还包括边缘计算器和云服务器。
12.优选的，所述机器人通过5g通信终端以点对点的通讯方式接入边缘计算器。
13.一种上述家庭助老全景云机器人的全景人体行为识别方法，包括rgb特征和姿态骨架特征，同时处理rgb特征与姿态骨架特征，包括以下步骤：
14.步骤一：通过全景摄像机获取原始数据；
15.步骤二：采用openpose模型处理原始数据，估计人体姿态骨骼点和姿态骨架，得到初步处理后的数据；
16.步骤三：采用slowfast算法处理初步处理后的数据得到最后一层卷积层，采用tcn算法处理处理后的数据得到人体姿态骨骼点的时域特征，采用cnn算法处理处理后的数据得到人体姿态骨架的空间特征，将所述时域特征和所述空间特征融合得到第一卷积层；
17.步骤四：使最后一层卷积层和第一卷积层经过全连接层完成特征融合；
18.步骤五：判断行为类别。
19.优选的，所述tcn算法中包含残差块，所述tcn算法采用残差块相连接，所述残差块具有两个卷积层，两层的卷积核的数量一致，在所述残差块内的每个卷积层前执行批量归一化和随机纠正线性单元，所述随机纠正线性单元采用rrelu激活函数实现，所述第l个残差块的计算公式为y
l
＝y
l-1
+f(w
l，1
，w
l，2
，y
l-1
)，残差块的函数f为f(w
l，1
，w
l，2
，y
l-1
)＝w
l，2
·
σ(w
l，1
·
σ(y
l-1
))，其中σ表示rrelu激活函数。
20.优选的，所述cnn算法通过下述流程实现：首先构建人体骨骼点空间位姿特征矩阵，并根据所述slowfast算法中的低频采样率对特征信息进行下采样，选取人体动作行为的关键帧，之后采用opencv对关键帧内的骨骼点位姿信息进行处理，重构出无背景的人体骨骼点增强图，最终采用resnet-18模型对骨骼点增强图进行处理。
21.优选的，所述时域特征与所述空间特征通过加权融合得到第一卷积层，所述加权融合计算公式为v
ts
＝avg(v
t
，vs)＝ω
tvt
+ω
svs
，其中ω
t
与ωs分别表示融合两种特征时的各自权重。
22.优选的，还包括两个交叉熵损失和一个总损失，视频样本总数为m，行为类别
·
总数为n，rgb特征的交叉熵损失为：
[0023][0024]
姿态骨架特征的交叉熵损失为：
[0025][0026]
总损失为：
[0027][0028]
式中y
m，n
为结果的真实值，和分别表示采用rgb数据和姿态骨架数据时的预测结果，表示所有参数的权重衰减正则化，λ为衰减系数，用来避免过拟
合。
[0029]
在本发明中，全景摄像机包括广角摄像头和视场角大于180
°
的鱼眼镜头，广角摄像头和鱼眼镜头相互配合，能够实时获得没有视野盲区的全景图像。同时，本发明通过将slowfast算法、tcn算法和cnn算法相融合，得到了一种新的方法，该方法能够利用slowfast算法分析rgb环境特征，并利用tcn算法补充人体运动特征，利用cnn算法补充人体结构特征，最终能够提高助老机器人在全景视觉下的行为识别的准确率。
附图说明
[0030]
图1是本发明家庭助老全景云机器人的示意图；
[0031]
图2是本发明家庭助老全景云机器人的全景摄像机的示意图；
[0032]
图3是本发明家庭助老全景云机器人的全景图像处理系统的架构示意图；
[0033]
图4是本发明家庭助老全景云机器人的全景人体行为识别方法中的人体骨骼点帧间空间特征矢量图；
[0034]
图5是本发明家庭助老全景云机器人的全景人体行为识别方法中的人体骨骼点帧内空间特征图；
[0035]
图6是是本发明家庭助老全景云机器人的全景人体行为识别方法的模型示意图；
[0036]
图7是图6中的时空姿态模块的模型示意图；
[0037]
图8是本发明家庭助老全景云机器人的全景人体行为识别方法中的tcn算法中的残差块结构图；
[0038]
图9是本发明家庭助老全景云机器人的全景人体行为识别方法中的tcn算法中的rrelu激活函数原理示意图；
[0039]
图10是本发明家庭助老全景云机器人的全景人体行为识别方法中的cnn算法中的关键帧内骨架空间位姿重构图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
如图1-2所示，本发明公开了一种家庭助老全景云机器人，包括全景摄像机、5g通信终端、处理器和运动机构，所述全景摄像机还包含广角摄像头，所述每个广角摄像头配备一个视场角大于180
°
的鱼眼镜头，所述鱼眼镜头围绕所述光角摄像头的垂直光轴间隔180
°
固定安装。
[0042]
在使用时，所述家庭助老全景云机器人能够实时获得没有视野盲区的全景图像；优选的，机器人终端还可以配备显示屏，处理器对双鱼眼图像进行拼接融合等操作，可将全景图像实时显示在屏幕中，方便人机交互；机器人终端还可通过5g通信终端，将拍摄到的全景画面实时传输给用户，实现家庭中的全景实时监控；此外机器人终端具备一些语音交互、人脸检测等基础功能，可完成简单的服务任务。
[0043]
优选的，为了便于机器人运动，所述运动机构作为机器人的底盘，主要由电源、移
动机构、升降机构、测距传感器和控制器构成，所述全景摄像机、5g通信终端和处理器安装在机器人的底盘上。电源采用可充电的24v锂电池供电，通过降压输出不同的电压，供机器人传感、通信、运动和处理器等电子模块使用。移动机构主要由带有编码器的空心杯直流减速电机、电机驱动器、动力轮和从动轮组成，采用运动效率较高、成本较低的差动轮式结构，保证机器人可以在家庭室内平坦的地面上无约束地运动。升降机构则主要由丝杆升降机构和步进电机组成，使全景摄像机能够在1.2m～1.8m的范围内进行升降运动。测距传感器作为距离传感器，可选用激光雷达或超声波传感器，主要用于机器人避障和自主导航。控制器采用嵌入式单片机作为主控单元，通过串行总线分别控制移动机构和升级机构的运动、测距传感信息的采集与处理、以及运动信息的传输。在使用时，利用超声测距和全景视觉传感融合，通过在处理器中配置导航算法，可实现机器人终端在家庭环境中的自主导航。
[0044]
为了便于一次性获取周围环境的信息，优选的，所述鱼眼镜头的视场角为210
°
，广角摄像头可选用普通的usb摄像头，所述鱼眼镜头围绕其垂直光轴间隔180
°
固定安装。通过两个鱼眼摄像，即可一次性获取周围环境的信息。全景摄像机垂直安装固定在升降机构和移动机构旋转中心轴的正上方，通过移动机构的旋转运动和升降机构的上下运动可以调整全景摄像机的观测视角。在家庭环境中，全景检测目标因为高度或者位置的不同，可能会出现在全景图像采集或者拼接的边界位置，导致失真或信息丢失，从而影响检测精度。通过以上两个自由度的反馈运动控制，可及时调整目标在全景中的位置，最大化地获取其在全景中的特征信息，通过多角度多次检测，可确保识别的准确度。
[0045]
图3为本发明全景图像处理系统的架构示意图，包含服务机器人终端、点对点5g通信系统、边缘计算器与云服务器。为了增大计算能力，优选的，还包括边缘计算器和云服务器。每台服务机器人终端通过5g通信连接一个专用边缘计算器，各边缘计算器通过光纤以太网接入云服务器，实现全景图像的智能处理，机器人能够识别出全景图像中的人体姿态、物体类别与位置等信息，能够完成监测老人摔倒、监督老人吃药、帮助老人寻物等复杂功能，为用户提供更全面、更智能的服务。
[0046]
为了增加计算速度和抗干扰能力，优选的，所述机器人通过5g通信终端以点对点的通讯方式接入边缘计算器。所述的点对点5g通信系统包含机器人终端与边缘计算器端各自的5g通信终端，以及在中间架设的一个5g中转路由器。中转路由器可选用市场上的5g工业路由器(比如，基于华为mh5000或展锐芯片)，具有收发天线、usb3.0、wan等接口。机器人通过5g通信终端将采集到的全景图像以特定的5g信号发送至中转路由器，中转路由器再将信息转发至边缘计算器，以此实现点对点的5g通信。一对5g通信终端对应一个特定的中转路由器，数据传输稳定且抗干扰能力强。
[0047]
所述的边缘计算器主要由图形处理器(比如，英伟达tx2)组成。一方面，边缘计算器通过usb与5g通信终端相连，快速接入与机器人终端形成的5g局域网络，基于失真感知球形网络实时对接收的全景图像进行处理和目标检测，并反馈控制机器人终端的运动；另一方面，边缘计算器通过光纤以太网连接到云服务器端。所述的失真感知球形卷积神经网络为双鱼眼全景图像的特有处理网络。边缘计算器中需搭载训练好的失真感知球形卷积神经网络模型，对双鱼眼全景图像进行处理。
[0048]
助老机器人在全景视觉下的姿态检测与行为识别，是通过深度神经网络对校正后的全景图像进行处理而实现的。现有的全景图像矫正方法已较为成熟，提升全景行为识别
准确率的关键在于行为识别网络模型的设计。而现有行为识别各模型并未同时强调环境特征、人体运动特征及人体结构特征，在特征提取的全面性上均有欠缺。因此，为了进一步提高行为识别模型的准确率，需要更细致更全面地捕获人体行为特征。因而，本项目提出一种姿态骨架引导的人体行为识别模型，首先研究时空-姿态模型，探索人体姿态骨架在时域和空间域上的特征表示与数据处理方法，捕获人体行为的时序运动和静态结构细节特征；并在其基础上引入slowfast模型，以补全行为识别所需的rgb环境特征；最终研究特征信息的融合方法和专注于助老的模型训练方法，进一步提高助老机器人在全景视觉下的行为识别准确率。
[0049]
为了达到上述目的，如图4-10所述，本发明还公开了一种上述家庭助老全景云机器人采用的全景人体行为识别方法，包括rgb特征和姿态骨架特征，能够同时处理rgb特征与姿态骨架特征，包括以下步骤：
[0050]
步骤一：通过全景摄像机获取原始数据；
[0051]
步骤二：采用openpose模型处理原始数据，估计人体姿态骨骼点和姿态骨架，得到初步处理后的数据；
[0052]
步骤三：采用slowfast算法处理初步处理后的数据得到最后一层卷积层，采用tcn算法处理处理后的数据得到人体姿态骨骼点的时域特征，采用cnn算法处理处理后的数据得到人体姿态骨架的空间特征，将所述时域特征和所述空间特征融合得到第一卷积层；
[0053]
步骤四：使最后一层卷积层和第一卷积层经过全连接层完成特征融合；
[0054]
步骤五：判断行为类别。
[0055]
为了便于计算，在步骤二中采用openpose模型，自下而上地预测15个骨骼节点，由于15个骨骼点已能够覆盖人体的所有主要关节，而其余骨骼点如手指、脚趾、面部器官等对人体行为识别的影响较小，为避免增加不必要的运算量，本发明只取人体骨骼点中最重要的15个并研究这15个骨骼点的二维坐标序列。
[0056]
以下将说明特征提取的相关定义。在完成人体姿态估计后，本发明提取人体骨骼点序列之间的时空特征信息作为行为识别网络的输入数据，与基于距离和角度的特征信息相比，时空特征蕴含更加丰富的特征信息，并对人体骨骼点的变化更为敏感。本发明所提出的人体骨骼点特征表示，包括：图4所示的骨骼点在时间维度上的空间变化特征；图5所示的各视频帧内的骨骼点空间位姿特征。
[0057]
在本发明提出的行为识别模型中，输入数据可为人体骨骼关键点的二维坐标序列，坐标组可表示为：其中n为人体骨骼点总数，t为输入视频数据的总帧数，t为视频数据的第t帧。由此，在单帧内的一组人体骨骼点坐标可定义为矩阵m
t
：
[0058][0059]
其中与是的二维坐标值。本发明将n设置为15，t由输入数据决定。如图4所示，骨骼点在时间维度上的空间变化矢量特征s
t
可表示为：
[0060][0061]
即骨骼点在时间维度上的空间变化矢量特征由前后两帧骨骼点坐标组相减得到，此特征能够明显地表示出人体的动作部分，能够帮助网络增强特征注意力，加强对人体动
作部分的学习，有利于提高识别准确性。
[0062]
而在完整的视频样本中骨骼点的空间特征，可表示为矩阵m：
[0063][0064]
在矩阵m中，每一行坐标提供了空间域中骨骼点之间的强相关性，而每一列坐标表示一个骨骼点的运动情况。此外，还可根据该矩阵通过opencv的方法，重构出排除环境背景后的二维骨骼点图像，以2维rgb图像的方式，表示骨骼点的空间位置的全局特征，增加特征维度，提升模型的识别精度。
[0065]
在步骤三中，为了能够同时强调环境特征、人体运动特征及人体结构特征，如图6所示，本发明提出了一种新的模型，将slowfast算法、tcn算法和cnn算法结合起来，并在步骤四中进行特征融合，在步骤五中判断行为类别。在图6中，第一部分是用slowfast算法正常处理通过全景摄像机获得的原始数据，得到最后一层卷积层；图7是图6中虚线部分的的时空姿态模块的模型示意图，如图7所示，通过tcn算法处理人体姿态骨骼点的时序特征得到一维卷积，再通过cnn算法处理人体姿态骨架的空间特征得到二维卷积，之后将所述时域特征和所述空间特征融合得到第一卷积层，并在步骤四中使最后一层卷积层和第一卷积层经过全连接层完成特征融合。
[0066]
如图8-9所示，为了提升tcn算法的特征提取能力，优选的，所述tcn算法中包含残差块，所述tcn算法采用残差块相连接，所述残差块具有两个卷积层，两层的卷积核的数量一致。这能够提升算法的特征提取能力，并且能够有效拓展网络的感受野，有利于学习依赖时间的动作行为。在所述残差块内的每个卷积层前执行批量归一化和随机纠正线性单元，使残差块能够学习到更多的特征信息。所述随机纠正线性单元采用rrelu激活函数实现，算法网络采用残差块相连接，可提高时间序列数据的识别准确性和可解释性，并能够解决梯度消失和网络退化等问题，所述第l个残差块的计算公式为y
l
＝y
l-1
+f(w
l，1
，w
l，2
，y
l-1
)，残差块的函数f为f(w
l，1
，w
l，2
，y
l-1
)＝w
l，2
·
σ(w
l，1
·
σ(y
l-1
))，其中σ表示rrelu激活函数。
[0067]
如图9所示，rrelu激活函数的公式如下：
[0068][0069]
其中：a
ji
～u(l，u)，l《u且l，u∈[0，1)
[0070]
为了增强抗干扰能力，提取到更丰富的特征信息，提高行为识别准确率。如图10所示，优选的，所述cnn算法通过下述流程实现：首先构建人体骨骼点空间位姿特征矩阵，并根据所述slowfast算法中的低频采样率对特征信息进行下采样，选取人体动作行为的关键帧，之后采用opencv对关键帧内的骨骼点位姿信息进行处理，重构出无背景的人体骨骼点增强图，最终采用resnet-18模型对骨骼点增强图进行处理。
[0071]
本发明提出的基于骨骼点时空特征的行为识别双流网络，通过tcn流和cnn流分别提取人体姿态骨架的时域特征与空间特征，并最终对二者进行融合以获得人体行为细节的时空特征，提高行为识别的准确率。
[0072]
真实情况中，不同人体行为的运动剧烈程度不同，因此在行为识别过程中，时域特征和空间特征所含信息的重要程度也不同，直接使用简单的平均融合法会产生较大误差。为了解决上述问题，优选的，所述时域特征与所述空间特征通过加权融合得到第一卷积层，所述加权融合计算公式为v
ts
＝avg(v
t
，vs)＝ω
tvt
+ω
svs
，其中ω
t
与ωs分别表示融合两种特征时的各自权重，权重可跟随网络模型的反向传播算法进行更新，由此即可获得人体姿态骨架的时空融合特征信息。
[0073]
为了实现姿态骨架引导的视频人体行为识别模型，在步骤四中，还需要将时空姿态模块与slowfast模型相融合。本发明将slowfast的最后一层卷积层与时空姿态模块结合起来，之后经过全连接层完成特征融合。将网络模型的注意力引导向人体行为细节，补充了助老机器人所必须的人体姿态骨架细节信息。
[0074]
此外，考虑到所提出的模型同时处理rgb外观特征与姿态骨架特征，由此可能会导致存在误差。为了解决上述问题，优选的，还包括两个交叉熵损失和一个总损失，视频样本总数为m，行为类别
·
总数为n，rgb特征的交叉熵损失为：
[0075][0076]
姿态骨架特征的交叉熵损失为：
[0077][0078]
总损失为：
[0079][0080]
式中y
m，n
为结果的真实值，和分别表示采用rgb数据和姿态骨架数据时的预测结果，表示所有参数的权重衰减正则化，λ为衰减系数，用来避免过拟合。
[0081]
综上所述，本发明公开了一种家庭助老全景云机器人的全景人体行为识别方法，分别对人体行为的rgb外观环境特征、时域运动细节特征、空间骨架结构特征进行了详细的特征表示与有效的特征提取，并研究了不同特征的融合方法，最终实现了网络训练与迭代更新。
[0082]
为了使本发明专注于助老，本发明对所需数据集也进行了研究。本发明专为助老机器人而设计，不仅要达到极高的识别准确度，更要专注于老人的日常生活行为。因此，训练所需的数据集必须包含老人日常生活中常见的各项行为。依据我们对老人日常生活行为的调研，本研究将老人的日常行为归纳如下，日常：睡觉/躺下、看电视、吸烟、读书、吃药、招手；运动：散步、慢跑、站立、骑自行车/助力车；危险：不舒服扶在墙上、以摔倒为主的突发性危险行为。
[0083]
基于上述要求，我们首先选取ava(atomic visual actions)数据集进行模型训练，该数据集包含上述老人日常的各项行为，满足模型训练需求。需要注意的是，本发明在
使用ava数据集时，需通过openpose对原始视频样本中的人体姿态骨架进行估计后将数据传入时空姿态模块中进行训练。之后采用ur fall detection数据集对跌倒行为进行专项训练，该数据集专注于跌倒行为，包含了30种跌倒行为的视频样本，并采用双摄像机采集rgb视频，能够帮助模型提高对老人摔倒行为的识别能力。
[0084]
同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
[0085]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0086]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

1.一种家庭助老全景云机器人，包括全景摄像机、5g通信终端、处理器和运动机构，其特征在于，所述全景摄像机还包含广角摄像头，所述每个广角摄像头配备一个视场角大于180
°
的鱼眼镜头，所述鱼眼镜头围绕所述光角摄像头的垂直光轴间隔180
°
固定安装。2.如权利要求1所述的一种家庭助老全景云机器人，其特征在于，所述运动机构作为机器人的底盘，主要由电源、移动机构、升降机构、测距传感器和控制器构成，所述全景摄像机、5g通信终端和处理器安装在机器人的底盘上。3.如权利要求2所述的一种家庭助老全景云机器人，其特征在于，所述鱼眼镜头的视场角为210
°
。4.如权利要求3所述的一种家庭助老全景云机器人，其特征在于，还包括边缘计算器和云服务器。5.如权利要求4所述的一种家庭助老全景云机器人，其特征在于，所述机器人通过5g通信终端以点对点的通讯方式接入边缘计算器。6.如权利要求1-5所述的一种家庭助老全景云机器人的全景人体行为识别方法，包括rgb特征和姿态骨架特征，其特征在于，同时处理rgb特征与姿态骨架特征，包括以下步骤：步骤一：通过全景摄像机获取原始数据；步骤二：采用openpose模型处理原始数据，估计人体姿态骨骼点和姿态骨架，得到初步处理后的数据；步骤三：采用slowfast算法处理初步处理后的数据得到最后一层卷积层，采用tcn算法处理处理后的数据得到人体姿态骨骼点的时域特征，采用cnn算法处理处理后的数据得到人体姿态骨架的空间特征，将所述时域特征和所述空间特征融合得到第一卷积层；步骤四：使最后一层卷积层和第一卷积层经过全连接层完成特征融合；步骤五：判断行为类别。7.如权利要求6所述的一种家庭助老全景云机器人的全景人体行为识别方法，其特征在于，所述tcn算法中包含残差块，所述tcn算法采用残差块相连接，所述残差块具有两个卷积层，两层的卷积核的数量一致，在所述残差块内的每个卷积层前执行批量归一化和随机纠正线性单元，所述随机纠正线性单元采用rrelu激活函数实现，所述第l个残差块的计算公式为y
l
＝y
l-1
+f(w
l，1
，w
l，2
，y
l-1
)，残差块的函数f为f(w
l，1
，w
l，2
，y
l-1
)＝w
l，2
·
σ(w
l，1
·
σ(y
l-1
))，其中σ表示rrelu激活函数。8.如权利要求7所述的一种家庭助老全景云机器人的全景人体行为识别方法，其特征在于，所述cnn算法通过下述流程实现：首先构建人体骨骼点空间位姿特征矩阵，并根据所述slowfast算法中的低频采样率对特征信息进行下采样，选取人体动作行为的关键帧，之后采用opencv对关键帧内的骨骼点位姿信息进行处理，重构出无背景的人体骨骼点增强图，最终采用resnet-18模型对骨骼点增强图进行处理。9.如权利要求8所述的一种家庭助老全景云机器人的全景人体行为识别方法，其特征在于，所述时域特征与所述空间特征通过加权融合得到第一卷积层，所述加权融合计算公式为v
ts
＝avg(v
t
，v
s
)＝ω
tvt
+ω
svs
，其中ω
t
与ω
s
分别表示融合两种特征时的各自权重。10.如权利要求9所述的一种家庭助老全景云机器人的全景人体行为识别方法，其特征在于，还包括两个交叉熵损失和一个总损失，视频样本总数为m，行为类别
·
总数为n，rgb特征的交叉熵损失为：
姿态骨架特征的交叉熵损失为：总损失为：式中y
m，n
为结果的真实值，和分别表示采用rgb数据和姿态骨架数据时的预测结果，表示所有参数的权重衰减正则化，λ为衰减系数，用来避免过拟合。

技术总结

本发明公开了一种家庭助老全景云机器人及其全景人体行为识别方法，其中，家庭助老全景云机器人包括全景摄像机，所述全景摄像机还包含广角摄像头，所述每个广角摄像头配备一个视场角大于180

技术研发人员：

张大伟 张焱铭 杨停停 孙钢灿

受保护的技术使用者：

郑州大学

技术研发日：

2022.09.21

技术公布日：

2022/12/22