(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201810947643.5
(22)申请日 2018.08.21
(71)申请人 重庆乐教科技有限公司
地址 401120 重庆市渝北区龙塔街道黄龙
路28号朗俊中心3幢11-6号
(72)发明人 张可
(74)专利代理机构 北京超凡志成知识产权代理
事务所(普通合伙) 11371
代理人 吴迪
(51)Int.Cl.
G06K 9/00(2006.01)
G10L 25/30(2013.01)
G10L 25/63(2013.01)
(54)发明名称
方法
(57)摘要
本发明实施例涉及人工智能技术领域，具体
而言，涉及一种基于人工智能的情绪行为可视化
分析方法。该方法应用于一与设置于教室内的拍
摄设备通信连接的电子设备，该方法包括：获得
储，获取教学模型，将教学模型输入卷积神经网
络，采用卷积神经网络对图像数据和语音数据进
行挖掘和分析，以获得师生情绪分析结果和师生
行为分析结果并存储，根据师生情绪分析结果和
师生行为分析结果生成可视化报告并存储，采用
得数据解读结果并存储，根据数据解读结果进行
教学诊断和预警。采用该方法能够提高多模态情
感分析技术的延展性，进而提高卷积神经网络的
延展性。权利要求书2页 说明书7页 附图3页CN 109101933 A 2018.12.28
C N 109101933
A
1.一种基于人工智能的情绪行为可视化分析方法，其特征在于，应用于一电子设备，所述电子设备与设置于教室内的拍摄设备通信连接，所述方法包括：
获得所述拍摄设备实时采集的图像数据和语音数据并存储；
获取教学模型，将所述教学模型输入卷积神经网络，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储；
根据所述师生情绪分析结果和所述师生行为分析结果生成可视化报告并存储；
采用所述卷积神经网络对所述可视化报告进行数据解读以获得数据解读结果并存储，根据所述数据解读
结果进行教学诊断和预警。
2.根据权利要求1所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，所述方法还包括：
将所述数据解读结果输入所述卷积神经网络进行训练。
3.根据权利要求1所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储的步骤，包括：
提取所述图像数据中的人脸图像，结合预设微表情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点；其中，所述人脸图像包括老师的人脸图像和学生的人脸图像；
根据所述人脸图像和所述特征点生成人面模型，并标定所述人面模型中的特征点；
根据所述人面模型中的特征点的位置变化，调用心理行为特征分析数据库和所述预设微表情特征数据库分析所述人面模型的情绪变化，获得师生情绪分析结果；
提取所述图像数据中的动作图像，结合所述动作图像和所述人面模型中的特征点的位置变化，调用预设行为数据库分析所述人面模型的行为变化，获得师生行为分析结果。
4.根据权利要求3所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，提取所述图像数据中的人脸图像，结合预设微表情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点的步骤，包括：
调用预设颜分析数据库对所述图像数据进行评估，获得评估结果，根据所述评估结果对所述拍摄设备的拍摄角度和拍摄焦距进行调整，以获得最佳图像；
调用所述预设颜分析数据库对所述最佳图像的颜参数和颜变化情况进行分析，获得所述最佳图像中的人脸位置信息；
调用预设像素统计数据库对所述人脸位置信息进行识别，提取出所述最佳图像中的人脸图像；
调用预设特征点分析数据库，结合所述预设微表情特征数据库对所述最佳图像中的人脸图像进行分析，获得最佳图像中的人脸图像中的特征点。
5.根据权利要求4所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，根据所述人脸图像和所述特征点生成人面模型，并标定所述人面模型中的特征点的步骤，包括：
结合所述预设特征点分析数据库、所述预设像素统计数据库和所述预设微表情特征数据库生成人面模型，并标定所述人面模型中的特征点。
6.根据权利要求1所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，根据所述师生情绪分析结果和所述师生行为分析结果生成可视化报告并存储的步骤，包括：
根据所述师生情绪分析结果和所述师生行为分析结果生成课堂考勤饼状图、课堂行为统计图、课堂情绪统计图和课堂参与度图；
将所述课堂考勤饼状图、所述课堂行为统计图、所述课堂情绪统计图和所述课堂参与度图存储至预设可视化报告数据库。
7.根据权利要求6所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，所述方法还包括：
获得调取所述课堂考勤饼状图、所述课堂行为统计图、所述课堂情绪统计图和所述课堂参与度图的调取指令；
根据所述调取指令将所述课堂考勤饼状图、所述课堂行为统计图、所述课堂情绪统计图和所述课堂参与度图进行发送。
8.根据权利要求6所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，采用所述卷积神经网络对所述可视化报告进行数据解读以获得数据解读结果并存储，根据所述数据解读结果进行教学诊断和预警的步骤，包括：
将所述课堂情绪统计图输入所述卷积神经网络，采用所述卷积神经网络对所述课堂情绪统计图进行解读，获得负面情绪占比；
判断所述负面情绪占比是否超过第一设定阈值，若超过所述第一设定阈值，向管理系统或管理平台发送预警信息。
9.根据权利要求8所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，所述方法还包括：
采用所述卷积神经网络分析所述负面情绪占比产生的原因，将所述原因发送至所述管理系统或所述管理平台。
10.根据权利要求8所述的一种基于人工智能的情绪行为可视化分析方法，其特征在于，所述方法还包括：
将所述课堂情绪统计图输入所述卷积神经网络，采用所述卷积神经网络对所述课堂情绪统计图进行解读，获得积极情绪占比；
判断所述积极情绪占比是否超过第二设定阈值，若超过所述第二设定阈值，判定本次课堂为有效课堂教学。
一种基于人工智能的情绪行为可视化分析方法
技术领域
[0001]本发明实施例涉及人工智能技术领域，具体而言，涉及一种基于人工智能的情绪行为可视化分析方法。
背景技术
[0002]多模态情感分析技术能够对文字情感、面部表情和语音情绪等元素进行分析，进而推断和预测人类在时间维度上的情绪行为变化。但是现有的大多数多模态情感分析技术的跨领域应用性不高，缺少行业应用的延展性。
发明内容
[0003]有鉴于此，本发明提供了一种基于人工智能的情绪行为可视化分析方法。[0004]本发明实施例提供了一种基于人工智能的情绪行为可视化分析方法，应用于一电子设备，所述电子设备与设置于教室内的拍摄设备通信连接，所述方法包括：
[0005]获得所述拍摄设备实时采集的图像数据和语音数据并存储；
[0006]获取教学模型，将所述教学模型输入卷积神经网络，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储；
[0007]根据所述师生情绪分析结果和所述师生行为分析结果生成可视化报告并存储；[0008]采用所述卷积神经网络对所述可视化报告进行数据解读以获得数据解读结果并存储，根据所述数据解读结果进行教学诊断和预警。
[0009]可选地，所述方法还包括：
[0010]将所述数据解读结果输入所述卷积神经网络进行训练。
[0011]可选地，采用所述卷积神经网络对所述图像数据和所述语音数据进行挖掘和分析，以获得师生情绪分析结果和师生行为分析结果并存储的步骤，包括：
[0012]提取所述图像数据中的人脸图像，结合预设微表情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点；其中，所述人脸图像包括老师的人脸图像和学生的人脸图像；
[0013]根据所述人脸图像和所述特征点生成人面模型，并标定所述人面模型中的特征点；
[0014]根据所述人面模型中的特征点的位置变化，调用心理行为特征分析数据库和所述预设微表情特征数据库分析所述人面模型的情绪变化，获得师生情绪分析结果；[0015]提取所述图像数据中的动作图像，结合所述动作图像和所述人面模型中的特征点的位置变化，调用预设行为数据库分析所述人面模型的行为变化，获得师生行为分析结果。[0016]可选地，提取所述图像数据中的人脸图像，结合预设微表
情特征数据库对所述人脸图像进行分析，获得所述人脸图像中的特征点的步骤，包括：
[0017]调用预设颜分析数据库对所述图像数据进行评估，获得评估结果，根据所述评
估结果对所述拍摄设备的拍摄角度和拍摄焦距进行调整，以获得最佳图像；
[0018]调用所述预设颜分析数据库对所述最佳图像的颜参数和颜变化情况进行分析，获得所述最佳图像中的人脸位置信息；
[0019]调用预设像素统计数据库对所述人脸位置信息进行识别，提取出所述最佳图像中的人脸图像；
[0020]调用预设特征点分析数据库，结合所述预设微表情特征数据库对所述最佳图像中的人脸图像进行分析，获得最佳图像中的人脸图像中的特征点。
[0021]可选地，根据所述人脸图像和所述特征点生成人面模型，并标定所述人面模型中的特征点的步骤，包括：
[0022]结合所述预设特征点分析数据库、所述预设像素统计数据库和所述预设微表情特征数据库生成人面模型，并标定所述人面模型中的特征点。
[0023]可选地，根据所述师生情绪分析结果和所述师生行为分析结果生成可视化报告并存储的步骤，包括：
[0024]根据所述师生情绪分析结果和所述师生行为分析结果生成课堂考勤饼状图、课堂行为统计图、课堂情绪统计图和课堂参与度图；
[0025]将所述课堂考勤饼状图、所述课堂行为统计图、所述课堂情绪统计图和所述课堂参与度图存储至预设可视化报告数据库。
[0026]可选地，所述方法还包括：
[0027]获得调取所述课堂考勤饼状图、所述课堂行为统计图、所述课堂情绪统计图和所述课堂参与度图的调取指令；
[0028]根据所述调取指令将所述课堂考勤饼状图、所述课堂行为统计图、所述课堂情绪统计图和所述课堂参与度图进行发送。
[0029]可选地，采用所述卷积神经网络对所述可视化报告进行数据解读以获得数据解读结果并存储，根据所述数据解读结果进行教学诊断和预警的步骤，包括：
[0030]将所述课堂情绪统计图输入所述卷积神经网络，采用所述卷积神经网络对所述课堂情绪统计图进行解读，获得负面情绪占比；
[0031]判断所述负面情绪占比是否超过第一设定阈值，若超过所述第一设定阈值，向管理系统或管理平台发送预警信息。
[0032]可选地，所述方法还包括：
[0033]采用所述卷积神经网络分析所述负面情绪占比产生的原因，将所述原因发送至所述管理系统或所述管理平台。
[0034]可选地，所述方法还包括：
[0035]将所述课堂情绪统计图输入所述卷积神经网络，采用所述卷积神经网络对所述课堂情绪统计图进行解读，获得积极情绪占比；
[0036]判断所述积极情绪占比是否超过第二设定阈值，若超过所述第二设定阈值，判定本次课堂为有效课堂教学
[0037]本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上
运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于人工智能的情绪行为可视化分析方法。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议