(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010948012.2
(22)申请日 2020.09.10
(71)申请人 广州大学
地址 510006 广东省广州市番禺区大学城
外环西路230号
(72)发明人 朱静 王茹皓 尹邦政 杨盛元
黄朗 钟长岳 李浩明 明家辉
(74)专利代理机构 广州市华学知识产权代理有
限公司 44245
代理人 李斌
(51)Int.Cl.
G06K 9/00(2006.01)
G06Q 50/20(2012.01)
(54)发明名称
(57)摘要
本发明公开了一种远程教育注意力检测方
法及系统，该方法的步骤为：采集面部图像；对采
后将图像从RGB图像转换为灰度图；框选面部特
征，通过人脸识别算法识别到人脸特征值，进行
特征值匹配验证；构建人脸实时情绪分类系统；
标注人脸特征点，根据特征点之间的几何距离，
开程度阈值、嘴巴张开程度第一阈值和嘴巴张开
第二阈值，判定注意力状态处于专注或者分心；
设置间隔时间采集面部图像，注意力状态判定为
分心时反馈提示。本发明设置了实时注意力检
测，检测学生学习的注意力状态，辅助提高远程
教育的学习效果，
达到智能教学目的。权利要求书2页 说明书5页 附图3页CN 112183238 A 2021.01.05
C N 112183238
A
1.一种远程教育注意力检测方法，其特征在于，包括下述步骤；
采集面部图像；
对采集到的面部图像进行图像预处理，进行高斯滤波后将图像从RGB图像转换为灰度图；
框选面部特征，得到人脸的高度和宽度，通过人脸识别算法识别到人脸特征值，并与数据库中预先存入的特征值进行比较，进行特征值匹配验证；
构建人脸实时情绪分类系统，在设定的时间间隔内定时检测学生的情绪，并得出检测人脸与系统训练样本的相似度；
标注人脸特征点，根据特征点之间的几何距离，计算嘴巴张开程度、眼睛张开程度；
预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开第二阈值，结合学生情绪分类结果，判定注意力状态处于专注或者分心；
设置间隔时间采集面部图像，注意力状态判定为分心时反馈提示。
2.根据权利要求1所述的远程教育注意力检测方法，其特征在于，所述将面部特征进行框选，具体步骤为：
将采集到的面部图像采用Opencv中的haarcascade_l分类器和face_cascade.detectMultiScale()函数进行框选；
所述进行特征值匹配验证，具体步骤为：
采用Haar获得人脸特征值，与数据库中预先存入的特征值进行比较验证。
3.根据权利要求1所述的远程教育注意力检测方法，其特征在于，所述计算嘴巴张开程度、眼睛张开程度，具体步骤为：
所述标注人脸特征点采用Dlib训练好的模型进行特征点68点标定；
通过上、下嘴唇中点特征点的纵轴差值与脸部高度之比计算得到嘴巴的张开程度；
通过上、下眼睛重点特征点的纵轴差值与脸部高度之比计算得到眼睛的张开程度。
4.根据权利要求1所述的远程教育注意力检测方法，其特征在于，所述预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开程度第二阈值，判定注意力状态处于专注或者分心，具体步骤为：
若嘴巴张开程度小于嘴巴张开程度第二阈值，眼睛张开程度大于眼睛张开程度阈值，则判定注意力状态为专注；
若嘴巴张开程度大于嘴巴张开程度第二阈值，眼睛张开程度大于眼睛张开程度阈值，则判定注意力状态为惊讶专注；
若嘴巴张开程度小于嘴巴张开程度第一阈值，眼睛张开程度小于眼睛张开程度阈值，判断出现次数超过预设阈值，则判定注意力状态为分心打瞌睡；
若嘴巴张开程度大于嘴巴张开程度第二阈值，眼睛张开程度小于眼睛张开程度阈值，判断出现次数超过预设阈值，则判定注意力状态为分心打哈欠；
若嘴巴张开程度大于嘴巴张开程度第一阈值，小于嘴巴张开程度第二阈值，眼睛张开程度小于眼睛张开程度阈值，则判定注意力状态为平静。
5.根据权利要求1所述的远程教育注意力检测方法，其特征在于，所述注意力状态判定为分心时反馈提示，具体步骤为：
判定注意力状态为分心时，设置弹窗提示窗口，并执行成绩扣分操作。
6.一种远程教育注意力检测系统，其特征在于，包括：图像采集模块、实时人脸识别模块和注意力检测分类模块；
所述图像采集模块用于采集学习用户的面部图像；所述实时人脸识别模块用于对采集的面部图像进行图像预处理、人脸框选和人脸特征识别，注意力检测分类模块用于接收实时人脸识别模块数据，根据人脸特征值的几何距离进行注意力状态的检测和分类。
7.根据权利要求6所述的远程教育注意力检测系统，其特征在于，还设置有用户端，所述用户端设置有摄像头，所述用户端界面用于进行教学显示和注意力弹窗提醒。
8.根据权利要求7所述的远程教育注意力检测系统，其特征在于，所述用户端采用电脑、手机或者平板中的任意一种。
一种远程教育注意力检测方法及系统
技术领域
[0001]本申请涉及图像识别处理技术领域，具体涉及一种远程教育注意力检测方法及系统。
背景技术
[0002]远程教育是指使用电视及互联网等传播媒体的教学模式，打破时空界限，使老师远程授课，自己在家学习的一种教育形式。现代远程教育也称为网络教育，是现代信息技术应用于教育后产生的新概念。
[0003]远程教育的特点决定了远程教育以自学为主，现在的网络远程学习大多缺少学生评估模块，学生和教师、同学相互分离，也没有课堂的氛围，教师无法实时了解到学生状态，导致远程教育学习效果差、质量低，最后大部分学生的学习效果差强人意。
发明内容
[0004]为了克服现有技术存在的缺陷与不足，本发明提供一种远程教育注意力检测方法及系统，在传统远程教育管理系统的基础上增加了实时注意力检测，起到检测学生学习的注意力状态，辅助提高远程教育的学习效果，达到智能教学的目的。
[0005]为了达到上述目的，本发明采用以下技术方案：
[0006]本发明提供一种远程教育注意力检测方法，包括下述步骤；
[0007]采集面部图像；
[0008]对采集到的面部图像进行图像预处理，进行高斯滤波后将图像从RGB图像转换为灰度图；
[0009]框选面部特征，得到人脸的高度和宽度，通过人脸识别算法识别到人脸特征值，并与数据库中预先存入的特征值进行比较，进行特征值匹配验证；
[0010]构建人脸实时情绪分类系统，在设定的时间间隔内定时检测学生的情绪，并得出检测人脸与系统训练样本的相似度；
[0011]标注人脸特征点，根据特征点之间的几何距离，计算嘴巴张开程度、眼睛张开程度；
[0012]预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开第二阈值，结合学生情绪分类结果，判定注意力状态处于专注或者分心；
[0013]设置间隔时间采集面部图像，注意力状态判定为分心时反馈提示。
[0014]作为优选的技术方案，所述将面部特征进行框选，具体步骤为：
[0015]将采集到的面部图像采用Opencv中的haarcascade_l分类器和face_cascade.detectMultiScale()函数进行框选；
[0016]所述进行特征值匹配验证，具体步骤为：
[0017]采用Haar获得人脸特征值，与数据库中预先存入的特征值进行比较验证。[0018]作为优选的技术方案，所述计算嘴巴张开程度、眼睛张开程度，具体步骤为：
[0019]所述标注人脸特征点采用Dlib训练好的模型进行特征点68点标定；
[0020]通过上、下嘴唇中点特征点的纵轴差值与脸部高度之比计算得到嘴巴的张开程度；
[0021]通过上、下眼睛重点特征点的纵轴差值与脸部高度之比计算得到眼睛的张开程度。
[0022]作为优选的技术方案，所述预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开程度第二阈值，判定注意力状态处于专注或者分心，具体步骤为：
[0023]若嘴巴张开程度小于嘴巴张开程度第二阈值，眼睛张开程度大于眼睛张开程度阈值，则判定注意力状态为专注；
[0024]若嘴巴张开程度大于嘴巴张开程度第二阈值，眼睛张开程度大于眼睛张开程度阈值，则判定注意力状态为惊讶专注；
[0025]若嘴巴张开程度小于嘴巴张开程度第一阈值，眼睛张开程度小于眼睛张开程度阈值，判断出现次数超过预设阈值，则判定注意力状态为分心打瞌睡；
[0026]若嘴巴张开程度大于嘴巴张开程度第二阈值，眼睛张开程度小于眼睛张开程度阈值，判断出现次数超过预设阈值，则判定注意力状态为分心打哈欠；
[0027]若嘴巴张开程度大于嘴巴张开程度第一阈值，小于嘴巴张开程度第二阈值，眼睛张开程度小于眼睛张开程度阈值，则判定注意力状态为平静。
[0028]作为优选的技术方案，所述注意力状态判定为分心时反馈提示，具体步骤为：[0029]判定注意力状态为分心时，设置弹窗提示窗口，并执行成绩扣分操作。
[0030]本发明还提供一种远程教育注意力检测系统，包括：图像采集模块、实时人脸识别模块和注意力检测分类模块；
[0031]所述图像采集模块用于采集学习用户的面部图像；所述实时人脸识别模块用于对采集的面部图像进行图像预处理、人脸框选和人脸特征识别，注意力检测分类模块用于接收实时人脸识别模块数据，根据人脸特征值的几何距离进行注意力状态的检测和分类。[0032]作为优选的技术方案，还设置有用户端，所述用户端设置有摄像头，所述用户端界面用于进行教学显示和注意力弹窗提醒。
[0033]作为优选的技术方案，所述用户端采用电脑、手机或者平板中的任意一种。[0034]本发明与现有技术相比，具有如下优点和有益效果：
[0035](1)本发明在传统远程教育管理系统的基础上增加了实时注意力检测模块，起到检测学生学习的注意力状态，督促学生认真完成课程内容，辅助提高远程教育的学习效果，达到智能教学的目的。
[0036](2)本发明不需要额外添置任何摄像头等硬件设备，只需要多媒体设备本身的摄像头开启，就可以进行检测，结构简单，检测方便快捷。
附图说明
[0037]图1为本实施例远程教育注意力检测方法的步骤流程图；
[0038]图2为本实施例专注度分组二维示意图；
[0039]图3为本实施例学习结束后学习趋势示意图；
[0040]图4为本实施例远程教育注意力检测方法的人脸特征点标定示意图；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议