卓然1 高飞2 牟远明1 杨初华1
1.浙江特殊教育职业学院基础教学部
2.浙江工业大学计算机科学与技术学院
● 引言
近年来，随着国家对特殊教育的重视，残疾人教育公平得到了社会各界人士的关注。教育部等七部门印发的《第二期特殊教育提升计划（2017—2020年）》的总体要求为：到2020年，各级各类特殊教育普及水平全面提高，残疾儿童少年义务教育入学率达到95%以上，非义务教育阶段特殊教育规模显著扩大。
在课堂教学中，要保证正常的课堂秩序，课堂考勤是不可缺少的关键一环。在各类残疾障碍学生当中，视力障碍学生和听力障碍学生的课堂考勤存在的困难比较突出。其中，视力障碍学生在考勤时因为自身视力障碍，不能查看输出设备上的电子考勤表单，通常采用人工
大声宣读被考勤人的名单来进行
单独考勤；而听力障碍学生在考勤
www.3x6c时，因自身听力障碍，不能采用听读
方式进行考勤，通常通过手语结合
投影仪投放考勤表单进行考勤。但
这些考勤方式都存在局限性，常常
出现被考勤人注意力不集中而错过
考勤的情况，严重影响了课堂考勤
的效率。为此，采用人脸识别技术
进行无感知考勤成为特殊教育领
域课堂教学的研究热点之一。
随着信息技术的发展，人脸识
别技术在各个领域中的应用日渐深
入，很多学者开始探讨该技术在课
堂管理和课堂考勤方面的应用。文
气门绞刀献[6]中，官瑞坤等以人脸识别技术
为基础，以Face++为云平台设计
了Android智能考勤系统，系统简
单易用，但仅支持Android系统；文
献[7]中，金维香等通过OpenCV与
Python语言相结合，基于人脸识别
技术设计的课堂考勤系统，提高课
堂考勤效率；文献[8]中，牛作东等基
于计算机视觉技术，根据MVC架
构搭建系统整体结构，设计了基于
深度学习的计算机视觉模型进行
现实时考勤功能；文献[9]中，朱靖
娴等利用人脸识别技术实现了基于
Java的在线考勤系统，存在着一定
的考勤错误率；文献[10]中，叶璠等
基于MTCNN人脸检测技术，利用
VGG19神经网络提取出的特征训
摘要：本文基于人脸识别技术，采用人脸识别结合人脸特征匹配的方法，并根据视听障碍学生的特点，对视听残障课堂考勤系统进行探索与设计，设计开发了一款视听残障学生的无感知课堂考勤系统并对存在的问题进行了阐述。
关键词：人脸识别；残障学生教学；无感知考勤
中图分类号：TP183 文献标识码：A 论文编号：1674-2117（2021）07-0101-04
练SVM模型，确保识别的可靠性。
上述的考勤方法，有各自的优势和不足，但是应用到视听残障学生的考勤有较大的困难。本文基于人脸识别技术，采用的是虹软sdk 和c#语言，并根据视听障碍学生的特点，对视听障课堂考勤系统进行探索与设计。
● 系统设计
基于人脸识别的视听残障学生教学课堂考勤系统功能可描述为：通过人脸注册模块对各类残障学生进行人脸注册以建立人脸库；通过人脸识别模块判断学生的简单信息并存储；通过图像识别模块，进行图片检测，可识别图片的年龄、性别等信息，提取人脸特征并添加标记；通过视频检测模块控制摄像头采集课堂图像，检测人脸并与人脸库进行比对，实现人脸无感知考勤；通过数据库模块，存储人脸
特征信息，经过识别与比对过程后，记录学生考勤的信息。本系统开发成本低，搭设简单，兼容市面上各类摄像头；支持离线服务，可在无网络环境下使用，本地化部署，保证数据的安全；可在正常光线与合适的角度下进行人脸查和人脸检测，能有效判断学生的性别和年龄等信息；能进行RGB活体检测和IR活体检测，防止照片考勤。系统界面如图1所示。
钢结构安装● 系统主要功能的实现
1.人脸注册模块
人脸注册模块最重要的功能是对人脸库图片进行人脸检测和
提取人脸特征，最后把相关数据保
存到数据库模块。该模块需预先导
入人脸库图片，可手动选择图片的
路径，模块预设图片的常见格式进
行图片的选择，可以同时导入多个
图片，导入的同时对图片格式的适
用性进行检查。人脸检测之前，需
要对图片进行检查和处理，对过大
的图片进行剪裁，处理后得到的图废酸回收
片宽度也有相应的要求，以便于后
续的人脸检测操作。
人脸检测操作通过虹软
FaceUtil模块中的DetectFace函
数进行检测，通过循环语句判断
每一张图片的检测结果，将检测
的图片信息存入图片暂存列表中。
人脸检测使用的语句为：ASF_
MultiFaceInfo multiFaceInfo
=F a c e U t i l.D e t e c t F a c e
（pImageEngine, image）。通
过如下语句将人脸特征结构体
的指针转换为人脸特征结构：
MRECT rect = MemoryUtil.
P t rTo S t r u c t u r e<M R ECT>
（multiFaceInfo.faceRects）。
提取人脸特征操作需从图片
暂存列表中读取图片，使用虹软模
块中的ExtractFeature函数进行
图片中人脸特征的提取，若提取成
功，则将人脸特征值存入人脸特征
列表。提取人脸特征使用的语句
为：IntPtr feature = FaceUtil.
ExtractFeature（pImageEngine,
image, out singleFaceInfo）。
2.图像识别模块
图像识别模块的主要功能是
检测图像是否可用，通过虹软模块
进行人脸检测，并进行年龄检测、
性别检测和3DAngle检测，检测结
束后提取人脸特征，并用矩形框对
人脸进行标记并显示。图像具体要
求为不超过2MB，图像地址有效，
图像宽度为4的倍数，若图像尺寸
过大可以进行裁剪处理。各种检测
均使用的是虹软FaceUtil模块中的
检测函数，如性别检测使用的语句
为：ASF_GenderInfo
genderInfo
图1 考勤系统界面
= FaceUtil.GenderEstimation （pImageEngine, imageInfo, multiFaceInfo, out retCode_ G e n d e r）。检测完毕将人脸进行标记的语句为：srcImage = ImageUtil.MarkRectAndString （srcImage, （int）（temp.left * scaleRate）, （int）（p * scaleRate）, （int）（temp.right * scaleRate） - （int）（temp.left * scaleRate）, （int）（temp.bottom * scaleRate） - （int）（temp. top * scaleRate）, ageTemp, genderTemp, picImageCompare. Width）。
3.视频检测模块
视频检测模块按照功能来分可以分为以下三个部分：初始化检测、RGB摄像头事件和RGB-IR摄像头事件。该模块能实现自动检测摄像头并获取图像，检测图像中的人脸并标注矩形框，进行对应的活体检测并将信息传到数据库。具体如图2所示。
模块中，初始化检测主要检测
的是摄像头的数量和类型，以确保
程序的正常运行。当程序检测到视
频检测按钮被点击时，开始初始化
检测，以防出现点击视频检测按钮
之前将摄像头拔掉的情况。若未检
测到摄像头，则返回相应的提示并
返回。若摄像头已经开启，则关闭摄
像头以防占用，并将阈值控件、各个
按钮以及各类参数重置。若检测到
RGB-IR摄像头，则进行RGB-IR
摄像头加载，双摄标志调为True；
若检测到RGB摄像头，则加载对应
的摄像头。
若检测到的是RGB摄像头，
则启动RGB摄像头事件。首先确保
RGB摄像头正常运作，得到当前摄
像头下的图片，获得格式为Bitmap,
检测人脸，对人脸进行画框，将上
施万细胞红蓝图
一帧检测结果显示到程序页面上。
检测过程保证只检测一帧，可防止
页面卡顿以及出现其他内存被占
用的情况。通过排入线程池来进行
异步处理提取特征值和比对，以防
止程序卡顿。先将位图格式调整为
ImageInfo类，然后进行RGB活体
检测，并提取比对结果，将结果显
示在页面上。
若检测到的是RGB-IR摄像
头，且摄像头正常工作，则获取IR
摄像头的图片。具体流程与RGB摄
像头的流程基本一致，在检测人脸
框时，可检测判断RGB图片的人脸
框与IR摄像头检测的人脸库偏移
量是否在误差允许范围内，增加检
测的准确率。最后进行的是IR活体
检测，并将结果显示在页面上。
其中的RGB活体检测语句如
下：ASF_LivenessInfo liveInfo
= FaceUtil.LivenessInfo_RGB
（pVide oRGBImageEn g i ne,
i mageIn fo, mu ltiFac eIn fo,
out retCode_Livene s s）。IR
活体检测的语句如下：A S F_
L i v e n e s s I n f o l i v e I n f o=
Fa c eUt i l.L iv e n e s s I n fo_I R
（pV i d e o I R I m a g e E n g i n e,
irImageInfo, irMultiFaceInfo,
out retCode_Liveness）。
4.数据库模块
数据库模块的主要功能是保
存人脸特征信息，便于与实时视频
中的人脸特征信息进行比对，且相
似度大于阈值的视为比对成功。比
对成功的学生信息保存入考勤数据
库，记作考勤成功，系统根据课程
表事先会设置好时间和日期，本次
考勤的结果会自动计入数据库的下
一项，以节省考勤的时间。
图2 视频检测流程
● 存在的问题
本系统在设计时，考虑过视听障碍学生应用脸部识别的有效性，因为人脸识别技术不同于虹膜识别技术，它是将脸部特征转换为一组矢量数据，然后通过对该数据比对来确定学生的考勤情况。虽然在实际测试中能顺利实现对视听障碍学生的脸部识别，但因为视听障碍课堂的特殊性，在实际测试时也出现了一些的问题。
1.视力障碍学生戴墨镜的问题
在实际课堂教学过程中，有部分视力障碍学生会佩戴墨镜，究其原因是视力障碍学生佩戴墨镜能创造无光的学习环境。但是如果佩戴墨镜，会覆盖眼睛附近的特征点，造成识别度很低。在实际课堂教学中若要克服这个问题，可以与学生预先协商一个时间段，
在此时间段中摘掉眼镜，等考勤完
成后再戴上。
2.视力障碍学生人脸朝向问题
在教学过程中，因为视力障碍
学生主要通过听觉来学习，所以听
课时学生脸部朝向是随机的。因
此，脸部朝向问题造成的系统无法
考勤的问题也是存在的。目前解决
问题的方法，一是延长考勤的时间，
等待学生脸部朝向变换以实现识
别考勤，二是提醒学生保持良好的
坐姿。
3.学生隐私保护问题
视听障碍学生对个人隐私十分
重视，对于人脸识别这一新兴技术
和考勤系统容易出现理解偏差，教
师必须做好解释工作。在实行人脸
识别考勤之前，要先征求学生的意
见，解释考勤系统运作的原理，并
强调该系统只产生考勤数据，不录
像并且不涉及学生的个人隐私，取
得学生理解后方可执行后续操作。
● 结束语
人脸识别技术在视力障碍课
堂的应用研究刚刚起步，研究表明，
基于人脸识别技术的考勤系统能满
足大部分视听障碍学生的考勤需
求，能有效提高视听障碍课堂的考
勤效率，相较于其他考勤方式有很
大的优势。但是，因为视听障碍学生
本身的特殊性，该系统还有一些问
题有待改善。对于这些问题，将在
后续的研究中深入探索。
木工艺品制作参考文献：
[1]教育部等七部门.第二期特殊教育提升计划（2017-2020年）[Z].2017-07-18.
[2]王伯槐.基于人脸识别的高校考勤系统的设计[J].物联网技术，2017(10):62-63．
[3]陈明逊.人脸识别学生管理系统的设计[J].电子世界，2018(20):206．
[4]杜雅林.基于Emgu_CV的人脸识别[J].福建电脑，2015(04):24-25.
[5]刘瑞歌.基于EmguCV的人脸考勤系统的设计与实现[J].滨州学院学报，2019(04):65-69.
[6]官瑞坤.基于Face++的“刷脸”课堂考勤系统[J].信息系统工程，2017(03):99-10.
[7]金维香.基于OpenCV的人脸识别课堂考勤系统[J].浙江水利水电学院学报，2019(6):58-62.
[8]牛作东.基于计算机视觉的课堂实时考勤系统设计[J].电子测试，2020(4):60-62.
[9]朱靖娴.基于人脸识别的考勤系统设计与实现[J].无线互联科技，2019(3):61-63.
[10]叶璠.基于人脸识别的课堂考勤系统研究与实现[D].西安：陕西师范大学，2019.
基金项目：浙江省教育厅高等学校访问学者教师专业发展项目（批准号：fx2019122）。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议