用于智慧教育的情感状态分析方法及装置与流程

1.本发明涉及物联网领域，尤其涉及一种用于智慧教育的情感状态分析方法及装置。

背景技术：

2.智慧教育是近些年的研究热点，在全球范围内吸引了巨大的学术研究和产业投资。智慧教育是指利用现代信息技术促进教育管理、教育教学、教育研究等教育改革与发展的过程。智慧教育中一个重要的研究方向是未来课堂，它研究智能学习环境的构建，计算学习过程中的情绪状态变化，并提供及时的教学反馈，而未来课堂的部署与包括物联网、人工智能在内的最先进的通信和计算机技术高度相关。然而，未来课堂的主要缺点是它缺乏成熟的“万物互联”(ioe)实现，无法在教学过程中与所有相关参与者(教职工和学生)进行积极互动。在实践中，未来课堂应该能够感知参与者的情绪特征(快乐、紧张等)，然后控制相关设备来贴合参与者的心理需求，比如在学生情绪紧张的情况下播放平滑的音乐。
3.为解决以上问题，科研人员利用一些人工智能方法(如卷积神经网络cnn等)推断和解释人们的情绪状态，然而，人工智能辅助的情感计算涉及巨大的计算成本并通常集中式运行。当情感计算算法在云端运行时，它将涉及密集的数据通信，并使得未来课堂很难实现物联网应用的实时性和高性能。同时，一旦系统部署在未来课堂上，它缺乏物联网应用支持不同情感计算任务的灵活性。降低时延、降低成本、灵活部署，对智慧教育中未来课堂的实现至关重要。

技术实现要素：

4.本发明的目的就在于为了解决上述问题设计了一种用于智慧教育的情感状态分析方法及装置。
5.本发明通过以下技术方案来实现上述目的：
6.用于智慧教育的情感状态分析方法，包括：
7.s1、设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端；
8.s2、边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否则进入s3，反之进入s4；
9.s3、云端服务器获取设备信息并分析该设备信息的服务类型，将该设备信息的服务类型发送至边缘端，边缘端缓存该服务类型，并进入s4；
10.s4、边缘端分析情感信息确定情感分析结果，并发送至设备端；
11.s5、设备端根据情感分析结果做出响应。
12.用于智慧教育的情感状态分析装置，应用于上述的用于智慧教育的情感状态分析方法，包括：
13.设备端；设备端用于采集情感信息，并根据边缘端的情感分析结果做出响应；
14.边缘端；边缘端用于分析情感信息；
15.云端服务器；云端服务器用于分析该设备信息的服务类型；边缘端分别与设备端和远端服务器通讯连接。
16.本发明的有益效果在于：设计基于微服务及边缘计算的“云端服务器-边缘端-设备端”框架，实现相比于传统教育更能实时反馈情感状态的智慧教育。通过“云端服务器-边缘端”协同实现服务缓存机制，使得教育场景服务种类更加多样化；通过“边缘端-设备端”协同使得计算与传输产生更低时延，进而情感状态可以实时反馈与策略部署；通过“云端服务器-边缘端-设备端”的微服务架构，降低计算与通信负载，节省能耗并降低实现成本。
附图说明
17.图1是本发明用于智慧教育的情感状态分析方法的流程图；
18.图2是本发明用于智慧教育的情感状态分析装置的架构图；
19.图3是本发明中卷积神经网络模型的结构示意图。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
21.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
23.在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
24.此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
25.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
26.下面结合附图，对本发明的具体实施方式进行详细说明。
27.如图1、图2所示，用于智慧教育的情感状态分析方法，包括：
28.s1、设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端。
29.s2、边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否则进入s3，反之进入s4。
30.s3、云端服务器获取设备信息并分析该设备信息的服务类型，将该设备信息的服务类型发送至边缘端，边缘端缓存该服务类型，并进入s4。
31.s4、边缘端分析情感信息确定情感分析结果，并发送至设备端；具体包括：
32.s41、提取情感信息的颜信息的rgb值；
33.s42、对rgb值进行处理得到情感信息的特征数值；
34.a、将rgb值转化为hsb值，表示为其中，r为红值，g为绿值，b为蓝值，h为相，s为饱和度，b为亮度值；
35.b、对h、s和b值进行加权求和得到特征数值l，表示为l＝2*h+s+b；
36.s43、卷积神经网络模型对rgb值和特征数值进行处理分类获得情感分析结果。
37.s5、设备端根据情感分析结果做出响应；
38.s44、边缘端将情感分析结果发送至设备端。
39.如图3所示，卷积神经网络模型从输入到输出依次包括输入层、卷积层、激活层、池化层、卷积层、激活层、池化层、卷积层、激活层、舍弃层、压平层、全连接层、激活层、舍弃层、全连接层、分类层和输出层，卷积层卷积核心数量为32，尺寸为13*13，压平层后的全连接层具有128个神经元。
40.用于智慧教育的情感状态分析装置，应用于上述的用于智慧教育的情感状态分析方法，包括：
41.设备端；设备端用于采集情感信息，并根据边缘端的情感分析结果做出响应；
42.边缘端；边缘端用于分析情感信息；
43.云端服务器；云端服务器用于分析该设备信息的服务类型；边缘端分别与设备端和远端服务器通讯连接。
44.设备端包括采集设备和响应设备，采集设备的数据信号输出端与边缘端的数据信号输入端连接，响应设备的控制信号输入端与边缘端的控制信号输出端连接。
45.在智慧教育场所的采集位置部署情感信息传感器节点，智慧教育场所边缘位置部署微服务客户端及边缘服务器。云端服务器为具有微服务管理功能(如kubeedge)的服务器构成；设备端的采集设备由具有无线通信能力(如zigbee和wi-fi等)的摄像头、传感器等信息采集设备构成，边缘端由具有计算和存储能力的处理器(如树莓派等)构成，边缘端的计算模块可以执行数据处理算法，如与所获得的数据相关的情感图像分析、数据清洗等，边缘端通信和计算模块均为基于设备端采用的计算任务和数据设定的自定义模块，边缘端系统组件包括内部通信模块、模块管理组件、路由管理模块和外部通信模块以管理自定义模块。
其中，模块管理组件实现内部微服务运行的自定义组件的生命周期管理以及模块认证，路由管理模块通过所有自定义组件实现路由信息的管理、添加、删除、修改和查询，内部通信模块为所有自定义组件提供应用程序接口。此外，emqx工具作为mqtt代理，用于桥接系统和自定义组件内的连接。
46.s1、设备端的采集设备采集信息，通过无线信息传输(如经由zigbee网关或wi-fi直连等)传输至边缘端，边缘端自定义组件中的通信模块接收信息并进行存储。
47.s2、边缘端通信模块收到信息后，上传已接收指令至边缘端的mqtt组件(如emqx)，mqtt组件将指令传输至系统组件，等待接收边缘端的系统组件下一步控制指令；边缘端系统组件接收到指令，调用其内的模块管理组件查看当前设备信息的服务类型是否为已缓存的服务类型，若否则进入s3，反之进入s4。
48.s3、边缘端调用内部通信模块、外部通信模块、路由管理模块以及模块管理组件，与云端服务器通信，获取设备信息对应的服务类型并缓存至本地，然后进入s4；
49.s4、边缘端分析情感信息确定情感分析结果，并发送至设备端；具体包括：
50.s41、提取情感信息的颜信息的rgb值；
51.s42、对rgb值进行处理得到情感信息的特征数值；
52.a、将rgb值转化为hsb值，表示为其中，r为红值，g为绿值，b为蓝值，h为相，s为饱和度，b为亮度值；
53.b、对h、s和b值进行加权求和得到特征数值l，表示为l＝2*h+s+b，l为一维矩阵，表情图片中所有像素点的颜特征值在l中均处于[0，15]的区间内；
[0054]
s43、卷积神经网络模型对rgb值和特征数值进行处理分类获得情感分析结果；
[0055]
s44、边缘端计算模块结束计算任务，将情感分析结果及设备策略经由通信模块上传指令至mqtt组件，同时等待系统组件下发控制指令，边缘端系统组件调用内部通信模块、外部通信模块，接收情感分析结果与设备策略，下发控制指令至mqtt组件，经由边缘端通信模块，将设备策略下传至设备端。
[0056]
s5、设备端根据情感分析结果与设备策略做出响应。
[0057]
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

技术特征：

1.用于智慧教育的情感状态分析方法，其特征在于，包括：s1、设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端；s2、边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否则进入s3，反之进入s4；s3、云端服务器获取设备信息并分析该设备信息的服务类型，将该设备信息的服务类型发送至边缘端，边缘端缓存该服务类型，并进入s4；s4、边缘端分析情感信息确定情感分析结果，并发送至设备端；s5、设备端根据情感分析结果做出响应。2.根据权利要求1所述的用于智慧教育的情感状态分析方法，其特征在于，在s4中包括：s41、提取情感信息的颜信息的rgb值；s42、对rgb值进行处理得到情感信息的特征数值；s43、卷积神经网络模型对rgb值和特征数值进行处理分类获得情感分析结果；s44、边缘端将情感分析结果发送至设备端。3.根据权利要求2所述的用于智慧教育的情感状态分析方法，其特征在于，在s42中包括：a、将rgb值转化为hsb值，表示为a、将rgb值转化为hsb值，表示为b＝max，其中，r为红值，g为绿值，b为蓝值，h为相，s为饱和度，b为亮度值；b、对h、s和b值进行加权求和得到特征数值l，表示为l＝2*h+s+b。4.根据权利要求2所述的用于智慧教育的情感状态分析方法，其特征在于，在s43中，卷积神经网络模型从输入到输出依次包括输入层、卷积层、激活层、池化层、卷积层、激活层、池化层、卷积层、激活层、舍弃层、压平层、全连接层、激活层、舍弃层、全连接层、分类层和输出层，卷积层卷积核心数量为32，尺寸为13*13，压平层后的全连接层具有128个神经元。5.用于智慧教育的情感状态分析装置，应用于权利要求1-4任一项所述的用于智慧教育的情感状态分析方法，其特征在于，包括：设备端；设备端用于采集情感信息，并根据边缘端的情感分析结果做出响应；边缘端；边缘端用于分析情感信息；云端服务器；云端服务器用于分析该设备信息的服务类型；边缘端分别与设备端和远端服务器通讯连接。6.根据权利要求5所述的用于智慧教育的情感状态分析装置，其特征在于，设备端包括采集设备和响应设备，采集设备的数据信号输出端与边缘端的数据信号输入端连接，响应
设备的控制信号输入端与边缘端的控制信号输出端连接。7.根据权利要求5所述的用于智慧教育的情感状态分析装置，其特征在于，边缘端包括微服务客户端和边缘服务器。

技术总结

本发明公开了用于智慧教育的情感状态分析方法及装置，涉及物联网领域，方法包括S1设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端；S2边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否进S3，反之进S4；S3云端服务器分析该设备信息的服务类型，并发送至边缘端，边缘端缓存该服务类型，进S4；S4边缘端确定情感分析结果，发送至设备端；S5设备端做出响应；通过“云端服务器-边缘端”协同实现服务缓存机制，使教育场景服务种类多样化；通过“边缘端-设备端”协同使计算与传输产生更低时延，可以实时反馈与策略部署；通过“云端服务器-边缘端-设备端”的微服务架构，降低计算与通信负载，节省能耗并降低实现成本。节省能耗并降低实现成本。节省能耗并降低实现成本。