应用表情识别与视线跟踪的智能教学系统研究

学习者的面部表情是教师获得教学反馈信息的重要来源之一。表情识别利用计算机识别人脸表情,了解人的心理状态;视线跟踪则根据眼睛的特征和位置来判别注视的区域。二者的结合可以较好地弥补远程学习者对学习内容的表情反馈信息缺失方面的不足。但国内尚未查到将表情识别与视线跟踪相结合作为表情反馈信息收集方法的公开文献。为此,文中提出基于表情识别和视线跟踪技术的智能教学系统结构模型;构建学习相关表情库的方案;并设计表情识别与视线跟踪相结合获取反馈信息的技术框架。     

BNU学习情感数据库的设计与实现

表情图像是基于表情识别技术分析学习情感的基础,然而现有表情库样本数量有限、表情图像中仅包含单人表情、拍摄场景为实验室环境,这些局限性无法支持学习情感分析的深入研究。为了解决这些问题,文章搭建了北京师范大学学习情感数据库(Beijing Normal University Learning Affect Database,BNU LAD),同时对情感数据的标注方法进行了深入研究,最终形成了包含144位学习者的22708张表情图像、1792组图像序列及243段视频片段的学习情感数据库。该数据库对学习环境下的学习情感分析具有重要意义。     

基于情感计算和Web3D技术的虚拟学习环境实现的关键技术研究

采用情感计算和Web3D技术创建具有交互性、沉浸感的虚拟学习环境,能够更好地发挥网络远程教育的优势,能有效地提高学习者的网络在线学习效果。本文在简要介绍虚拟学习环境的结构特性的基础上,分析了其实现过程中所涉及的主要技术,包括情感计算技术中的人脸表情识别以及Web3D技术中的VRML建模语言,并进一步探讨了实现的具体方法。     

在线学习系统中情感识别模块的设计与实现

针对目前在线学习中存在的“情感缺失”现象,该文结合建构主义、后现代主义教育理论的思想,提出一种具有情感状态评价和教学流程再造功能的在线学习系统模型.本原型系统利用表情识别和疲劳状态检测等技术设计并实现了情感识别模块,该模块注重教学过程中学习者的情绪情感,较好的实现了情感状态评价功能,增强了在线学习环境中的情感互动,为在线学习系统动态地进行教学流程再造提供了技术支撑.     

基于AIoT技术的智慧教室应用研究

人工智能物联网（AIoT）作为新的物联网应用形态在越来越多的领域得到应用。教室作为学生的重要学习场所，其环境影响着学生的学习效率。为了更好地掌握学生学习状态，运用人工智能、物联网等技术，给出了一种基于AIoT技术的智慧教室监控平台。平台可以实现对教室环境的监测，同时基于YOLOv5目标检测算法实现学生面部表情识别，结合教室环境和学生面部表情数据，辅助诊断学生学习状态。平台测试效果良好，可在一定程度上减轻教师工作强度，提高工作效率，并为建设智慧教室提供一定的思路。     

基于智能Agent的远程学习者情感与认知识别模型——眼动追踪与表情识别技术支持下的耦合

情感与认知状态的准确识别是实现远程学习者与教学Agent有效互动的基础。只有有效识别出学习者的情感与认知状态,教学Agent在改变学习者行为态度、帮助学习者获取和理解知识、支持学习者认知发展方面才能取得预期的效果。现有的教学Agent普遍存在两方面问题:一是缺乏情感交互性,容易使远程学习者产生厌倦情绪;二是认知推断功能薄弱,对学习效果的促进作用不稳定。这主要是由于Agent对学习者状态的识别不够充分造成的。已有的学习者状态识别方法虽然在学习者情绪状态的识别方面各有优势,但却无法同时检测学习者的视域、学习情绪与认知状态。学习者的眼动追踪数据是判断学习者实时状态的重要指标,也是学习者与Agent进行情感交互的重要依据。结合表情识别和眼动追踪技术构建的基于智能Agent的远程学习者情感与认知识别模型,将眼动追踪与表情监控迭代识别、情感与认知识别过程相耦合,以提高远程学习者状态的识别准确率,改进Agent对学习者的情感和认知支持,为智能教学Agent与远程学习者交互机制的研究提供新的思路和方法。     

基于稀疏表示的人脸表情识别算法研究

针对基于局部纹理特征的人脸表情识别算法不能有效表达不同表情状态下人脸运动单元差异性的问题,提出一种改进的稀疏表示人脸表情识别算法,将人脸纹理特征与全局位置特征用稀疏表示模型相结合,得到人脸表情的稀疏系数矩阵,并作为支持向量机表情识别的输入。人脸表情库BU_3DFE实验结果表明,该算法提高了表情识别的准确率。     

人脸检测和表情识别在课堂教学评价中的应用

传统的课堂教学评价往往效率低下,并带有较强的主观性。针对传统课堂评价中存在的不足,结合深度学习技术,在CNN模型基础上建立起适合课堂场景的人脸检测和表情识别模型,得到比较准确的人脸特征,接着使用朴素贝叶斯分类器对得到的人脸特征进行分类和评价,然后研究面部特征与课堂质量之间的关系,最后建立起基于人脸检测和表情识别的课堂评价规则。实验数据表明,本研究可以作为课堂教学评价的重要参考指标。     

支撑向量机在人脸表情识别中的应用

人脸表情是人类交流的一种重要的沟通方式,面部表情的识别有着广泛的应用领域,主要包括了人脸检测、表情特征提取和表情分类这3个关键环节。介绍了支撑向量机的基本原理,认为因其强大的分类能力,已被成功应用到人脸检测、人脸的姿态估计、人脸识别和语音情感识别中,且实验表明在表情识别方面亦能取得较高的识别率。     

基于图像分析的教育视觉情感识别

情感识别是情感计算的基础,为了促进视觉情感识别技术与教育的深度融合,文章定义了教育视觉情感识别的概念,随后从技术视角分析了面部表情识别和肢体动作识别的三方面内容,即特征提取方法、分类器算法和常用数据库。此外,文章构建了双模态教育视觉情感识别模型,以解决单一模态的情感特征不能充分表达学习者学习情感信息的问题。期望这种更全面的模型,能为未来教育领域学习者情感识别研究提供参考。     

智慧学习环境下学习画面情感的自适应调整

为了在智慧学习环境下实现自适应情感交互,文章首先构建了基于学习者情感的学习画面情感自适应调整模型,并依托此模型开发了原型系统。随后,文章以济南市X中学的98名学生为研究对象,采用准实验研究法,通过学习者情感所占比例分析和问卷数据统计分析,验证了文章提出的假设成立,即智慧学习环境下学习画面情感自适应调整能够提高学习过程中学习者积极情感所占的比例,并能激发学习者的学习兴趣。在智慧学习环境下自适应调整学习画面情感,为解决智慧学习环境情感层面的自适应交互问题提供了新的思路与方法。     

基于多模态数据融合的大学生在线学习情感分析模型

为研究大学生“情感缺失”问题,了解大学生在线学习时的情感状态,帮助教师智能化教学和学生个性化学习,文章融合大学生在线学习平台的课程评论、学习时的面部表情和姿态动作,运用深度学习方法,构建基于上下文增强的Bi-LSTMFN情感分析模型。模型包括4个部分,即上下文特征表示、跨模态信息交互、多模态信息融合和情感识别。该模型可以识别大学生在线学习时的情感状态,帮助教师改进教学策略,提高教师教学效果和学生自主学习能力。     

浅谈如何运用面部表情来激发幼儿的情感认识

本文基于幼师视角,探讨了幼师如何运用面部表情来激发幼儿的情感认识。文章剖析了情感体验与幼儿成长的关联,并全面论述了幼师面部表情在幼教中的应用策略。     

社交学习网络中基于学习认知的情感交互研究

在分析社交学习网络特点的基础上,文章探讨了情感识别与学习者学习状态之间的关系;通过将学习者脸部表情、眼动、人体姿态与情感图文等多模情感作为识别的指标,并结合学习者的学习认知状态和学习行为,构建了社交学习网络情感交互模型。该模型可以促进学习者的认知发展,支持大规模的远程学习;也可以对社交学习网络进行更好的监督与指导,为该网络在学习上的应用提供新思路与新方法。     

人脸表情识别研究的新进展

人脸表情识别是当前计算机视觉、模式识别、人工智能等领域的热点研究课题。它是智能人机交互技术中的一个重要组成部分,近年来得到广泛的关注,不同领域的研究者提出了许多新方法。本文综述了国内外近年来人脸表情识别技术的最新发展状况,对人脸表情识别系统所涉及到的关键技术:人脸表情特征提取和人脸表情分类,分别做了详细分析和归纳。最后,总结了人脸表情识别的研究现状,并指出了其未来的发展方向。     

情感与教学效果

教学效果影响着教学质量,判断课堂教学效果的方法也有很多。本文重点研究了教学效果与情感的关系,说明可以通过观察师生的表情对教师教学效果进行评价,为实现基于情感识别技术的教学评价系统提供了理论基础。     

基于情感识别的自适应多Agent虚拟ICAI系统的研究

传统的虚拟智能计算机辅助教学系统(ICAI)未考虑学习者在学习过程中的情感和教学过程中的交互。针对这个问题,提出一种基于情感识别的自适应多Agent虚拟ICAI系统,并给出了其模型框架图,用多Agent技术实现各模块的主要功能,结合微表情识别技术和适应性教学理论,提出识别学习者的微表情来诊断情感状态,并对学习者的情感状态做出适应性的反应,从而实现辅助虚拟教学中的情感交流和自动交互。     

面向学习体验文本的学习者情感分析模型研究

情感是影响学习者认知和行为的关键性非智力因素。准确分析、识别学习者的情感状态,对教育的个性化、智能化发展尤为重要,它是情感计算的重要内容,已经成为人工智能和教育领域的交叉研究热点。学习体验文本是学习者情感分析的主要数据来源。面向学习体验文本,是在完善基础词典和情感词典的基础上,提出一种融合情感词典和机器学习的学习者情感分析模型,能够实现对段落级/篇章级学习体验文本的多级情感分类,从而挖掘学习者内隐的情绪状态。为了检验模型的有效性,采用宏平均指标全面评估情感分析模型的整体分类性能。研究结果表明:选择情感词特征和句子构成特征、采用SVM分类器时,该模型能够准确识别学习体验文本中的学习者情感;模型不仅为学习者多级情感分析提供新的研究思路,而且也为深入挖掘学习行为、改善在线教育的学情分析等,提供了技术支撑。这一研究结果,有助于进一步把握模型的应用前景、面临的问题和挑战等,并提出了相关建议。     

传统机器学习与深度学习的表情识别综述

面部表情识别是计算机视觉热门领域。表情识别技术使得计算机能够理解人类的情绪,具有广阔应用前景。针对基于传统机器学习和深度学习的表情识别方法进行研究,首先归纳表情识别领域常用的公开数据集;然后从传统的机器学习和深度学习角度介绍表情识别基本流程与常见方法;最后指出表情识别领域存在的问题,并对未来可能的发展方向进行了总结。     

端到端增强卷积网络的视频人脸表情识别研究

视频人脸表情识别在无人驾驶、智慧医疗等多领域都有广泛应用.针对视频单帧特征提取存在信息损失的问题,提出单帧增强卷积网络,该网络采用浅层特征与深层特征融合实现特征增强,其中浅层特征为CNN中间层外延卷积模块实现浅层特征提取,深层特征为CNN网络最后一层融合空洞卷积和基于通道间注意力机制,实现特征通道重定位和强弱信息结合....