基于系统性文献综述的多模态学习分析研究进展与前瞻

多模态学习分析是指利用“多模态”的思想和方法对学习者的内在学习状态、特征与变化进行深度诠释,旨在挖掘学习规律、优化学习过程、促进精准教学。在教育大数据研究范式下,多模态学习分析应运而生并形成了诸多研究成果。运用系统性文献综述方法对国内外多模态学习分析相关研究进行梳理发现：当前多模态学习分析研究聚焦于数据采集、数据融合和数据建模三大方面。在数据采集上,得益于智能感知技术的发展,文本、语音、动作、表情、眼动、生理等模态数据备受关注且获取方式愈加便捷;在数据融合上,主要以数据层融合、特征层融合、决策层融合为主,因应深度学习算法的发展,混合式融合初见端倪;在数据建模上,涌现出面向知识、认知、情感、交互状态的学习者模型,且基于多元学习状态的整体性模型日益受到重视。未来多模态学习分析研究应加强情境感知,实现场景数据的混合采集;深挖理论基础,促进数据融合的科学精准;重视情境依存,强化数据建模的情境适用。     

数据驱动课堂精准施教关键指标体系构建及应用

随着人工智能、物联网和可穿戴技术的发展,多模态数据驱动的课堂精准施教成为新时代教育研究的发展趋势。精准施教的前提是对数据进行规范化处理,对指标进行标准化探索。利用元人种志分析法,整合原始文献归纳出包括41个一级指标、214个二级指标的数据驱动课堂教学初步指标体系;通过两轮专家咨询对指标进行修正,形成由行为数据、生理数据、心理数据、平台数据、环境数据、评价数据、基础数据共七种数据类别,55个一级指标、254个二级指标构成的数据驱动课堂精准施教关键指标框架;在真实课堂环境中应用指标,结果显示：实验班在教师课堂讲授效率与操作实验效果、学生测验成绩、注意力保持时长、课堂发言和笔记质量等方面表现显著优于对照班。基于此提出数据驱动课堂精准施教应结合实际合理选择数据,精细掌控教学过程;将数据分析可视化,精确定位教学问题;利用多模态数据支撑,精准开展教学评价的实施建议。     

多模态数据赋能教师画像:从简笔画走向全息画像

教师数字画像是实现精准诊断、及时干预和个性化服务的基础,然而国内学者少有关注,特别是多模态数据赋能全息化描绘教师画像的潜力没有得到很好的发掘。本研究从多学科角度系统解析了多模态的内涵,即多模态是表征不同生理、心理或行为反应的不同形态数据。以此为基础,本研究构建了以生理数据为主要成分的多模态数据全息临摹教师画像的机理及画像模型,模型包括关注发展期望勾勒的愿景层、关注研修动态描绘的学习层、关注本体特征刻画的属性层三个层面。之后,研究构建了基于全息画像的个性化机制(包括适性的动力机制和个人路径生成机制)以及机制得以运转的多模态学习分析方略(包括涵盖去伪存真、多维共描、多面临摹三个层面的多模态数据融合分析方略以及涉及精准教学、失败中学、个性化学习三种学习理念的适应性精准决策方略)。希望这一研究成果能对教师全息画像的临摹提供可行的方案,对以此为基础的智慧研修系统与个性化研修服务的构建提供有价值的参考。     

多模态数据赋能精准教研:情境、路径与解释

多模态教学数据驱动的精准教研具备精准化、个性化特征,符合新时代教育研究的发展要求,因缺乏有效的技术支持、规范的顶层设计和数据解释框架而难以真正落地.文章依托智能课堂中丰富的智能技术和多模态行为数据作为破解精准教研难题的创新途径,首先综合证据资源、关系挖掘、数据报告等维度构建适应智能课堂教学环境的精准教研模式,同时从数据获取手段、数据样态、关键技术等方面搭建精准教研逻辑实现框架,为细致准确地定位教学问题与规律提供了顶层指导.然后,整合和解释数据以透视行为背后蕴含的教学意义,形成数据解释框架.文章最后指出,精准教研若要实现智慧干预与决策,除在数据阶段确保"精"与"准"之外,还需在教学干预设计、教学改进策略上做到准确无误.     

数据使能教学决策的发展——从数据教育应用到多模态学习分析支持教学决策

大量研究表明,数据驱动的教学决策能有效增强教师教学和学生学习的效果。当前研究多聚焦于数据驱动的教学决策模型及实践案例,较少关注支持教师教学决策的数据组织、收集和分析的过程。文章运用文献研究法和案例分析法,阐明基于数据教育应用原理的教学决策过程,并对其中的数据收集和分析过程进行解构,基于多模态学习分析的发展和过程优势,建构多模态学习分析支持的教学决策过程模型,找寻多模态学习分析支持教学决策的多模态数据收集和处理的过程与方法,并从实践角度分析两种多模态学习支持的教学决策的典型案例的过程和实践,希冀为国内中小学开展基于数据的有效教学决策研究和实践提供指引。     

多模态学习分析:理解与评价真实学习的新路向

随着物联网、可穿戴传感设备、人工智能的快速发展,多种模态数据的连续抓取与融合分析成为可能,促成了多模态学习分析研究的诞生,并成为学习分析领域的一个重要新兴分支.多模态学习分析关注真实的学习情境与本真的学习交流方式,"返璞归真"地聚焦更普遍的物理学习情境,克服了主流学习分析过度关注数字化学习环境的局限.研究主要采用文献归纳法,阐述了多模态学习分析的发展动因、概念理解,重点从身体、生理视角概述了多模态的数据类型,并对多模态学习分析的过程模型进行了详细描述.研究认为,未来要充分借助人工智能处理多模态数据,借鉴认知带理论融合不同模态数据的意义,借力学习理论来理解真实的多模态学习交互过程,以进一步完善基于多模态数据的学习评价方法.     

多模态视域下军事职业教育精准化学习评价路径与方法

智能感知技术的发展推动了学习分析领域的变革,使多模态数据的获取和融合分析成为可能,也使传统在线教学评价向“第四范式”数据密集型评价迈进。文章首先立足于当前学习评价现状,剖析军事职业教育侧重结果性评价、评价主体单一、缺乏智能化手段支撑等问题;其次基于具身认知理论将多模态数据分为基础信息数据、个体特征数据、交互行为数据三类,依据数据感知技术和数据表征方式构建在线学习多模态数据测评框架;最后从多模态数据采集、多维度数据融合、多元化分析建模、精准化反馈改进等四个环节,探索数据驱动下的精准化学习评价路径,不断促进军事职业教育的内涵式发展。     

多模态学习分析实证研究的发展与展望

多模态学习分析(MMLA)是智能化探究有效学习发生机理的关键技术。研究对国外37篇实证文献的任务情境设计和MMLA的四个过程进行系统综述,梳理出多模态数据集的生成场域多以发展认知为主,少关注情感价值的培育;学习标签注释以计算科学指导为主,缺乏不同时间尺度行为关联的理论指导;预测结果多关注学习行为表现,轻心智发展的过程解释;多模态数据分析反馈聚焦个性化学习支持,忽视决策支持。未来实证研究发展应聚焦有效学习与情感体验,融合计算科学和认知带理论,协同人机优势提供反馈支持,开展MMLA系统开发者和利益相关者的深度对话,不断迭代设计与优化分析系统和应用模式,有效促进“人工智能+教育”的发展。     

全景透视多模态学习分析的数据整合方法

多模态学习分析被认为是学习分析研究的新生长点,其中,多模态数据如何整合是推进学习分析研究的难点。利用系统文献综述及元分析方法,有助于为研究和实践领域提供全景式的关于多模态数据整合的方法与策略指导。通过对国内外363篇相关文献的系统分析发现:(1)多模态学习分析中的数据类型主要包含数字空间数据、物理空间数据、生理体征数据、心理测量数据和环境场景数据等5类。在技术支持的教与学环境中,高频、精细、微观的多模态学习数据变得可得、易得、准确。(2)多模态学习分析中的学习指标主要有行为、注意、认知、元认知、情感、协作、交互、投入、学习绩效和技能等。随着技术的发展和人们对学习过程的深刻洞察,学习指标也会变得更加精细化。(3)数据与指标之间展现出"一对一""一对多"和"多对一"三种对应关系。把握数据与指标之间的复杂关系是数据整合的前提,测量学习指标时既要考虑最适合的数据,也要考虑其他模态数据的补充。(4)多模态学习分析中的数据整合方式主要有"多对一""多对多"和"三角互证"三种,旨在提高测量的准确性、信息的全面性和整合的科学性。总之,多模态数据整合具有数据的多模态、指标的多维度和方法的多样性等三维特性。将多模态数据时间线对齐是实现数据整合的关键环节,综合考虑三维特性提高分析结果的准确性是多模态数据整合未来研究的方向。     

基于多模态数据的大学生认知深度评价框架构建及应用

提高学生课堂认知深度是本科教育高质量发展的核心目标,如何对认知深度展开科学评价是关乎此目标达成的关键,也是深化本科课程教学改革的迫切需求。为此,首先基于经典认知深度评价理论,结合新兴多模态数据分析技术,搭建大学生认知深度多模态评价框架。其次,基于此框架开展实证研究：以Z高校教育技术专业课程“学习科学与技术”为例,通过智能录播系统、在线学习平台等工具从多维学习空间采集主题讨论、自我反思、思维导图、课堂问答、头部姿势等多模态学习数据,采用机器学习方法处理并分析学习数据,综合评价学生认知深度并进行反馈。结果显示,多模态数据支持的评价更能准确地反映学生认知深度,具有显著的以评促学效能,最佳数据源是自我反思、思维导图和课堂问答。     

基于多模态数据的学习投入评估方法分析

学习投入是学生学习表现的关键影响因素,学习投入的自动识别是被广泛研究的问题。随着信息与传感技术的发展,在真实课堂中采集学生的多模态数据成为可能,如何利用多模态数据提升学习投入识别的准确率是值得研究的问题。文章分析基于外显或内隐信息的单模态模型和基于早期、晚期、混合融合方法的多模态模型,探究：（1）多模态数据相比于单模态数据在识别学习投入状态上的优势;（2）多模态数据融合方法对学习投入状态评估的影响。结果表明：结合外显与内隐信息可以更准确地识别学习投入状态;基于早期或混合融合方式的多模态模型在学习投入状态识别任务上有更佳的表现;融合方式对于最终结果准确性非常重要,不当的融合方式可能引入噪声,降低模型表现。     

多模态数据下混合协作学习者情感投入分析

情感投入在混合协作学习中发挥重要作用,厘清其作用机制是当前亟待解决的问题。混合协作学习场景下多模态情感计算技术的支持为更加精准地分析学习者情感投入提供了可能。文章从情感数据的多模态融合、情感发生的情境解释、情感状态的动态变化、情感发展的层级建构和情感反馈的调节干预五个层面构建了混合协作学习者情感投入的研究框架,并从改善混合协作学习过程和探索混合协作学习规律出发,阐述了混合协作学习者情感投入的分析路径。一方面,融合多模态数据,输出可视化的情感状态识别结果;根据环境、认知、行为、动机及任务等因素,进行情感归因;预防情感危机,采取反馈与调节措施。另一方面,探索情感投入与人际互动、学习资源、认知发展的关系,以期揭示混合协作学习的内在规律。     

深度学习的发生机制与多模态数据测评研究

进入数字化知识经济时代,社会发展对教育活动提出了更高要求,旨在培养高阶思维和创新能力的深度学习备受国际社会的高度关注。为此,“深度学习如何发生”和“如何评估深度学习发生程度”,也成为亟待研究的两个关键学术问题。认知心理学、教育神经学和具身认知为理解深度学习提供了理论基础,指引人们从人—物互动视角认识个体的认知变化过程,打开了个体学习的内隐机制“黑箱”,实现内隐机制和外显表征的桥接与理解。基于这一认识与分析,通过信息输入、深度加工和学习生成三个环节,初步构建了深度学习的发生机制模型,并设置相关的学习状态指标。而要实现对深度学习发生程度的精准评价,则应依据深度学习的多模态数据测评框架,综合性采集与分析学习者的生理数据、自我评估数据、在线学习平台数据和课堂参与数据等多模态数据。但是,在采用多模态数据测评深度学习的发生及其程度时,多模态数据仍存在异质性差距、数据建模缺乏精确度、常态化评价开展困难、数据安全和伦理道德难以得到保障等问题,亟需未来开展更为深入的研究与探索。     

学习者多模态情绪融合分析：动因、框架与路向

如何精准识别学习者情绪，深度融合各模态情绪数据，剖析情绪发生的作用机制，已成为智能教育发展的关键问题。本研究提出学习者多模态情绪融合分析概念，从学习者多模态情绪融合分析的动因、框架与路向三个维度，探索多模态情绪数据之间的有机融合，精准感知学习者的情绪状态，挖掘多模态情绪数据的潜在价值，实现对学习发展规律的细粒度解析，推进学习者情绪识别领域的实践探索。     

“数据驱动的精准教学”何以可能?——基于培养教师数据智慧的视角

精准教学的教育理念已成为各国共识,智慧教育环境下海量多模态学习数据的生成也使数据驱动的精准教学范式转变成为可能,但目前运用数据解决复杂教学问题的实践存在许多挑战,其突破点在于培养教师的数据智慧。本文从教师数据智慧的角度回答了三个问题:是什么、如何培养以及有哪些影响因素。首先,数据智慧是教学实践经验、数据分析技能、学习科学理论三者的有机整合,其内涵在于数据到智慧的递进转化;在明晰数据智慧的实现路径是掌握数据探究循环的基础上,回应了"培养什么"的问题,并构建了从职前准备到职后发展的培养路径,即在职前阶段弱化学科界限、革新课程体系、创设"实境"学习环境,在职后阶段创新培训模式、组建数据实践共同体,在协作探究和反思性实践中发展集体数据智慧;最后,考虑到数据智慧的培养是一个复杂的、多方联动的动态过程,对其影响因素和作用机制进行了剖析,为教师数据智慧的培养策略提供借鉴,并提出了善用数据智慧的观点。     

数据驱动的精准化学习评价机制与方法

综合素质评价是深化教育改革、落实立德树人根本任务的必然要求。信息技术赋能教育教学过程,使得传统教育评价机制向数据驱动的精准化学习评价方向迈进。数据驱动的精准化学习评价是一种不断获取、整合、分析学习过程中的多模态数据,对教学和学习活动的信息流与运行轨迹作出观测、解释和反馈,以发现教育中存在的问题,辅助课堂教学干预的评价方法,包含多场景数据采集、多空间数据融合、精准分析模型构建、分析结果可视化四个关键组成部分。多场景数据采集为学习评价提供数据来源和量化手段支撑,多空间数据融合为学习评价提供统一数据标准,精准分析模型为学习评价提供数据驱动的学习分析与评价方法,分析结果可视化为学习评价提供反馈和应用服务。数据驱动的精准化学习评价框架,应以区块链技术为基础,融合人工智能、云计算、学习分析、情境感知等新兴技术,在多维时空尺度上全面采集学习过程中的多元海量数据,通过全面、系统的统计分析和数据挖掘,从学习者的内在动机到认知发展、情感表现,再到社会综合交互能力,多维度、及时、准确地评估学生的学习状况。当前,探索数据驱动的精准化学习评价,可从构建符合多空间数据特征的综合素质评价框架,完善过程性数据的采集与共享机制,突破情感、认知、动机与社交评价的关键技术,以及研制数据驱动的学习评价平台等方面入手。     

多模态数据赋能高职教学的价值意蕴、逻辑主线与支持机制

信息化时代下的多模态数据与教学要素相互依存、相互融合,使高职教学目标、教学资源、教学方式和教学评价呈现信息化、数字化、智能化和数据化的价值意蕴。高职院校应从教学目标的信息化改革、教学资源的数字化改造、教学方式的智能化应用和教学评价的数字化转型等方面把握多模态数据赋能高职教学的逻辑主线,并从组织支持、多模态教学能力支持和信息化条件支持等方面构建多模态数据赋能高职教学的支持机制。     

多模态学习情感计算:动因、框架与建议

学习情感是影响学生认知加工与学习效果的重要因素,如何利用多模态数据开展学习情感计算是当前亟待解决的问题.文章在分析情感计算源起与多模态数据融合的基础上,阐述了多模态情感计算的发展动因,构建了多模态学习情感计算的研究框架,包括以教育场景为导向采集情感数据、依据情感模型展开建模与识别、利用可视化方式表达与反馈情感、结合情感归因来干预与调节学习过程等.基于现有研究案例,将多模态学习情感计算的应用归纳为开发学习情感识别系统、增强智能学习工具、支持学习干预与决策、探索学习情感的作用机制等方面.未来多模态学习情感计算应平衡数据采集侵入性与真实性、提升数据模型可解释性、综合衡量学习状态以及拓展教育应用探索与创新.     

数据驱动精准教学的区域推进路径设计

文章以大数据为支撑点,探索了在其驱动下的精准教学对推进课程改革步伐、提高教师专业水平、促进学生全面发展以及提高区域内学校教育整体质量产生的价值与意义。数据驱动精准教学的区域内稳步推进是基于教育大数据来实现精准教学的,首先要进行学习行为的精准评估;其次要依托教育大数据支持下的精准教学实践探究,针对数据进行整理和分析,在充分掌握学情的前提下,开展高效、智慧的课堂教学继而产生课堂教学方式的根本转变。     

多模态环境下大学英语听力教学实证研究

根据多模态教学理论,开展大学英语听力实验教学活动,调动学生视觉、听觉、触觉、思考感等多个模态参与学习。通过前测、后测数据和问卷调查数据,分析实验教学活动对学生听力理解能力、口语表达能力和其他方面的影响。数据分析表明,多模态环境下的大学英语听力教学活动能提高学生听力理解能力、口语表达能力和讲话能力,促进学生全面发展。