学习投入测评新发展:从单维分析到多模态融合

学习投入与学生的学习持续性、学业满意度、学习绩效以及学业完成情况高度相关,对其进行有效测评能够准确预测和干预学生的学习结果和学习行为.为了提升学习投入测评的有效性和准确性,首先,对现有六种学习投入测评方法进行了比较分析,即自我报告、编码分析、日志分析、观察评价、智能测量以及生理测量;然后,提出了多模态数据表征的学习投入测评框架,包括数据收集、数据处理、数据融合以及数据应用四个关键步骤;最后,选取参与同伴互动活动的两名不同成就学习者的多模态数据,依托该框架进行探索性案例分析,从多维时空尺度揭示学习投入的深层机制.研究发现,多模态数据表征的学习投入测评有望突破传统测评方法中单一数据源难以实现的逻辑整合问题,揭示学习投入的动态演变规律,为课程设计、学习活动或教学工具的质量提升提供有价值的参考依据,提升教师帮助学生和改善教学的能力,推动数据驱动的研究范式发展以及教与学规律的研究.     

学习科学视角下深度学习的多模态研究

文章从技术、推广、评价、整合和拓展五个方面,说明深度学习研究有赖于基本规律研究。作为学习科学的重要研究内容,深度学习基本规律研究应借鉴多模态的研究方法,全面揭示深度学习发生的内在机制。同时,文章归纳了不同学科和不同行为的多模态,着重分析了学习科学与深度学习领域的多模态。在完善深度学习框架的基础上,文章针对框架的各个组成部分提出了基础型、专业型多模态指标,构建了基于深度学习框架的多模态指标体系,可为不同目的、条件和层次的深度学习基本规律的多模态研究提供指标依据和机制参考。     

多模态学习分析:理解与评价真实学习的新路向

随着物联网、可穿戴传感设备、人工智能的快速发展,多种模态数据的连续抓取与融合分析成为可能,促成了多模态学习分析研究的诞生,并成为学习分析领域的一个重要新兴分支.多模态学习分析关注真实的学习情境与本真的学习交流方式,"返璞归真"地聚焦更普遍的物理学习情境,克服了主流学习分析过度关注数字化学习环境的局限.研究主要采用文献归纳法,阐述了多模态学习分析的发展动因、概念理解,重点从身体、生理视角概述了多模态的数据类型,并对多模态学习分析的过程模型进行了详细描述.研究认为,未来要充分借助人工智能处理多模态数据,借鉴认知带理论融合不同模态数据的意义,借力学习理论来理解真实的多模态学习交互过程,以进一步完善基于多模态数据的学习评价方法.     

基于多模态交互信息的协作学习投入分析

协作学习投入面临多维、动态数据采集与多元数据融合分析的挑战,而多模态交互分析能够提取并融合动态、多维度的投入信息,对表征协作学习交互过程具有重要价值。基于此,文章构建了基于多模态交互信息的协作学习投入分析指导框架,并从投入水平的整体性表征、投入状态的多维性分析和投入信息的时序性挖掘等角度,阐述了协作学习投入分析应考虑的关键问题。此外,文章还提出了包含多模态信息采集、多模态特征提取、多模态特征融合分析等三大模块构成的多模态交互信息分析路径。研究结论显示,多模态交互信息能实现对协作交互过程全方位、细粒度地记录,进而对小组协作学习投入的状态进行动态表征与持续分析。未来研究可能的方向在于基于智能语音处理技术的交互会话分析、基于仪表盘的投入信息可视化呈现以及基于智能代理的协作投入适应性支持。     

基于多模态数据的在线学习认知负荷评估

近年来,认知负荷过载成为影响在线学习效果的一个重要因素。为解决此问题,文章聚焦在线学习认知负荷评估,首先设计了基于多模态数据的在线学习认知负荷评估研究框架,包含多模态数据采集、多模态特征提取和评估模型构建三个部分。接着,文章通过实验,采集学习者在特定在线学习环境下的多模态数据,提取人脸表情特征、眼动追踪指标特征和脑电信号特征,构建在线学习认知负荷评估模型。之后,文章对评估模型的准确性进行验证,发现在五种机器学习算法模型中,KNN模型的综合性能最佳,故将此模型作为最终的在线学习认知评估模型;同时,文章对多模态数据进行了分析,发现多模态融合方法在认知负荷评估上具有优越性。文章构建的评估模型可赋能在线学习平台实现认知负荷的实时评估,进而实现基于认知负荷的个性化学习,增强学习动机,提升学习效果,促进在线教育质量提升。     

面向协作学习多重投入特征画像的多模态学习分析

群体投入特征画像是教育与信息技术交叉学科关注的重要研究议题。目前的研究,尚需要在群体投入维度与指标构建、多模态交互数据的融合表征,以及群体多维投入特征刻画等方面取得突破。鉴于此,如何采用多模态交互信息来表征协作学习参与者的投入状态,成为应对当前挑战的关键问题。因此,结合德尔菲法与层次分析法建立群体多重投入特征的分析指标及权重,利用多模态交互分析方法融合与表征多维投入特征,并从群体投入状态差异与时序变化等角度,刻画协作知识建构中参与者的投入特征。研究结果认为:行为参与、社会关系、观点建构和共享调节是刻画群体协作学习投入状态的重要指标,基于多模态数据刻画群体投入特征方法需处理的关键问题是多模态交互数据的融合比例与数据对齐方式;在群体知识建构活动中,个体在各子投入维度的不均衡表现与小组内部成员相互影响的投入表现是协作学习投入的主要特征。     

数据使能教学决策的发展——从数据教育应用到多模态学习分析支持教学决策

大量研究表明,数据驱动的教学决策能有效增强教师教学和学生学习的效果。当前研究多聚焦于数据驱动的教学决策模型及实践案例,较少关注支持教师教学决策的数据组织、收集和分析的过程。文章运用文献研究法和案例分析法,阐明基于数据教育应用原理的教学决策过程,并对其中的数据收集和分析过程进行解构,基于多模态学习分析的发展和过程优势,建构多模态学习分析支持的教学决策过程模型,找寻多模态学习分析支持教学决策的多模态数据收集和处理的过程与方法,并从实践角度分析两种多模态学习支持的教学决策的典型案例的过程和实践,希冀为国内中小学开展基于数据的有效教学决策研究和实践提供指引。     

深度学习支持下多模态学习行为可解释性分析研究

当前,学习行为分析已成为研究热点.基于大数据技术挖掘学生的学习行为特征,能为学习过程的改善、学习评价的优化提供重要依据.然而,现有研究却存在分析数据类型单一、实时性不强、结果准确度不高、缺乏可解释性等问题.文章从利用深度学习算法进行多模态学习分析入手,采用HDRBM(Hybrid Deep Restricted Boltzmann Machine,深度混合判别受限玻尔兹曼机)神经网络模型,建立多模态学习分析模型,为教育技术领域中利用多模态大数据挖掘学习者行为特征提供了新范式;接着从可解释性分析的角度,阐述利用深度学习算法进行多模态学习行为分析的算法设计与实现过程;通过实验表明,研究中所采用的方法与技术路线对提高学习行为分析的可解释性有较好成效.     

多模态数据赋彩学习投入测评新发展

学习投入作为衡量学习者成功与否的重要指标、影响学习者学习绩效的关键因素,受到专家学者的广泛关注。如何对学习投入进行合理有效测评,是当前教育领域不可回避的现实课题。通过对传统测评方式梳理发现其极易产生“路灯效应”,存在分析信度及效度不准确等弊端。本研究以多模态数据为切入点,提出多模态数据赋彩学习投入测评新机制,包括多模态数据信息采集、关系挖掘、融合应用三个层面,多维解析学习投入测评逻辑机理,助力突破学习投入测评现实困境,以推动学习投入测评新发展。     

多模态学习情感计算:动因、框架与建议

学习情感是影响学生认知加工与学习效果的重要因素,如何利用多模态数据开展学习情感计算是当前亟待解决的问题.文章在分析情感计算源起与多模态数据融合的基础上,阐述了多模态情感计算的发展动因,构建了多模态学习情感计算的研究框架,包括以教育场景为导向采集情感数据、依据情感模型展开建模与识别、利用可视化方式表达与反馈情感、结合情感归因来干预与调节学习过程等.基于现有研究案例,将多模态学习情感计算的应用归纳为开发学习情感识别系统、增强智能学习工具、支持学习干预与决策、探索学习情感的作用机制等方面.未来多模态学习情感计算应平衡数据采集侵入性与真实性、提升数据模型可解释性、综合衡量学习状态以及拓展教育应用探索与创新.     

数据驱动的精准化学习评价机制与方法

综合素质评价是深化教育改革、落实立德树人根本任务的必然要求。信息技术赋能教育教学过程,使得传统教育评价机制向数据驱动的精准化学习评价方向迈进。数据驱动的精准化学习评价是一种不断获取、整合、分析学习过程中的多模态数据,对教学和学习活动的信息流与运行轨迹作出观测、解释和反馈,以发现教育中存在的问题,辅助课堂教学干预的评价方法,包含多场景数据采集、多空间数据融合、精准分析模型构建、分析结果可视化四个关键组成部分。多场景数据采集为学习评价提供数据来源和量化手段支撑,多空间数据融合为学习评价提供统一数据标准,精准分析模型为学习评价提供数据驱动的学习分析与评价方法,分析结果可视化为学习评价提供反馈和应用服务。数据驱动的精准化学习评价框架,应以区块链技术为基础,融合人工智能、云计算、学习分析、情境感知等新兴技术,在多维时空尺度上全面采集学习过程中的多元海量数据,通过全面、系统的统计分析和数据挖掘,从学习者的内在动机到认知发展、情感表现,再到社会综合交互能力,多维度、及时、准确地评估学生的学习状况。当前,探索数据驱动的精准化学习评价,可从构建符合多空间数据特征的综合素质评价框架,完善过程性数据的采集与共享机制,突破情感、认知、动机与社交评价的关键技术,以及研制数据驱动的学习评价平台等方面入手。     

从数字画像到数字孪生体:数智融合驱动下数字孪生学习者构建新探

随着AI、5G、物联网、大数据、传感与全息等新兴技术的快速发展,尤其是虚拟现实技术从VR、AR、MR到XR的不断演进,促使数字孪生技术开始走向应用并备受学者关注。其正从制造业、城市管理、医疗服务向社会其他领域不断衍生拓展,并在教育领域呈现出广阔的应用前景。在数智融合驱动下,从“AI+大数据+学习分析”加持下的学习者数字画像,向“AI+5G+XR”与全息技术支撑下的数字孪生学习者的迭代更新,将成为AI赋能教育的一个演进趋势。数字孪生学习者基于“四个关键要素”和“五个基本原则”这一现实前提,遵循刻画学习者画像、仿真学习过程、预测学习发展、生成学习结果和共享学习智慧的生成过程,具有高度仿真、动态映射、虚实共生、迭代进化和智能应用的特征,可为“AI+学习者”呈现更精确的学习过程分析、更精准的学习内容推送、更科学的学习评价与无边界的学习生态;并助力学习者进行学习资源共享、学习行为调整、学习兴趣提高、学习体验改善、学习效率提升。因此,对数字孪生学习者进行前瞻性研究,可为数智融合驱动下的学习变革提供全新的视角与思路。     

Towards convergence of mobile and psychological theories of learning

This special issue was designed to promote an integration of mobile and psychological theories of learning by inviting empirical research that draws upon both theoretical approaches to guide investigation into learning involving mobile devices. Five empirical articles illustrated how mobile devices afford resources to learners and how new channels of data afford researchers new insight into learning processes. Authors of two invited commentaries note the challenges involved in researching mobile learning, which unfolds across multiple contexts and can involve novel tools, multiple learners, and instructors and experts. These authors propose a taxonomy that can organize research that investigates interactions amongst learners, instructors, experts, and tools across one or more physical contexts, as well as a research agenda that would empirically test and refine assumptions made by mobile learning theorists. In this commentary, the editorial team proposes that mobile and psychological theories may be improved through convergence. Theories of mobile learning can be advanced by adopting practices previously employed to refine psychological theories of learning, whereas conducting research using mobile devices (and the data they provide) can further refine psychological theories of learning. We illustrate these positions with examples, and consider how instruction must be designed and how learners must be prepared in order to benefit from learning using mobile technology.     

基于社会网络分析(SNA)的共享调节学习评价:概念框架与解释案例

共享调节学习评价涉及协作学习的不同维度和过程,同时兼具群体感知的功能。现有的评价存在分析维度单一、数据利用不足、缺乏对互动过程的挖掘和跟踪等问题。将社会网络分析(Social Network Analysis,SNA)引入共享调节学习的评价,可以充分反映共享调节学习特有的理论观照,呈现调节过程不同阶段的特点、不同评价维度的关联性以及调节的内在机制。基于SNA的共享调节学习评价框架,在数据收集以及分析工具方面,拓展了现有的共享调节评价维度,其引入群体交流模式、群体互动紧密性、个人或群体角色、不同关系维度、多模社会关系等评价分析工具,对共享调节学习过程进行评价与跟踪,促进了群体的自我感知。以华东师范大学教育信息技术学系的一门专业选修课程为解释案例说明概念框架的应用过程,也表明了基于SNA的共享调节评价能够评估共享调节学习的协作过程,促进共享调节水平的提高,相应的评价工具能够促进协作学习活动开展,强化成员的群体感知。未来仍需要进一步深化实证研究,完善评价工具,拓展应用案例,进一步挖掘概念框架的潜在价值。     

多模态数据赋能教师画像:从简笔画走向全息画像

教师数字画像是实现精准诊断、及时干预和个性化服务的基础,然而国内学者少有关注,特别是多模态数据赋能全息化描绘教师画像的潜力没有得到很好的发掘。本研究从多学科角度系统解析了多模态的内涵,即多模态是表征不同生理、心理或行为反应的不同形态数据。以此为基础,本研究构建了以生理数据为主要成分的多模态数据全息临摹教师画像的机理及画像模型,模型包括关注发展期望勾勒的愿景层、关注研修动态描绘的学习层、关注本体特征刻画的属性层三个层面。之后,研究构建了基于全息画像的个性化机制(包括适性的动力机制和个人路径生成机制)以及机制得以运转的多模态学习分析方略(包括涵盖去伪存真、多维共描、多面临摹三个层面的多模态数据融合分析方略以及涉及精准教学、失败中学、个性化学习三种学习理念的适应性精准决策方略)。希望这一研究成果能对教师全息画像的临摹提供可行的方案,对以此为基础的智慧研修系统与个性化研修服务的构建提供有价值的参考。     

远程教育学习过程满意度评价研究

为提高远程教育中学习者的学习效率,提出了远程教育学习过程满意度评价的思路,建立了学习过程满意度评价指标体系,并通过主成分分析测定了评价指标权重,探讨了数据挖掘方法在学习过程满意度评价中的作用。     

Learning analytics: challenges and limitations

Learning analytic implementations are increasingly being included in learning management systems in higher education. We lay out some concerns with the way learning analytics – both data and algorithms – are often presented within an unproblematized Big Data discourse. We describe some potential problems with the often implicit assumptions about learning and learners – and indeed the tendency not to theorize learning explicitly – that underpin such implementations. Finally, we describe an attempt to devise our own analytics, grounded in a sociomaterial conception of learning. We use the data obtained to suggest that the relationships between learning and the digital traces left by participants in online learning are far from trivial, and that any analytics that relies on these as proxies for learning tends towards a behaviorist evaluation of learning processes.     

学习分析:正在浮现中的数据技术

随着教育信息化的普及与逐渐深入,学习管理系统已经获取并存储了大量的有关学生复杂学习行为的数据,从这些数据中挖掘出改进教学系统、提升学习效果的信息,在教育信息化领域一直有着巨大的吸引力。因此,有必要从分析数据以改进学习的角度,对日益受到关注的学习分析技术进行解读。首先,学习分析技术是测量、收集、分析和报告有关学生的学习行为以及学习环境的数据,用以理解和优化学习及其产生的环境的技术。接着,综述学习分析技术的发展,指出其在教育中有着广泛的应用前景和巨大的发展潜力:学习分析技术可作为教师教学决策、优化教学的有效支持工具,也可为学生的自我导向学习、学习危机预警和自我评估提供有效数据支持,还可为教育研究者的个性化学习设计和增进研究效益提供数据参考。最后,提出学习分析技术也存在隐私、准确性和兼容性等诸多挑战和问题。     

Studying learning processes of student teachers with stimulated recall interviews through changes in interactive cognitions

This article describes a qualitative study into student teachers’ learning processes through changes in their interactive cognitions. First, theoretical propositions about the relation between learning to teach, professional development, and practical knowledge are defined. Next, the procedure to grasp interactive cognitions as part of practical knowledge is explained. On three moments during teaching practise, students were video-recorded while teaching and then audio-taped during a stimulated recall interview. Changes in students’ interactive cognitions are understood as indicators for learning and professional development. The results show substantial differences between students. The significance of the findings for teacher education research is illustrated.     

Researchers and teachers learning together and from each other using video‐based multimodal analysis

This paper discusses a year‐long technology integration project during which teachers and researchers joined forces to explore children's collaborative activities through the use of touch screens. In the research project discussed in this paper, 16 touch screens were integrated into teaching and learning activities in two separate classrooms; the learning and collaborative processes were captured by using a video, collecting over 150 hours of footage. By using digital research technologies and a longitudinal design, the authors of the research project studied how teachers and children gradually integrated touch screens into their teaching and learning. This paper examines the methodological usefulness of video‐based multimodal analysis. Through reflection on the research project, we discuss how, by using video‐based multimodal analysis, researchers and teachers can study children's touch‐screen supported collaboration and how researchers and teachers can learn together.