基于IRT的测验等值应用研究

项目反应理论(IRT)在当前教育测量中应用日益普遍。由于不同原因其入门推广有一定难度,该文从与经典测量理论的衔接延伸入手,深入浅出的阐明项目反应理论的基础。基于项目反应理论所依据的数学模型,从联合概率分布的角度,对项目反应理论进行了剖析,对应用广泛的等值技术进行阐释,并推荐易用软件进行实现。     

测验等值设计的一种新方法──单组设计试卷分半法

测验等值的单组设计,是将需等值的测验X、Y都由同一考生组施测,然后对测验分数进行等值。其优点是考生组只有一个X、Y成绩的差异将归因于测验的不同而不会混杂考生组不同的因素。缺点是同一考生要测验两次,练习效应和疲劳将会干扰等值结果。本文提出一种新的设计方法──单组设计试卷分半法,是在单组设计中,把测验X、Y各分成平行的两半卷,各取X、Y的半卷组成新的测验Z,将Z对同一考生组施测,根据施测结果导出等值转换公式进行分数等值转换。这种方法每个考生只施测一次,既保持了单组设计的优点,又克服了它的缺点。     

跨年级小学生数学学力认知诊断测验的IRT垂直等值分析

本研究采用“共同题?锚测验”设计,使用R语言ltm程序包中的IRT两参数模型进行各年级小学生数学学力认知诊断测验和被试参数的估计,并使用equateIRT程序包进行跨年级小学生数学学力认知诊断测验各项参数的等值转换。结果表明,等值转换后各年级测验的题目难度和小学生数学学力均随年级增长而逐渐递增,不同学校、民族、性别学生的数学学力发展差异性特征均与理论假设相符。本研究验证了采用IRT垂直等值方法构建跨年级小学生数学学力发展水平垂直量表的可行性,为制定系统性补救教学方案和自适应题库建设提供了必要的实证证据。     

基于固定共同题方法的IRT等值模型比较研究

等值模型的选择是题库建设的重要环节。本研究在IRT理论框架下,选择最为常用的Logistic模型,针对医学考试某一学科测试比较三种Logistic模型下固定共同题等值方法的差异。结果表明,单参数模型对共同题的参数固定更稳定,等值的精确性优于双参数模型和三参数模型,更适合用于该学科测试。     

大规模测评中IRT等值的影响因素研究

通过模拟和实证研究探讨样本量、题本量以及锚题题型对大尺度测评中项目参数等值精度的影响,模拟研究和实证研究的结果均表明:(1)0/1计分项目参数的等值精度在大多数条件下均好于多级计分项目,相对而言,实证研究的差异不如模拟研究明显;(2)相对而言,样本容量的增加对于提高项目参数等值精度有着重要的作用,而增加题本数量的作用甚微;(3)无论是区分度参数还是难度参数,均表现为3个题本和2 000人的搭配已经可以达到较好的等值精度,如果进一步提高等值精度,只需将每一题本的样本容量增加到3 000人即可;在多级计分时,当选用5个题本时,每一个题本2 000人是最适宜的组合。     

基于IRT的共同题非等组设计中五种项目参数等值方法的比较研究

本文采用共同题非等组设计,对五种基于IRT的项目参数等值方法进行比较研究。研究数据来自湖北某试点地区课改实验区和非课改区考生在标准化中考数学科目的考试数据,兼用大样本标准和其他标准作为各等值方法比较的检验标准,以RMSD指标作为操作性检验标准,利用STUIRT程序进行等值分析。研究结果表明,针对本研究所设置的等值情境,MS方法稳健性最差,对于项目难度参数的等值,同时校准方法最好,其次是SL特征曲线法,对于项目区分度参数的等值,MM方法精确性最好。     

全国英语等级考试锚测验非等组设计中样本量对等值结果的影响

本研究采用锚测验非等组设计,探究了锚测验样本量的变化对等值结果的影响。数据来自全国英语等级考试(PETS),使用以Bigsteps为核心的自主改进软件,基于Rasch模型估计题目参数。为了探究等值结果对合格分数线的影响,本研究对比了不同样本量锚测验参数估计值与锚题参数给定值的差异,并对不同样本量锚测验得出的实考试卷等值结果与最大样本量锚测验得出的实考试卷等值结果进行了差异分析。结果表明,当锚测验样本量达到150时,等值结果比较稳定。这一结果表明,PETS设定的300人左右的锚测验样本量是合理的。     

小学学业成就评价方法探新——项目反应理论(IRT)指导下的计算机自适应测验(CAT)

好的评价方法能给学生学业成就科学公正的评价,可以正确引导学生找出不足,激励学习。根据小学学业成就评价方法的现状,对照传统的CTT理论和现代测量理论IRT的优缺点,提出项目反应理论(IRT)指导下的计算机自适应测验(CAT)作为传统测验的一种辅助方式,应用于小学学业成就评价中是必要的,也是可行的。     

基于共同题非等组设计的等值结果评价标准研究综述

国内外关于等值结果的评价标准尚无统一的认识。本文以共同题非等组设计为例,根据评价对象的不同,将等值结果的评价标准划分为两种类型:一类是用于评价等值分数的标准,一类是用于评价等值参数的标准。本文通过对两类等值结果的评价标准进行对比和梳理,提出了不同等值结果评价标准的适用范围及其局限性,以期为研究者今后选用合理的等值结果评价标准提供参考。