无锚题测验等值设计方法研究进展

由于测验安全性、试卷组卷不当等问题,有些测验的题本相互之间不能或者没有设置锚题。对作答不同题本的被试进行分数比较时,需要用到测验等值技术。不同于有锚题测验能通过题本之间的锚题进行等值,无锚题情境下的测验需要借助于一些特殊方法进行等值。目前,对无锚题测验进行等值主要有三种方式,一种是通过测验中具体的题目,也就是构建相同的"锚题"来进行等值,如构造随机等组测验法和利用题目先验信息进行等值的方法;一种是通过构建相同被试组来进行等值,即构造随机等组样本法;还有一种是借助于测验题目所考查的认知属性来进行等值,一般是基于一种认知诊断模型——规则空间模型来进行操作。     

锚测验难度参数方差特征对测验等值的影响研究

本文使用R-2.15.2软件模拟研究锚测验难度参数方差特征对测验等值误差的影响,采用三种等值方法(链百分位等值法、Levine等值法和Tucker等值法)对锚测验不同类型的难度方差进行比较研究。结果显示,当锚测验难度方差小于全测验难度方差时,其等值的随机误差和系统误差与锚测验难度方差和全测验难度方差一致时(即锚测验为全测验的平行缩减版minitest时)的表现基本相同。因此,对锚测验而言,要求其与全测验具有相同的统计规格可能过于严格。     

新一轮高考改革中的测验等值问题

为降低学生学业负担,避免学生因偶然因素导致的考试误差,新一轮高考改革要求为考生提供两次外语及学业水平考试机会。在此背景下,如何比较两次考试成绩成为关键。测验等值技术作为心理测量学的重要组成部分,恰能有效解决测验分数比较的问题。通过对等值概念、等值设计、等值处理方法及等值评估等问题的探讨,分析了高考等值应注意的问题及其可能采取的等值方法,为实现高考成绩比较科学化提供技术支持。     

HSK和MHK测验等值分析

本研究通过随机选取2382名考生,采用共同组等值设计和线性等值法,对MHK三级与HSK三级、四级、五级、六级的考生成绩进行了等值,等值结果包括听力、阅读、书面表达各分测验分数及测验总分。     

测验等值中等值公式的研究

通过对测验等值中线性等值公式进行研究,得到改进后的线性等值公式,该公式不仅与两测验的相关系数有关,而且同两测验的信度有密切联系。目前常用的线性等值公式是其当两份测验信度相等时的一个特例。     

测验等值设计的一种新方法──单组设计试卷分半法

测验等值的单组设计,是将需等值的测验X、Y都由同一考生组施测,然后对测验分数进行等值。其优点是考生组只有一个X、Y成绩的差异将归因于测验的不同而不会混杂考生组不同的因素。缺点是同一考生要测验两次,练习效应和疲劳将会干扰等值结果。本文提出一种新的设计方法──单组设计试卷分半法,是在单组设计中,把测验X、Y各分成平行的两半卷,各取X、Y的半卷组成新的测验Z,将Z对同一考生组施测,根据施测结果导出等值转换公式进行分数等值转换。这种方法每个考生只施测一次,既保持了单组设计的优点,又克服了它的缺点。     

考生样本量对项目反应理论(IRT)等值稳定性的影响

测验等值使得不同形式的考试能进行比较,从而保证了测验之间的相对稳定性。基于IRT的分数等值是在估计出参数的基础上进行的参数转换,等值结果的稳定性与考生样本量密不可分。本研究针对汉语水平考试(HSK)阅读分测验,采用真实数据模拟共同组锚测验设计,确定等值的参照标准,考察考生样本量的变化对IRT分数等值稳定性的影响。结果表明,考生样本量为2000左右时各种方案的等值结果均比较稳定。考生样本量进一步增大时,等值误差不降反增。     

Excel97在测验等值中的应用

利用 Excel97进行单组设计试卷分半法线性等值及传统的单组设计线性等值处理 ,和利用 Excel97的模板功能建立模板 ,输入待处理数据 ,即可得到等值结果。     

全国英语等级考试锚测验非等组设计中样本量对等值结果的影响

本研究采用锚测验非等组设计,探究了锚测验样本量的变化对等值结果的影响。数据来自全国英语等级考试(PETS),使用以Bigsteps为核心的自主改进软件,基于Rasch模型估计题目参数。为了探究等值结果对合格分数线的影响,本研究对比了不同样本量锚测验参数估计值与锚题参数给定值的差异,并对不同样本量锚测验得出的实考试卷等值结果与最大样本量锚测验得出的实考试卷等值结果进行了差异分析。结果表明,当锚测验样本量达到150时,等值结果比较稳定。这一结果表明,PETS设定的300人左右的锚测验样本量是合理的。     

测验等值:新一轮高考改革的技术问题

随着新一轮高考改革的深入,考生在一些科目中将有两次考试机会。这两次考试分数间的相互转换可以通过测验等值来解决。然而测验等值实践涉及诸多环节,每个环节都对最终的等值效果有重要的影响。本文从等值设计的选择、等值必要性判断、等值方法的选择、评价标准的选择以及等值过程的质量控制等方面说明在高考改革中测验等值应注意的问题,以期显著提高等值质量。     

“测验连接”概念框架演变述评

测验连接是心理与教育测量研究中一个重要的领域,是通过统计方法将一个测验的分数以另一个测验的分数单位表示,或者将两个测验的分数表示在共同的分数量尺上。虽然测验连接有较长的研究历史,但是不同学者对其有不同分类。其中有些分类术语别无二致,但其定义却大相径庭,这使研究者和实践者产生了极大混乱。鉴于此,有必要从历史的角度梳理连接的概念框架及其变化,以便更好地理解和应用测验连接。     

关于汉语水平考试等值设计的新思考

汉语水平考试(HSK)实施多年来,一直坚持等值。在实际等值过程中,HSK遇到了一些新情况,旧的等值设计暴露出一些局限,变得难以适应。本文有针对性地提出了预测等值和跨国等值等新设计,以期应对新问题。     

考生能力分布与被试量对IRT等值的影响

基于项目反应理论中的LOGISTIC双参数模型研究共同题非等组设计下,考生能力分布与被试量对等值的影响。等值方法采用分别校准下的项目特征曲线法、Stocking-Lord法、Haebara法。等值结果采用等值分数标准误、等值系数标准误、共同题参数稳定性三种方法进行评价。研究结果表明,考生能力分布越接近,被试量越大,等值误差越小;且Stocking-Lord法较Haebara法的等值结果更稳定。     

试后试题全公开背景下分数分布的跨年度比较——日本全国性测验与地方性测验的链接

本研究的目的有三：（1）提出试后试题全公开背景下分数分布的跨年度比较方案,即通过组合日本的全国性测验与地区性测验的设计,应用测验理论中的链接原理提出跨年度比较分数分布的方法;（2）讨论实现该方案的可行性,具体讨论了使用测验数据的可能性、地区性协作的方式以及对于被试群体的要求;（3）进行实际数据的证实,即呈现2006年度与2009年度初中三年级学生国语测验分数的跨年度比较结果,发现无论哪个测验的分数分布都基本上没有变化。     

以证据为中心的设计模式及其对口语考试设计的启示

本文介绍了三种常见的考试设计模式:构念中心设计、任务中心设计和证据中心设计。在分析每种模式优缺点的基础上,笔者指出证据中心模式是三种模式中最利于设计者实施和操作的模式。然而,证据中心模式也有其自身的缺点。针对这些缺点,笔者提出了修改建议,并建立了新的证据中心设计模式。这种新模式对口语考试设计具有非常重要的参考意义。     

An NCME Instructional Module on Population Invariance in Linking and Equating

A goal for any linking or equating of two or more tests is that the linking function be invariant to the population used in conducting the linking or equating. Violations of population invariance in linking and equating jeopardize the fairness and validity of test scores, and pose particular problems for test‐based accountability programs that require schools, districts, and states to report annual progress on academic indicators disaggregated by demographic group membership. This instructional module provides a comprehensive overview of population invariance in linking and equating and the relevant methodology developed for evaluating violations of invariance. A numeric example is used to illustrate the comparative properties of available methods, and important considerations for evaluating population invariance in linking and equating are presented.     

一种异构数据库访问中间件的设计及应用

本文提出了一种基于XML和数据库连接池的数据库中间件来访问异构数据库的技术,该中间件易于实现,且执行效率高,具有广泛的应用前景。     

国际大型测评项目中等值技术的应用与启示

国际大型测评项目在年度内题本等值时,主要采用同时估计的方法实现对题目参数的估计,并使用似真值实现对学生个体能力的报告,各个测评项目之间的等值设计与处理相对统一与一致。在年度间等值时,不同的项目,依据各自的设计特点,采用锚题或锚人的方法,使用同时估计,并通过线性转换将学生能力分数置于同一量尺上,实现年度间分数的比较。依据我国国情,建议采用锚题与锚人相结合的等值设计方式实现年度间测评结果的链接。     

职业培训中教学设计运用的探析

本文从教学设计的一些最新的方法与技术出发，结合学校教育中职业培训自身的特点，分析了职业培训设计所需遵循的原则以及可运用于实际培训中的教学模式。旨在为职业培训设计提供一些新的思路与方法，促进其发展。