口语评分中评分员对评分标准的理解和使用——配对口试评分的报告分析

通过有声思维实验方法并辅以刺激回忆,收集四名不同性格倾向的评分员在配对口语考试评分时进行的思维报告数据,定性分析结果表明：在实际评分中,评分员对评分量表的理解和使用存在很大的差异性,具体表现在：（1）外向的评分员在评分过程中,表现的比内向的评分员更为宽容;（2）内向的评分员更多地关注评分量表中的各项具体指标和标准,而外向的评分员强调任务的完成状况和考生之间的比较、交流,和互动;（3）外向的评分员比内向的评分员更少地依赖评分量表,更多地使用非语言的特征。本研究结果对考试评分标准的修订和评分员培训均有启示。     

用Longford方法检验主观评分差异

主观考试采用评分员进行主观评分,由于评分一致性不高,缺乏信度,测量学界一直在努力探索提高主观评分信度的办法。本文用Longford方法对参加HSK[高等]作文考试评分的异常评分员作了一次实证检验。结果证明,该方法对检验大规模标准化主观考试评分员差异确实有效。     

中考理科实验操作考试公平性的实践探讨

站在评分员的角度,对中考理科实验操作考试过程中引发考试不公平现象的原因分别进行剖析。阐述分布在各个不同考场的同一个实验,所对应的所有评分员应该有一个统一评分标准的原因;分析在考试过程中不能随意改变监考要求的理由;对中考理科实验操作考试评分细则提出修改建议。     

论英语口语考试的评分误差

口语考试的评分是评分员基于评分标准对语言产出的认知处理过程,处理的目的就是解释考生之间的分数差异(score vari-ance)。用于解释分数差异的变量包括构念相关变量(construct-rele-vant variables)和构念不相关变量(construct-irrelevant variables)。如果构念不相关变量发生作用,那么评分就产生误差。考试误差可区分为系统性误差(systematic error)和随机性误差(randomerror)。随机性误差是评分误差控制的重点内容。口语考试评分误差的主要表现形式包括评分员的个性差异、回归均值趋势和假正态分布。我们可以通过分数差异分布和回归系数等统计手段验证口语考试评分误差的大小程度。本文还讨论了口语考试评分误差控制的目标、原则和方法。评估误差控制的目的就是最大化构念相关变量的作用,最小化构念不相关变量的影响作用;这就要求评分员在评分过程中坚持一致性、完整性和独立性三条基本原则;在手段的使用方面,口语考试的评分误差控制主要包括管理手段、技术手段和统计手段等。     

多面Rasch模型在口语主观性试题网上评阅中的应用研究

选取MHK口语试题实测数据,运用多面Rasch模型的理论和方法对人工评分与计算机自动评分的严厉程度、评分员内部以及各评分员之间的一致性程度进行研究,分析了两种评分方式在严厉度、一致性等方面存在的具体差异,以及不同试题之间是否存在难度差异,希望据此为提高MHK阅卷的科学化水平及命题质量提供依据和建议。     

英语口试中综合式与分析式评分的异同——基于考生话语的分析

本文依据Upshur and Turner（1999）考试与评分的理论模型,将考生口语产出的话语语言特征作为参照,研究口语考试中综合式与分析式评分的异同。实验结果表明考生口语产出的话语特征中流利度衡量指标之每分钟有意义音节数对两种不同评分模式都产生显著影响;评分员在两种评分过程中都注重考生话语的流利性,忽视语言准确性和复杂性。文章进一步对此进行了分析并从考生话语角度揭示口试评分中误差控制的问题。     

计算机辅助口试评分稳定性历时研究——以PRETCO口试为例

口语考试评分员的稳定性事关考试的效度、信度及公平性.本文对连续五次计算机辅助PRETCO 口试评分进行历时分析,探讨PRETCO 口试评分员在严厉度、评分准确度以及集中趋势三个方面的稳定性,并探究其背后的原因.     

主观性试题网上评阅趋中评分控制研究初探

"趋中评分"指在作文评分等主观性评价过程中,评分员较少给出高分或低分,分数多集中在评分量表中间段的现象。趋中评分是一种系统性的评分误差,它对考试质量有较大影响。本研究分析了主观性试题网上评阅中的趋中评分现象,归纳出三种趋中评分类型,分析了趋中评分的成因,认为趋中评分可以通过校验卷法和统计指标法进行判定,在考试研发和评阅阶段可在多个方面、结合技术和非技术的手段进行控制。     

成人高考网上阅卷的评分者差异研究

采用四评模式的网上阅卷既有优点也有不足,本文通过调查法对辽宁省2006年10月份成人高考网上阅卷的评分者差异进行了研究。结果表明,评分者之间在阅卷速度、阅卷平均分、阅卷标准差及出分率等方面均存在差异。评分者评分过程中在阅卷速度、出分率方面逐渐提高,在阅卷标准差方面逐渐降低,在阅卷平均分方面差异不明显。并通过访谈法归纳出了及时反馈、严格要求、做好培训、减少误差阈值等减少评分者差异的有效策略。     

基于小组讨论的大学英语口语考试中评分员信度研究

大学英语口语考试的信度和效度受到很多学者关注,但是作为一种应用在一般教学环境中的小组讨论形式的测试,对于其中评分员信度的研究,目前相关的研究成果还不多见。本文对小组讨论形式的大学英语口语考试中评分员信度进行实证研究,并描述和讨论相关的数据与研究结果。