初中英语口语测试信度的概化理论应用研究

本文采用实验法,编制英语口语测试评分标准,并以65名初二学生为样本获得其英语口语测试成绩,应用概化理论对该评分标准及评分者信度等进行分析。研究结果表明：（1）研究者自编的评分标准具有较高的信度;（2）不同评委对评分标准理解的一致性会影响评分者信度;（3）测试信度随着评委人数的增加而提高,三名评委就能保证较理想的信度;（4）评分标准中三个一级指标对方差的贡献率不同,学生口语总成绩的合成可以考虑对三个指标赋予不同的权重后加总。     

多评分者多任务情境下评分者信度的模型拟合研究

此研究以网上阅卷环境下多个评分者同时评阅翻译和作文为例,建立多个评分者完成多个任务的结构方程模型,对数据进行拟合,实现评分者信度的量化分析。通过五个结构方程模型比较,选择拟合效果较好的相关任务相关特性模型,计算多评分者多任务的评分者信度,并对同一评分者完成不同任务时评分者信度和同一评分任务下不同评分者的评分信度进行比较,实现对评分效果的评价,从而对评分者的选拔和有针对性培训提供科学支持。     

HSK高等考试信度的多元概化理论研究

本研究运用多元概化理论对HSK高等考试客观卷的信度、试卷结构、测验总分的合成、试题预测方式的改进等问题进行探讨,结果表明:(1)HSK高等考试客观卷的总体及各部分信度都较好,且测验总分的合成是合理的;(2)测验各部分内容对全域总分方差分量的贡献比例与预设的赋分比例基本一致,试卷结构较为合理;(3)在适当减少各部分题量的情况下测验的信度仍较高,今后可以考虑在正式考试中进行试题预测。     

国家公务员考试面试评分者信度的研究

本文分析了安徽省省级机关招考国家公务员面试的“评分者信度”,发现考官之间的评分具有较高的一致性。这说明考官的评分主要取决于考生答题的因素,而非考官本人的无关因素,即考试具有客观性。     

汉语口语测试评分信度探究

汉语口语测试属于主观型测试,最大限度地排除评分的主观性是提高测试信度与效度的关键。该文对汉语口语测试的过程进行了较全面分析,尝试通过革新命题类型来提高汉语口语测试的评分信度,并提出了较具体的实验设想与检验方法。     

基于概化理论构建自学考试信度分析框架

概化理论(GT)提出了新的测量信度观并逐渐应用于大规模考试领域。本文将概化理论思想与方法引入自学考试信度分析研究与实践,提出了自学考试信度分析的概化理论研究框架。本框架对自学考试信度分析的基本任务与流程进行了梳理与总结,对一元概化理论(UGT)模型与多元概化理论(MGT)模型的应用进行了整合,选择了更为合理的自学考试信度指标并探讨了及格线决策信度的考察思路,为自学考试研究者进行概化理论研究提供一定程度的参考。     

对评分者信度检验中零假设的更正

我们通常采用Friedman双向秩次方差分析和Kendall和谐系数检验法来进行评分信度检验。在绝大多数书籍中，此检验的零假设都被设置成“Ho:m个评分对n个评分对n个被评对象的评分是一致的”。但是，这一零假设是错误的，本将列举反例并给出正确假设的理论依据。     

对评分者信度检验中零假设的更正

我们通常采用Friedman双向秩次方差分析和Kendall和谐系数检验法来进行评分者信度检验.在绝大多数书籍中,此检验的零假设都被设置成H0m个评分者对n个被评对象的评分是一致的.但是,这一零假设是错误的,本文将列举反例并给出正确假设的理论依据.     

相关法计算评分者信度应注意的问题

一、问题的提出论文性试题的评分存在误差,这是由评分者的主观原因造成的。考察评分误差的方法常常是计算评分之间的相关度,从而估计评分误差对信度的影响,称为评分者信度。计算评分者信度一般有两种情况,一种是由两位评分者给许多被试评分,或一位教师给许多被试评两次分数,计算两次分数之间的相关系数;另一种是许多位评分者给许多被试评分,或一位教师反复多次给许多被试评分,计算肯德尔和谐系数。肯德尔和谐系数实际就是多列变量间的等级相关系数。     

测试员评分对普通话水平测试信度和效度的影响

能否保证普通话水平测试的信度和效度,直接关系到测试工作的成败。文章就测试员评分对普通话水平测试信度和效度的影响进行了探讨,并提出了保证普通话水平测试信度和效度的具体措施。     

外语成绩测试信度研究

外语测试是外语教学过程中的一个重要环节。它不仅可以评估外语教学的质量,帮助教师改进教学方法,还可以了解学生外语学习的情况从而对参加测试的学生外语能力做出判定,以便做出有关学生的未来前途的某种决定。根据不同     

口试评分规范化与信度研究

口语考试的效度较高,信度却比较低。但没有信度,效度也不可能真正得到保证。因此,如何提高口试的信度,是很多测试研究者普遍关注的问题。本文通过描述清华大学英语水平考试中口试部分的评分规范化与评分员培训,对如何规范评分以提高口试信度这一问题进行讨论。     

改进普通话测试的概化理论分析

根据概化理论的原理和方法,讨论了普通话测试的测验设计问题。研究发现,国家语委实施的普通话测验从总体上说具有较高的信度。其中,测验的第一和第二部分的信度要高一些,而第三部分的信度要低一些。改进测验设计的首要方法是提高分测验三的信度。具体来说,评分者个数为2、题目数量为25是一个最低要求的设计方案。若要求信度值较高（如Eρ^2＝0．60以上）,则宜选择评分者个数为2、题目个数接近50,或评分者个数为3、题目个数大于30的测量设计。     

基于多元概化理论的英语口语测试任务研究

基于多元概化理论,对某次口语测试所包含的朗读、听后回答、回答问题、听后复述四类常见的测试任务进行研究,重点关注不同类型测试任务的区分效果、测量精度和对总分的贡献程度。研究结果表明,偏封闭型、内容导向的测试任务相比偏开放型、技能导向的测试任务,在区分效果、测量精度和对总分的贡献上表现更好。     

PETS一3口语测试评分方法对信度的影响

全国公共英语等级考试包括笔试和口试两大部分,分为五级。PETS-3口语测试评分方法既有优点,也存在不足之处。该口试评分方法对测试的信度产生了一定影响。评分的信度取决于评分标准、评分依据以及评分人三方面的共同作用．最终确保评分信度的真实、可靠。     

概化理论在结构化面试评分误差中的应用研究

应用概化理论对结构化面试的评分误差的控制问题进行了研究。结果表明:结构化面试评分能够较好地反映出被试的真实能力水平,评分具有较高的信度;在保证较高的面试评分信度(0.80)的情况下,建议将考官人数减少至9名,以提高结构化面试的经济性和效率性。