复本信度

复本信度也叫等值系数,是衡量测验不同版本的等值程度的指标.用同一测验的两个版本(A、B)对同一组被试实测后,计算两个版本得分的相关系数,复本信度系数高,表示被试不论用A版本,还是用B版本,实测分数基本相同,A版本和B版本可以相互替代;复本信度系数低,则表示被试做A版本和做B版本,实测分数不一样,这两种版本的测验不能相互替代.     

肯德尔和谐系数计算及显著性检验的简化

我们目前通常使用的教育统计方法,多为本世纪二、三十年代所产生。由于当时计算工具的限制,各种统计量多由原始数据直接计算产生。由于公式冗长,计算复杂,且难于理解和记忆,因而常常使人望而却步,不利于统计方法的操作和普及。 肯德尔和谐系数在教育测验、教育评价和各种竞赛评分的一致性信度检验中有着广泛的应用。一般教育统计学和教育测量学专著中,都将肯德尔和谐系数公式表示为     

利用肯德尔和谐系数检验测量结果的可信度

根据肯德尔和谐系数可以检验论文式试题的可信度的原理,通过对不同评定者评定等级情况下肯德尔和谐系数的计算,介绍了该系数在测量测验结果可信度中的实际运用。     

教育评价中等级次序评定的评分一致性检验

由多位评委评分的教育评价活动中,评分的等级次序的一致性影响评价的可信性。运用肯德尔和谐系数可以检验评分的一致性程度,以判断评价数据的可信性和评价活动的有效性．     

α系数受考生能力分布范围影响的研究

一在经典测量理论中,人们已经认识到,测验结果的信度会受到考生分数分布范围的影响。考生分数的分布范围越大,信度系数也越大。但人们在阐述这个问题时,一般都是以相关系数为例来说明的,因为相关系数会受到变量取值范围的影响,而有些信度系数也正是用相关系数来表示的,例如:重测信度、复本信度和分半信度,因此,认为这些信度系数将受到分数分布范围的影响,这显然是合理的。但是,目前我国的许多教育测量工作者,还经常采用α系数表示测验结果的信度,α系数是一     

测量术语

复本信度又名"等值性系数"、"替换本信度"。指用两份具有同等价值的测验在最短的时距内对同一组被试施测所得两次成绩之间的相关系数。反映两个测验的一致性和试题取样的代表性。复本信度要求两个测验必须真正等值。复本信度的差异主要来源于复本之间的等值性。为了消除施测顺序效应,在实际应用时,可以让被试中的一半人先做测验A再做测验B,另一半人先做测验B再做测验A。     

教育测量中关于论文式测验的信度系数测量

长期以来,教育测量对于客观题部分的信度系数测量有很多方法,并且越来越精确,但是对论文式测验的信度系数测量却没有太多改进,由于对评分者信度的忽视导致了对论文式测验信度测量的误差.文章首先分析了对论文式信度系数的测量方法及评分者信度系数的计算方法,然后在指出这种误差的基础上分析了错误的原因,并提出了相对完善的公式,最后介绍了相应的信度估计方法.     

测验信度大盘点

信度是对测量一致性程度的估计。信度分成再测信度、复本信度、同质信度、评分者信度等四种类型。测验的长度与难度以及被试团体的变异性与能力水平是影响信度的主要因素。测量标准误差属另类信度,可用于解释个体分数或解释分数差异。估计速度测验和掌握测验的信度,需使用特殊的方法。     

从汉语口语面试看汉语口语习得

本研究以韩国某集团于某年4月和10月,对同一批员工进行的两次C．TEST口语面试的数据为对象,分析口语测试的信度,以及这批考生在两次口语面试中的等级水平变化。肯德尔W系数的信度检验结果表明,绝大多数面试官之间的评分一致性比较高。概化理论分析后得出的概化系数显示,两次口语面试的测试信度都比较理想。通过对比分析同一批考生在两次口语面试中的成绩变化,本文认为,处于工作环境下的不同水平的韩国考生的汉语口语习得水平变化不一致,初级阶段的考生口语水平提高明显,中高级阶段的考生口语水平变化不大,保持稳定。     

研究生招生面试评分信度模型分析

在研究生招生面试中,考官评分是否客观、公正,是决定面试结果是否公平、合理的最主要因素.通过采用肯德尔和谐系数W值和方差差异性分析方法对某高校2008年教育经济与管理专业研究生面试的考官评分信度进行分析.总体上来说,考官的评分具有较高的一致性,但考官的面试技能、考生的面试表现以及评分的维度对考官的评分一致性有不同程度的影响.     

中学作文评价的概化理论模拟研究

本文选取聊城市初一、初二、高一、高二学生作为被试,以被试完成的作文作品为研究样本,运用概化理论的随机双侧面交叉设计,对作文评价指标、评分者数量的界定问题进行研究。研究表明,适当增加评分者或评价指标数量均能降低测验误差,提高测验信度;随着评分者或评价指标数量的逐渐增加,测验误差降低或测验信度提高的幅度将变得很小。该文为高考作文评价时确定较为合适的评价指标、评分者数量提供了科学依据     

对评分者信度检验中零假设的更正

我们通常采用Friedman双向秩次方差分析和Kendall和谐系数检验法来进行评分者信度检验.在绝大多数书籍中,此检验的零假设都被设置成"H0m个评分者对n个被评对象的评分是一致的".但是,这一零假设是错误的,本文将列举反例并给出正确假设的理论依据.     

小学作文评价标尺的有效性操作探索

<正>一、作文评分的惊人差异一次作文竞赛后,在计算五年级学生的作文竞赛成绩时,两位教师给18号作品所打的分数令我大吃一惊:一位给85分,另一位给50分。二者相差35分!进一步统计发现,这一现象竟然很普遍:在     

学校生活质量量表在中国内地大学生中应用的初步测试分析

本文以中国内地某高校大学生为被试,对学校生活质量量表（quality of school life scale QSLS）的信度和效度进行了检验。结果表明,QSLS在中国内地大学生中测试具有良好的信度和效度,可以作为在中国内地大学生中测量学校生活质量的工具,其总分信度Cronbach＇sa系数为0.896,重测信度为0.843,各分量表之间重测信度为0.782-0.859;总分与分量表之间的相关系数为0.653-0.815,各因子之间相关系数为0.269-0.773;运用验证性因子分析,各项指标均达到统计学要求。     

考试实测数据三种信度估计方法的比较

基于某考试实测数据,采取随机抽样和控制变量相结合的方法对α系数、β系数和γ系数在不同的被试同质性和分数分布形态条件下的特点进行比较和验证。结果表明,对于题目同质性程度较高的测验而言,β系数减小了题目同质性对信度估计的影响,得到了比α系数普遍稍高的信度估计值,但存在与α系数相同的不足,即受被试同质性影响较大;γ系数与后二者的估计结果差距略大,但减小了被试同质性对信度估计的影响,具有比α系数和β系数更强的稳定性。     

基于CTT、GT、IRT的评分者信度研究——以某届奥运会女子跳水决赛为例

本文以某届国际奥林匹克运动会女子跳水决赛为例,综合应用CTT、GT和IRT三大测量理论进行评分者信度分析,从不同角度揭示评分者之间和评分者内部的差异情况。结果表明:CTT的评分者信度分别为0.981和078;GT的概化系数和可靠性指数分别为0.8279和0.8271,比赛中所采用的7名评委分别对选手在5轮上的跳水表现进行评定的决策是比较适宜的决策;在IRT中,相对而言,评委5在7名评委中最为严厉,评委2最为宽松,但评委之间在宽严程度上的差异不显著,评委1和评委4在自身一致性上存在问题,不同评委在评定不同选手、不同难度系数动作和不同轮数上存在偏差,但未达到显著性水平。基于本文的分析,可以了解三种评分者信度分析方法的特点及各自优势,为评分者培训和提高评分信度提供有用信息。     

用LONGFORD方法对主观评分中的异常分数进行分数调整

分数不确切代表被试的真实语言能力的问题是语言测量学界一个最本质、最棘手的问题——效度问题。以往我们采取的一些诸如增加评分员数量、重评等办法虽然在一定程度上改善了效度,但是却都无法从真正意义上得到一个与真分数尽可能近似的客观的分数。Longford针对主观评分中的信度问题提出了四种分数调整模型来解决这一问题。本文运用严厉度调整模型对HSK高等作文评分中的异常评分者所评的分数进行了调整,调整后分数得到很大改善。因此在以后的考试当中基本上可以用这种数学的调整方法代替以往组织评分员重评的方法。     

几种估计信度公式的对比研究

引言在教育和心理测验中,信度的重要性正被越来越多的人所重视。在经典测验理论中,信度的定义有两种,其一是用两份平行测验的相关系数作为信度的定义,另一是用真分数方差与观测分数方差之比来定义。由于编制两份完全平行的测验实际上难以做到,而学生的真分数又是个不可观测量,因此,上面的信度定义只是理论上构想的概念,在实际应用时必须根据一组实得分数采用一些变通方法加以估计。到目前为止,根据一份测验结果来估计信度的     

对评分者信度检验中零假设的更正

我们通常采用Friedman双向秩次方差分析和Kendall和谐系数检验法来进行评分信度检验。在绝大多数书籍中，此检验的零假设都被设置成“Ho:m个评分对n个评分对n个被评对象的评分是一致的”。但是，这一零假设是错误的，本将列举反例并给出正确假设的理论依据。     

概化理论在结构化面试评分误差中的应用研究

应用概化理论对结构化面试的评分误差的控制问题进行了研究。结果表明:结构化面试评分能够较好地反映出被试的真实能力水平,评分具有较高的信度;在保证较高的面试评分信度(0.80)的情况下,建议将考官人数减少至9名,以提高结构化面试的经济性和效率性。