多面Rasch模型在英演讲比赛中的应用研究

针对影响演讲比赛打分结果的各种误差来源,本文引入多面Rasch模型对评分进行分析。此模型在分析评分结果中的应用不但有利于有效测量考生的能力水平,而且为识别问题评委、完善评分规则、及评委培训等问题都提供了全新的解决思路。本文同时也介绍了多面Rasch模型的理论及其在演讲比赛评分中的应用框架。     

基于CTT、GT、IRT的评分者信度研究——以某届奥运会女子跳水决赛为例

本文以某届国际奥林匹克运动会女子跳水决赛为例,综合应用CTT、GT和IRT三大测量理论进行评分者信度分析,从不同角度揭示评分者之间和评分者内部的差异情况。结果表明:CTT的评分者信度分别为0.981和078;GT的概化系数和可靠性指数分别为0.8279和0.8271,比赛中所采用的7名评委分别对选手在5轮上的跳水表现进行评定的决策是比较适宜的决策;在IRT中,相对而言,评委5在7名评委中最为严厉,评委2最为宽松,但评委之间在宽严程度上的差异不显著,评委1和评委4在自身一致性上存在问题,不同评委在评定不同选手、不同难度系数动作和不同轮数上存在偏差,但未达到显著性水平。基于本文的分析,可以了解三种评分者信度分析方法的特点及各自优势,为评分者培训和提高评分信度提供有用信息。     

教育教学能力测试的GT和多面Rasch模型分析

本研究以概化理论和多面Rasch模型为工具,对某市教育教学能力测试的一批实测结果进行了分析,旨在探索影响此类测试评分的因素及其作用机制,为完善测试设计和评分培训提供依据。研究结果表明,影响教育教学能力测试的主要因素是任务难度、评委宽严、评委的跨任务一致性和任务的跨考生难度。当前的教育教学能力测试只适宜做相对决策,不适宜做绝对决策。建议在以后的测试中通过提高测试任务的数量和加强对评分员的针对性培训来提高评分可靠性。     

教育评价中等级次序评定的评分一致性检验

由多位评委评分的教育评价活动中,评分的等级次序的一致性影响评价的可信性。运用肯德尔和谐系数可以检验评分的一致性程度,以判断评价数据的可信性和评价活动的有效性．     

初中英语口语测试信度的概化理论应用研究

本文采用实验法,编制英语口语测试评分标准,并以65名初二学生为样本获得其英语口语测试成绩,应用概化理论对该评分标准及评分者信度等进行分析。研究结果表明：（1）研究者自编的评分标准具有较高的信度;（2）不同评委对评分标准理解的一致性会影响评分者信度;（3）测试信度随着评委人数的增加而提高,三名评委就能保证较理想的信度;（4）评分标准中三个一级指标对方差的贡献率不同,学生口语总成绩的合成可以考虑对三个指标赋予不同的权重后加总。     

基于UML模型的一致性研究

采用统一建模语言UML进行系统建模的过程中,模型一致性的建立和维护是正确建模的必要前提。在UML模型的基础上对模型一致性问题进行了分析,给出了一致性问题的分类及模型一致性产生的原因。在此基础上进行模型一致性研究,并提出了关于模型一致性问题的解决方案和思路。     

网络双评过程中作文评分误差以及评分者效应的分析——以大规模英语考试作文评分为例

目前大规模考试作文评分大都采用双评评分模式,本研究采用多侧面Rasch模型(MFRM)分析双评模式下大型英语作文评分中的评分者误差来源及主要影响因素。对57名评分者所评价的2 427篇作文分析发现:1评分者的宽严度存在显著的差异;2在作文评分中,约有22.8%的评分者之间的一致性较差,也存在约3.5%的评分者之间一致性过高;3约90%的评分者自身的一致性都较高,但仍有8.8%的评分者自身一致性很差,约2%的评分者出现评分自身一致性过高的情况;4从整体上讲,评分者在不同的评分标准(或维度)上、不同评分等级宽严程度的把握存在差异;评分者和被试,以及评分者、被试和评分标准三者的交互作用不显著;5评分者对男生和女生具有相同的宽严度。     

多面Rasch模型在口语主观性试题网上评阅中的应用研究

选取MHK口语试题实测数据,运用多面Rasch模型的理论和方法对人工评分与计算机自动评分的严厉程度、评分员内部以及各评分员之间的一致性程度进行研究,分析了两种评分方式在严厉度、一致性等方面存在的具体差异,以及不同试题之间是否存在难度差异,希望据此为提高MHK阅卷的科学化水平及命题质量提供依据和建议。     

优质课比赛评分的可靠性

中小学的优质课比赛,出现一些误判评分现象,这是客观存在的事实。用统计检验的方法对评委评分的可靠性、误判评分的成因作出分析,提出一些克服误判评分现象的方法。     

基于局域网评分中阈值设置和评分一致性研究

本文对基于局域网评分中间结果进行研究,发现阈值高低对一评、二评评分结果统计差异大小有影响,一般阈值越小,一评、二评评分结果无统计差异的越多。但阈值高低不是决定评分一致性的最重要因素,关键在于一评、二评差值的分布。阈值设置高,可能一评、二评结果也会无统计差异;阈值设置低,一评、二评结果也会出现显著差异。在考试分数“分分计较”的情况下,阈值设置应该是1分。在阈值规定的范围内,如果成对样本t检验结果无显著差异,并不意味着评分一致性一定好。如果成对样本t检验结果有显著差异,评分一致性也未必差。成对样本t检验并不是评价评分一致性的有效、可靠的方法。需要采用其他评价评分一致性的方法。     

竞赛评分结果的逐步修正算法模型

本文分析了比赛时评委给分及选手总分计算过程中可能影响比赛公正性的两个因素,评委的评分尺度控制程度不同与评委对选手水平的敏感性差异。针对这两个客观因素提出一种逐步修正的选手总成绩计算方法,该方法能够改善一般的均分成绩带来的误差同时满足即时给分要求。     

两种评分量表的评分效应比较研究

本研究运用多面Rasch模型对比分析了大、小两种评分量表下评分员的评分效应。结果显示,与小尺度评分量表相比,评分员在大尺度评分量表下不能使用全距分值,容易给出趋中分数;而且,在大尺度评分量表下评分员间的评分一致性较差。据此,提出应改进我国各项考试中写作评分量表的设置,并单独报告写作成绩的建议。     

主观题评分教师评分效应研究

评分教师的评分效应和评分量表研究是研究主观题评分误差的核心问题。本论文以2006年高考政治(上海卷)第38题(论述题)为例,运用ACER Conquest的Raters Effect模型研究,结果显示该大题基本没有表现出模糊性、趋中性和等级限制等评分误差,评分教师能够比较好地区分考生不同行为特征,除个别评分教师的评分一致性还有待提高外,评分松紧度差异比较显著。为此,作者提出根据松紧度调整考试分数的方法。     

研究生招生面试评分信度模型分析

在研究生招生面试中,考官评分是否客观、公正,是决定面试结果是否公平、合理的最主要因素.通过采用肯德尔和谐系数W值和方差差异性分析方法对某高校2008年教育经济与管理专业研究生面试的考官评分信度进行分析.总体上来说,考官的评分具有较高的一致性,但考官的面试技能、考生的面试表现以及评分的维度对考官的评分一致性有不同程度的影响.     

12号评委的评分是多少

热情提示:本稿件内容深化了《数学》第八册(人教版)一单元求平均数的知识。在学校组织的歌咏比赛中,主持人宣布尚松的得分:“1号评委,9.80分;2号评委,9.73分;3号评委……”尚坤是尚松的好朋友,他替尚松记录着评委的得分:9.80,9.73,8.95,8.94,9.97,8.55,8.67,9.05,9.73,8.68,9.35。可是,最后一位评委的评分到底是多少,他没有听清楚。下一位选手参赛完毕,主持人宣布评委给该选手的得分后,接着宣布:“去掉一个最高分,去掉一个最低分,8号选手尚松的最后得分是9.25分。”怎样才能弄清12号评委给尚松的评分是多少呢?比赛结束后,尚坤和同学们一起讨…     

公平的评卷系统

本文针对数学建模竞赛这一特殊考试的评判问题,进行了多个数学模型的建立。对评委优化分组问题,确定各组评委名额时,提出了应用新Q值法来解决。在解决评委分配问题时,建立了0—1整数规划模型,应用匈牙利算法求解。对于试卷的评判采取逐轮淘汰的评判方法,在一定的置信概率下制定了一个淘汰规则,使公平性和经济性在一定的置信概率下得到保证。     

卓越师范生适教性的诊断措施研究

本研究主要是建构师范生适教性观察诊断量表,并组织和培训一线中小学各学科特级教师和大学学科教学论教师对师范生适教性开展诊断性评估。对评估结果进行统计分析表明:在个人面试中,评委使用观察诊断表和主观评价要点对同一位考生进行评定,两者之间具有高度相关性;不同评委对同一个考生的观察诊断评分具有较高的相关性;在小组面试中,不同评委使用观察诊断表对同一考生的打分也基本达到高度相关。     

去掉一个最高分和一个最低分

在歌手电视大奖赛上,10个评委亮分之后,为什么要去掉一个最高分和一个最低分？ 大奖赛上,常常要去掉一个最高分和一个最低分,其目的是要略去评委评分中可能出现的异常值,使得一个或两个评委的个人好恶,不致影响参赛歌手的总成绩．     

小松鼠的算法巧

森林小学举行演讲比赛,有5名评委打分。评分时,先去掉一个最高分和一个最低分,再算出平均分作为参赛选手的最后得分。担任复核公告的小兔和小松鼠看到小公鸡的成绩记录单时犯难了,因为其中评委五打的分被墨水弄脏了,你看:评委一评委二评委三评委四评委五最后得分84807986?82评委五的打分是多少呢?不查询能算出来吗?两人歪着头思索了一会儿,同时道:“评委五的打分是82。”小白兔道:“我是这样想的。如果评委五打的是最低分,那么再去掉最高分86,小公鸡的最后得分应是(84+80+79)÷3=81(分);如果他打的是最高分,那么再去掉最低分79,小公鸡的最后…     

对提高艺术类专业统考评委素质的思考

目前艺术类专业统考就评委这个环节而言,存在着考前辅导学生现象普遍存在、遴选方法过于保守、个别评委法制意识淡薄、评判＂离群值＂偏高等问题。提高担任艺术类专业统考评委的个人素质,是解决上述问题的关键。为此必须改进评委遴选制度,确保评委的专业素养;完善评委培训机制,提高评委的评价能力;加强评委道德素质教育,增进评委廉洁自律意识;建立民意反馈机制,提升评委队伍的＂公信度＂。