基于小组讨论的大学英语口语考试中评分员信度研究

大学英语口语考试的信度和效度受到很多学者关注,但是作为一种应用在一般教学环境中的小组讨论形式的测试,对于其中评分员信度的研究,目前相关的研究成果还不多见。本文对小组讨论形式的大学英语口语考试中评分员信度进行实证研究,并描述和讨论相关的数据与研究结果。     

机器自动口语测试的信度和效度研究——以MyET口语测试系统为例

文章首先从人工评分和机器评分两个方面,介绍了口语测试的发展情况。随后,文章采用MyET口语测试系统,以100名本科生为研究对象,基于对MyET口语测试系统中口语测试题题型、分数段、相关性的分析结果和问卷调查结果,研究了机器评分的信度和效度,结果表明:人分散度方面,机器评分在难度上与人工评分相差不大,但在区分度上不太理想;评分员信度方面,除部分题型之外,机器评分与人工评分有很高的相关性;表面效度方面,被试对My ET口语测试系统的接受度较高。文章从测试学角度探讨了机器自动口语测试的可行性,可为高校口语教学改革提供参考。     

论提高PETS口试评分的信度--对一次PETS口试量分统计结果的思考

全国公共英语等级考试体系(PublicEnglishTestSys-tem,简称PETS)是一种面向全社会、以全体公民为对象的非学历性英语证书考试,由笔、口试两部分组成。口试的目的是测试考生口头语言表达能力,属主观性考试。口试因其主观性,评分的最大难度在其公正性和一致性。因此,对PETS口试考官因素及其量分情况进行研究很有必要。本文拟在对一次PETS口试量分统计结果分析的基础上,研究影响考官评分的因素,并对考官素质和培训提出一些看法,目的是进一步提高PETS口试的信度、效度及其权威性。一、研究方法与统计结果研究对象为某考点2003年3月参加…     

主观考试信度的计算方法

信度是衡量考试质量的重要指标之一,由于主观考试受评分员因素的影响很大,因此其信度研究备受测量界的关注。本文主要介绍了几种主观考试信度的计算方法及其适用范围,以帮助测量使用者根据需要更好地选择使用。     

汉语口语测试评分信度探究

汉语口语测试属于主观型测试,最大限度地排除评分的主观性是提高测试信度与效度的关键。该文对汉语口语测试的过程进行了较全面分析,尝试通过革新命题类型来提高汉语口语测试的评分信度,并提出了较具体的实验设想与检验方法。     

外语口试对口语教学的反拨效应分析

外语口语考试旨在对考生的口语能力进行公正、合理的测量,准确地反映考生的口语水平,从而推进口语教学的发展。但是,口语考试的效度和信度受多方面因素的影响。英语专业口语考试及其对教学和学习的反拨效应分析对提高学生实际语言运用能力具有很大影响。     

国家公务员考试面试评分者信度的研究

本文分析了安徽省省级机关招考国家公务员面试的“评分者信度”,发现考官之间的评分具有较高的一致性。这说明考官的评分主要取决于考生答题的因素,而非考官本人的无关因素,即考试具有客观性。     

全国公共英语等级考试口语测试的信度和效度研究

本文作者通过测试理论研究和数据分析,探讨了全国公共英语等级考试口语测试的信度和效度.就测试的信度而言,要侧重施测(准备形式和测试过程)、测试内容(长度、难易程度)和评分(评分标准、评分依据、评分者)等方面的可靠性.测试的效度则应检验该测试是否具有内容效度、表面效度、标准效度(预示效度和共时效度)和理论效度,同时利用可靠系数检验该测试的信度.     

英语专业四级考试的信度与效度研究

测试作为检验学生学习成果和教师教学水平的重要方法之一,在近些年受到了越来越多的关注。而英语专业四级作为衡量英语专业二年级学生学习成果的重要指标,更是测试研究的重中之重。基于此,从大学英语专业四级题目类型的角度出发,对大学英语专业四级考试的信度和效度进行分析,旨在为进一步对其进行完善提供参考。     

高考口语测试的信度与效度分析

英语口语测试是对学生的英语综合能力进行检测的一种最直接的方式。同时也是所有语言能力测试中最难进行的。口语测试的信度与效度决定了测试是否公正合理地反映了考生的真实口语水平。因此,对高考英语口语测试的信度和效度进行分析,保证试题设计与测试过程的科学性,判分的可行性与可靠性,直接决定了高考口语测试举办的成功与否,以及对高中口语教学所产生的正向反拨作用。     

谈信度、效度与学业测试

信度与效度是学业测试的两个质量特征,如何处理两者之间的关系也是测试的根本问题。在介绍信度和效度的定义、关系的基础上,对学业测试中的信度与效度进行分析,并且阐述如何平衡两者之间的关系。最终证明学业测试是一种有效的测量手段,并且必将提高教学质量。     

Rater Certification Tests: A Psychometric Approach

Rater training is an important part of developing and conducting large‐scale constructed‐response assessments. As part of this process, candidate raters have to pass a certification test to confirm that they are able to score consistently and accurately before they begin scoring operationally. Moreover, many assessment programs require raters to pass a calibration test before every scoring shift. To support the high‐stakes decisions made on the basis of rater certification tests, a psychometric approach for their development, analysis, and use is proposed. The circumstances and uses of these tests suggest that they are expected to have relatively low reliability. This expectation is supported by empirical data. Implications for the development and use of these tests to ensure their quality are discussed.     

试析大学英语口语考试的效度和信度

从大学英语口语考试的考试形式、信息输入及评分标准等方面分析了其效度和信度,并对其潜在问题提出了一些建议。     

“Digging for Gold” or “Sticking to the Criteria”: Teachers’ Rationales When Serving as Professional Raters

ABSTRACT

This paper reports findings from a project called “The National Panel of Raters” (NPR) that took place within a writing test programme in Norway (2010–2016). A recent research project found individual differences between the raters in the NPR. This paper reports results from an explorative follow up-study where 63 NPR members were surveyed with 23 items that were dilemma-like in the sense that deviating from the NPR rules would follow another—but socially acceptable—rationale. Four NPR members participated in a follow-up interview in which they motivated why they had agreed or disagreed with certain items. The results indicate two distinctly different stances toward rating work, with one stance threatening the validity of the scoring process.     

英语口语课堂测评与英语口语教学

口语测试越来越受到广大教育工作者的重视,口语测评的课堂化趋势也越来越强。针对目前英语口语教学过程中存在的不足,笔者论述了口语课堂测评的意义、形式、原则、内容和方法。重点探讨了口语课堂测评不同于普通口语测试的原则和口语课堂测评中对于学生6个重点方面的评价内容。     

BEC交际口语测试探析

文章运用指导交际口语测试的语言学理论,探析了BEC交际口语测试的内容与形式,分析了其目的性、情境性、交互性、综合性等特点,并从话语运用和交际策略等方面探讨了商务英语口语能力的培养。     

大学英语口语机考实证研究

通过计算机辅助口语测试和面试的相关性研究,探讨计算机辅助口语测试与面试的可替代性,同时结合问卷调查,了解学生对计算机辅助口语测试的态度、影响口语测试的因素。研究结果表明,计算机辅助口语测试和面试的成绩显著相关,两者具有可替代性;大多数学生认同计算机辅助口语测试这一形式;影响口语测试的主要因素是题目和材料的熟悉程度。     

英语口语测试的信度与效度分析

英语口语考试的信度和效度受口试形式、评分标准和考官素质等多方面因素的影响。提高英语口试的效度和信度,需坚持英语口试形式与内容的统一,设计出科学、客观并具有可操作性的评分标准。高信度与效度的英语口语测试对教学具有积极的反拨作用。     

关于小组讨论形式口语考试的概化研究

小组讨论形式的口语考试既可以提高考试的效率,又能考到总结谈话等面试考试所考不到的谈话管理能力,所以被认为是可以应用在一般教学环境中的有效的口语考试方式。文章利用概化理论对小组讨论形式口语考试的总体信度进行了实证考察,考察结果表明小组讨论形式口语考试有可能被接受的信度。同时,为了最大限度地节省考试的时间和人力等资源,文章研究通过概化理论的D研究在保证考试信度的基础上科学地削减了分项评价项目的个数。     

高校大规模计算机辅助英语口语测试实证研究

文章是关于大规模计算机辅助英语口语测试效果的实证研究报告。文章首先通过对比发现,计算机系统自动化判分与教师评分所得成绩的相关度为0.911,说明计算机评分基本可代替教师评分完成直接型口试任务。其次采用定量和定性分析方法,从受试者和教师角度对大规模计算机口语测试的效度和信度进行分析,论证了高校口语机考的可行性和整体测试效果。