自学考试的效度及其证据来源探析

效度是衡量考试科学性的重要指标,反映考试在多大程度上实现了测量目的;效度验证也成为测验开发的重要环节,用以支持分数解释及测验使用。本文简要介绍了效度概念的内涵及效度验证的发展历程,并尝试将效度整体观引入自学考试领域,对自学考试的效度验证及其证据来源进行初步探索。本文提出,自学考试应从命题管理的各个环节系统地收集证据进行效度验证,效度证据的来源包括测验内容、反应过程、测验内部结构、测验评分、跟外部变量的关系、测验后果等多个方面。     

效度概念的演进与课堂评价的效度

效度观经历了一个从单一概念到多种概念并存,再到一体化概念的演进过程。效度是大规模评价的一个重要的质量指标,并不完全适用于作为教学有机组成部分的课堂评价。课堂评价需要不同的效度观,课程效度和后果效度是最适合课堂评价的质量标准。这需要课堂评价是基于课程标准的评价和促进学习的评价。     

“效度一元化”对效度理论发展的影响

“效度一元化”是效度概念综合科学层面和实践、社会层面要求的产物.本文主要论述了“效度一无化”的理论根源及发展过程,并以Stuck,Ivan的研究为例着重分析了测量学界对Messick的“效度整体观”的质疑,探讨其对效度理论发展的影响.     

全国翻译专业资格(水平)考试英语二级笔译试题效度分析

全国翻译专业资格(水平)考试(CATTI)是为加强我国外语翻译专业人才建设于2003年形成的一项新兴考试。本文选取2010年下半年至2011年下半年三次二级笔译试题为研究对象,从内在效度、外在效度、使用效度这三个方面对该试题进行效度分析,以期对提高试卷质量有一些帮助。     

试析课程实验中的效度问题

课程实验是课程研究的一种重要的科学方法。课程实验中的效度问题是衡量课程实验质量优劣,标志课程实验科学化水平的最重要因素,也是制约和决定课程实验能否推广的根本因素。分析制约课程实验效度的具体因素,提出提高课程实验效度的策略,具有一定的理论价值和现实意义。     

二语习得中实验研究的效度问题

效度是评价实验研究的一个重要标准.其中内部效度和外部效度是两个最重要的方面.但是在实验过程中,存在着许多干扰实验效度的因素.本文首先对这些干扰变量进行了分析,并提出了一些建议以供研究人员参考.     

论课堂评价的后果效度

评价必然会产生多方面的后果。后果效度应当是评价的一个重要质量标准。尽管在传统的效度理论中后果效度并不是一个主流的效度概念,但对于以促进学生学习为目标指向的课堂评价,后果效度应当是关键的质量指标。课堂评价的后果效度要关注对学生学习的引导,关注评价对教学决策的支持,更要关注学生在评价过程中的学习。     

语言测试中基于论证的效度验证模式述评

基于论证的效度验证模式是一种规定了收集各种效度证据的先后顺序,可以呈现各证据之间内在联系并对这一过程进行评估的效度验证模式.该模式由解释论证和效度论证两部分组成,依据Toulmin模式对效度进行论证,近年来这一模式的影响力在不断扩大.本文详细介绍了这一模式的具体程序和典型特征,并在将其与效度整体观进行比较后指出该模式遵...     

基于Toulmin模型的效度论证及其在MHK效度论证中的应用构想

效度之于测验的重要性毋庸赘言。无论是开发还是评估一个测验,效度在其中都处于核心地位。而效度论证与效度又有所不同,它是一个收集和使用证据来对效度进行论证的过程,研究者对效度概念的认识不同,相应的效度论证模式也会有所不同。效度及其论证在经过了长期的发展后,效度的内涵以及效度论证的操作方式也都变得丰富和多样。近年来,基于论证的效度验证模型的提出越来越受到学者们的欢迎,特别是它在效度论证中引入了Toulmin逻辑模型进行论证,在很大程度上克服了效度论证的一些困难。本文将对此做一些详细的介绍,并借鉴该理论为实际应用提出一些建议。     

心理实验设计与评价的初步分析

文章对心理实验设计与评价做了初步分析,重点探讨了影响心理实验设计、实施、解析、推广、评价等工作的重要因素——心理实验效度,提出了提高心理实验效度的方法,即依据研究目的,进行最佳实验设计及依据实验设计,进行最佳实验控制。并对心理实验设计的评价标准进行了举例分析。     

效度论证范式下的ECD测试设计框架——我国教育考试国家题库的升级路径之一

进入效度整体观时期,测试效度研究衍变为用尽可能多的"证据"支持考试的有效性,效度论证成为检验效度的基础。"以证据为中心的测试设计"(ECD)本着一切服务于效度论证的宗旨,依托计算机技术与思维,以教育测量与统计原理为方法,将测试设计过程模块化,最大程度地使围绕测试效度的全部证据联系在一起,成就测试的"证据链"。我国教育考试国家题库的升级可参考ECD的效度论证框架,以效度为重、以证据为先,建立被试思维和模块思维,从根本上提高教育考试的科学性。     

统一构念效度及其特性

随着心理测量理论的发展,统计方法和计算机技术的更新,以及人们对于考试维权意识的增强,效度概念的内涵和外延在不断发展变化。效度在考试质量评价中的地位不断得到提升,已经成为测量评价中最重要的方面。本文通过对Messick的统一构念效度理论的阐释,总结统一构念效度在实际运用中所具有的特性,以加强对统一构念效度的理解与运用。     

阅读测试理论效度和效标关联效度研究

本文采用定性和定量分析相结合的方法对高校小规模的英语专业学生期末阅读理解测试的理论效度和它与CET6阅读理解之间的效标关联效度进行了研究。研究结果表明，期末阅读测试基本上考查了受试者的阅读理解能力，在很大程度上反映了其理论效度；它与CET6阅读理解相比，也有一定的效标关联效度，但仍需要较大改进。期末阅读测试应把重点放在测试理解上下文的逻辑关系、根据所读材料进行一定的判断、推论、领会作者的观点、态度和意图等项目上，应尽量少设计单纯的词汇和语法题项，以进一步提高其理论效度。     

单一被试实验研究中的效度问题

本文从理论与操作两个层面叙述了单一被试实验的效度问题.在理论层面,借用简单共存类比、合情推理与证伪法的思想论证了单一被试实验设计的合理性.在操作层面,从直接复制、系统复制与临床复制三方面论述了提高单一被试实验效度的可能性与可操作性.     

TEM 8成段改错试题的效度分析

文章结合2001-2006年的TEM 8成段改错试题,采用定性研究验证成段改错的效度。通过试题分析及内容效度和结构效度分析,认为TEM 8成段改错试题的内容效度不完善,没有体现当前新的交际语言能力观。最后提出建议认为应该在设计试题时,把重点放在意义的理解和辨别上,并应增加对于文本的得体性的考察。     

效度的评价标准

效度没有绝对的评价标准。通常,测验的效度系数应该达到统计显著性水平,如0．05或0．01。各种不同类型的测验效度的要求也不相同。一般来说,两种不同的标准测验之间的效度系数,或者两种不同的智力测验之间的效度系数应在0．60～0．80才符合基本要求;     

如何分析心理测验的内容效度

我们知道,效度(validity)是指心理测验测量到它所要测量的事物属性的程度。心理测验效度,通常可以分为三大类型,即内容效度(content validity)、效标效度(criterion validity)和结构效度(construct validity)。内容     

扩大学生参与的信度和效度

教学质量的优劣,人才素质的高低,教育目标的得失与学生参与教学活动的数量、质量、广度、深度、力度密切相关.本文从学生参与的广泛性、针对性、层次性三个方面阐述了教学如何自觉追求扩大学生参与的信度和效度.     

测验效度概念的新发展

1985年《教育与心理测验标准》(第5版)出版之前,效度研究的核心概念是"效标(criterion)",效度研究被视为一种用"效标"对测验的效度进行证明(verify)、对测验分数做出有效(valid)解释的过程。1985年以后,效度研究的核心概念是"证据(evidence)",效度研究被视为一种通过积累证据对测验的效度进行支持(support)、对测验分数做出合理(reasonable)解释的过程。关于效度的这种理解,突出体现在1999年出版的《教育与心理测验标准》(第6版)中。美国教育协会和美国国家教育测量学会共同组织编写的《教育测量》在业内被称为"教育测量领域的《圣经》"。2006年《教育测量》(第4版)出版以后,效度研究的核心概念演变为"理由(warrant)",效度研究被视为一种通过构造"理由系统"和"理由网络"对效度进行"论证(argument)"、对测验分数做出可接受的(plausible)解释的过程。本文结合笔者的考试实践,介绍了效度概念的新发展。     

外语形成性评估的效度验证框架

本文基于国外学者对形成性评估效度和信度理论的研究,提出适用于形成性评估的效度验证框架。本框架采用Messick(1989)的"整体效度观",把形成性评估的效度界定为,评估结果的解释和使用是否和在多大程度上真正促进了学生学习的进步?效度验证应当从评估的构念、任务、过程、结果的解释和使用、后果和课堂环境等方面收集证据。参照BachmanPalmer(2010)的AUA模式,本框架明确了效度验证所要回答的问题及其研究方法。