A Critical Review of Some Qualitative Research Methods Used to Explore Rater Cognition

Internationally, many assessment systems rely predominantly on human raters to score examinations. Arguably, this facilitates the assessment of multiple sophisticated educational constructs, strengthening assessment validity. It can introduce subjectivity into the scoring process, however, engendering threats to accuracy. The present objectives are to examine some key qualitative data collection methods used internationally to research this potential trade‐off, and to consider some theoretical contexts within which the methods are usable. Self‐report methods such as Kelly's Repertory Grid, think aloud, stimulated recall, and the NASA task load index have yielded important insights into the competencies needed for scoring expertise, as well as the sequences of mental activity that scoring typically involves. Examples of new data and of recent studies are used to illustrate these methods’ strengths and weaknesses. This investigation has significance for assessment designers, developers and administrators. It may inform decisions on the methods’ applicability in American and other rater cognition research contexts.     

Rater Cognition: Implications for Validity

The scoring process is critical in the validation of tests that rely on constructed responses. Documenting that readers carry out the scoring in ways consistent with the construct and measurement goals is an important aspect of score validity. In this article, rater cognition is approached as a source of support for a validity argument for scores based on constructed responses, whether such scores are to be used on their own or as the basis for other scoring processes, for example, automated scoring.     

教师评分员与非教师评分员对口语评分的对比研究

通过对比分析10位教师评分员和10位非教师评分员,对30位考生的口语故事复述进行评分,利用t-检验和FACETS分析发现:在任务简单的评分工作中,非教师评分员和教师评分员一样可信、有效。     

《高职高专院校人才培养工作水平评估方案(试行)》解读

《高职高专院校人才培养工作水平评估方案(试行)》，是高职高专院校做好评估工作的直接依据。认真学习和理解评估方案精神，对于贯彻落实评估工作的“二十字”方针具有十分重要的意义。     

浅谈开发建设项目水土保持设施验收技术评估

开发建设项目水土保持设施验收技术评估是依据相关水土保持技术标准和批复的水土保持方案及其设计文件,对水土保持方案落实情况、水土保持措施及投资、水土流失防治工作及防治效果等方面进行评估,其中评估范围和资金使用相对批复的水土保持方案易发生变化,应根据实际情况对所做调整进行详细说明。六项指标是评估的重点。评估过程做到对象全面,重点突出,为水土保持设施的行政验收做好准备。     

高校师生对CAT技术主观认知的调查分析

在翻译专业本科到硕士层次的教育中,计算机辅助翻译技术(CAT)已成为翻译教育不可或缺的重要手段。本文通过对港台、大陆相关文献的分析和网络问卷调查,研究了全国范围内翻译专业教师与学生对于CAT技术的认知态度、学习难度、接受倾向、教学方法偏好等主观认知,以期对于翻译教育技术策略调整和改革提供有价值的参考意见。     

网络语言认知情况的社会调查与分析

文章主要是针对网络环境下人们对网络语言“网语”的认知、使用情况、“网语”与汉语言关系、“网语”评价等问题而进行的一项调查。着重从男女、城乡、学生与非学生等三组数据提出分析,指出网络语言已成为一种社会文化,社会及语言的发展不能拒绝“网语”;越来越多的人在使用“网语”,并将之深入到工作、学习和日常交际之中,对此现象应当重视并细致分析,进而有效地规范和引导,并特别注意到学生人群的认知变化。     

2002年950名武汉居民糖尿病基本知识认知现况调查

调查显示,武汉市950名居民糖尿病相关知识的认知水平整体偏低,日常生活方式的科学性尚未普遍养成,是糖尿病患病率逐年增高的重要因素。降低糖尿病患病率,应将提高居民文化素质作为重要内容,将低文化及高收入人群作为重点对象,将强化全民健康教育作为重要环节,将增强居民自我保健意识作为重要保证,将优化社区医疗保健服务作为重要途径。     

认识对象论

在由认识主体、认识中介和认识对象组成的认识结构系统中,目前认识论研究中对认识对象的探讨显得非常滞后。然而,随着当代社会和科学技术的迅猛发展,纳入实践活动和认识视野中的对象更加繁杂多样、变化多端,亟待从理论层次上予以抽象、分类和透视。马克思主义哲学的实践论提供了解决认识对象论的前提和思路,本文以此为根据分析了认识对象的类型,概述了认识对象的特征和功能,初步勾勒出认识对象论研究的框架结构。     

湖职院学生体育课认知水平的调查分析及对策研究

以湖州职业技术学院和湖州广潘电视大学2006年度上公共体育课的班级为研究对象,通过采用文献资料、问卷调查、访谈法、逻辑分析法相结合的研究方法,对学生体育课认知水平进行调查分析,结果发现对体育功能认识不清、体育文化素养缺乏、体育学习习惯固化,社会需求表现不足是构成学生体育课认知水平较差并影响的主要消极因素,并结合问题提出相应对策。     

研究生课程微弱信号检测技术的考核方式探析

在分析目前研究生课程考核的主要方式基础上,结合微弱信号检测课程的教学内容和教学目标,提出适合该课程的"课堂理论测试+文献阅读+实验测试+研讨汇报"等形成性考核方式,并在近几年的研究生教学中进行探索,收到较好的效果。形成性考核方式能更客观、更准确地反映研究生的知识水平和实践能力,对他们知识的积累和能力的培养有促进作用,对其他研究生课程的考核有借鉴作用。     

从跨文化角度对比分析英汉语中黑色的隐喻认知

以大量翔实的与颜色词＂黑＂有关的隐喻表达为语料,从跨文化角度对英汉语中黑颜色的隐喻认知进行对比分析,并对黑颜色隐喻认知是如何根植于英汉文化中进行探究,以期能帮助英汉语习得者在跨文化交际时减少语用失误,进而有助于提高其跨文化交际能力。     

重点实施九大工程,全面推进评估建设

根据河池学院迎接教育部本科教学工作水平评估的需要,结合学院实际和评估指标体系,提出评估建设的九大工程和建设目标.在分析学院办学历史、办学环境和办学条件的基础上,对学院的办学指导思想和办学特色提出自己的见解.     

分布式认知视域下的课堂教学质量评估模式探析

从分布式认知角度,分析了教学效果与教师、学生、组织、学校、社会等多层面的关系。采用模糊综合评价法,对影响课堂教学效果的因素、构成进行实证研究,提出了一套实用性和操作性较强的评估模式。     

高职学生对艾滋病的认知情况调查

对襄樊市1819名大、中专学生进行了艾滋病防治有关知识、性观念、对艾滋病患者的态度、获得艾滋病知识途径的问卷调查,调查结果显示：高职学生对艾滋病传播途径的正确回答率为81．1％。对艾滋病的非传播途径认识较为模糊;艾滋病预防知识的平均正确回答率仅为66．1％;高职学生对艾滋病防治知识的认知程度高于中专学生,而医学类学生又明显高于非医学类学生。襄樊市高职学生对艾滋病的防治知识已有不同程度的了解,但仍需大力加强学校艾滋病健康教育,以阻断艾滋病在青年学生中的传播。     

论影响人的社会认知的心理因素

人的社会认知是个人对他人的心理状态、行为动机和意向作出推测与判断的过程。影响社会认知的因素很多 ,主要有认知对象本身的特点、社会情境、认知者本身的特点等因素。     

构建社会主义认知新模式研究

社会主义既有实践模式,也有认知模式。认知模式不同于实践模式。认知模式包括基本理念、思维方法、叙述框架和分析范畴,等等。中国传统的社会主义认知模式来源于斯大林的理论,存在一定的片面性。改革开放的新时期,中国特色社会主义实践的新格局,提出了从理论上重新认识社会主义的时代要求,构建社会主义认知模式具有重要的现实意义。     

英国高考中的表现性评价:中心评审课程作业

英国普通教育证书高级水平考试相当于中国的高考制度,其特征之一在于大规模运用了中心评审课程作业.它是指在平时教学过程由教师布置或者学生自定的、需要学生实际表现的较为真实的任务,如实验、调查、野外考察、论文报告等.课程作业的具体评分工作由各中心的教师负责,评分的标准和政策则由全国性的大学入学考试机构统一制定.英国的中心评审课程作业,也即表现性评价.它的成功经验表明,只要设计合理,表现性评价可以较好地纳入公开考试之中,这对中国的考试改革具有重要的启迪意义.     

《形成性考核及学习档案》使用调查报告

研究采用问卷调查的方法,以云南电大开放教育专科英语专业的学生为样本,对云南地区学习使用“综合英语(1)、(2)、(3)”《形成性考核及学习档案》的基本情况,进行定量分析,结合学员的反馈意见,对使用《形成性考核及学习档案》,促进学生自主学习,提出了转变学习理念,培养自主学习能力;加强信息技术素养意识;完善学生学习支持服务等意见。     

知情交融理论对高职英语教学的启示

知情交融理论以情绪心理学为基础,把认知和情绪有机地统一起来,实现认知与情绪的有机交融、相互促进,从而提高教学效果。针对高职英语教学中存在的问题,将知情交融理论应用于英语教学,就适合高职英语教学的有效方法进行探讨。