科技奖励评选中同行评议的信度问题研究

伴随着我国科技奖励的建制化发展和科技奖励活动的大规模开展,评选结果的公平性和评选方法的科学性越来越为社会各界所关注。该项研究针对科技奖项评选中通常采用的同行评议方法来讨论两个问题:一是在涉及需要由多个专家对多个被提名者进行打分或排序以遴选出获奖者时,同行评议的信度如何,其结果能否反映被评价对象的真实差异?二是对于同组专家的判断,分别采用打分或排序方法给出晋级名单,这两组名单是否会存在差异?如果把科技奖项遴选中的同行专家评分看做试验,则要考察的评分结果就是试验指标数据,这样就可以通过构建双因素方差分析模型分别来考察成果水平、专家偏好等不可控因素,以及遴选标准、决策规则等人为调控因素的影响。从抽样分析4个学科领域2017-2019年网络匿名评审和专家组会评环节的定比数据及定序数据的结果看,通过汇总专家打分数据并按项目总分决定晋级者的做法会产生较大的系统误差,若按半数以上票数通过的晋级规则,专家组会评的平均信度仅为28.6%,导致在历年获奖的115个项目中,至少有8个项目本应被淘汰却因逆序问题晋级获奖。为此,该研究通过对不同遴选方法测算结果的比较,提出按秩和排序、专家独立投票等减少系统误差、提高同行评议信度的方法,并结合国际著名科技奖项的特点及发展趋势,探讨取消答辩、将专家组会评改为匿名网评的可行性。     

浅议诺贝尔生理医学奖同行评议制度

诺贝尔奖自设立以来,受到整个科学界的瞩目,特别是其在自然科学领域设立的三个奖项,更是成为人类科技进步和文明发展的重要标志.诺贝尔奖各评审委员会一直采用同行评议制度,这种同行评议制度建立在高质量的评议人、严格的评审制度基础之上.但由于其高度的保密性,若干年来诺贝尔奖同行评议制度的运行机制一直并不为人所知.着重介绍了诺贝尔生理医学奖的同行评议制度,并对比国家自然科学奖评审制度,揭示其对我国同行评议制度的启示.     

国外期刊小组同行评议与协作同行评议模式研究

[目的]分析和讨论国外学术期刊中近期开展的小组同行评议与协作同行评议的概念、流程以及优缺点,为国内期刊同行评议制度的改革提供借鉴与参考.[方法]检索Web of Science、PubMed数据库与网络信息,筛选、整理这两种同行评议模式的相关文献与资料,采用文献综述法进行主题归纳与分析.[结果]这两种同行评议模式都可能...     

国家科技计划项目同行评议管理现状及发展

国家科技计划项目政府资助资金量大、公益性强,受到社会广泛关注。在国家科技计划项目管理中,同行评议是项目管理结论的重要依据。目前,国家科技计划项目管理专业机构通过国家科技项目评审专家库遴选专家,存在专家选取难以精准、专家水平良莠不齐、考核专家难以实施、专家意见未能反馈给项目单位、专业机构对同行评议过度依赖等问题。建议完善专家管理和遴选、合理使用同行评议意见、加强监管和问责,以充分发挥同行评议的支撑和咨询参考作用。     

简议科技管理中的同行评议

科学技术的发展进步对科技管理提出了新的更高要求,科技评价作为科技管理的重要环节,是对科学技术活动进行监测、调控、管理的手段,一直以来都是科技管理界研究的重点。其中同行评议被广泛应用于项目、成果、人才、期刊出版等科学活动中,但同时也存在争议,文章就同行评议在应用当中的利与弊进行了阐述,并提出了发展完善同行评议的建议。     

同行评议中专家识别研究

同行评议方法在评审科研项目申请、科学出版物,评定科研成果、学位与职称、研究机构(优秀人才、学术团队)的运作等方面发挥不可替代的作用。实践表明：影响同行评议方法使用效果的两个关键环节是评价标准的制定与同行专家选择,排除评价标准制定的不科学性,专家选择则成了影响评议质量的比较关键的因素。在此,结合专家库建设的研究,初步提出了专家识别标准与指标体系。     

科学基金项目同行评议体系探讨

在分析科学基金同行评议现状的基础上,结合我国的具体情况,从选择评议专家、建立统一的专家库、加强评议专家的自身修养、利用微机化和网络化管理采取双盲评审制度以及对专家评议状况进行评估等方面对完善科学基金项目的同行评议体系进行了探讨。旨在提高科学基金项目同行评议的质量,从而提高科研投入的使用效益与效率。     

同行评议中的著作权保护问题

本文根据我国《著作权法》的有关规定,简要论述了同行评议中著作权保护的重要性及其涉及的主要内容,指出了当前存在的某些值得注意的倾向,提出改进工作的意见。     

科技期刊开放性同行评议可行性探究

【目的】 进一步推动科技期刊开放性同行评议的研究、变革与实践。【方法】 将开放性同行评议与传统的封闭式同行评议进行比较,对开放性同行评议的优势进行论述。【结果】 开放性同行评议的评议过程具有透明性、公开性、公平性和公正性的特点;使同行评议系统的层次性质平坦化;提高期刊内容的传播速度;为评议人员赢得声誉与尊重;进一步提高稿源质量和期刊质量;有助于科技期刊吸引更多的开创性、冒险性的作者;创造自由讨论的公共学术研究环境。【结论】 开放性同行评议给作者、评审人员、科技期刊、读者和学术界都带来大量的利益,科技期刊应该更新办刊理念,尝试探索开放性同行评议。     

完善科学基金项目同行评议体系的探讨

在分析科学基金同行评议现状的基础上,结合我国的具体情况,从选择评议专家、建立统一的专家库、加强评议专家的自身修养、利用微机化和网络化管理采取双盲评审制度以及对专家评议状况进行评估等方面对完善科学基金项目的同行评议体系进行了探讨,旨在提高科学基金项目同行评议的质量,从而提高科研投入的使用效益与效率．     

运用进化论完善我国科技管理同行评议专家制度

在一个国家的科技生态系统中,财政科技投入是有限的生态资源,同行评议专家的工作决定了科研人员在系统中获取科研资源的多少,同时也决定了国家财政科技投入的绩效优劣。本文试用进化论的观点来完善当前同行评议专家制度不足,关联同行评议专家和科研人员工作,激励一线优秀的科研人员积极主动参与同行评议专家工作,让具有科研精神的科研人员通过内部有序竞争获得有限的科技生态资源,让国家科技生态系统良性发展,让财政科技投入真正起到科技创新引领的作用。     

同行评议法在地方科技成果评价中存在的问题及建议

同行评议法是目前进行地方科技成果评价应用最普遍的方法,然而由于该方法体系不完善、评价方法不规范等问题,严重影响了评价工作的客观性与公正性。本文以地方科技成果评价中采用同行评议法为研究内容,分析其在评价过程中所暴露出的主要问题,并提出相关的改进措施,使同行评议法更加完善规范,能够客观、真实、准确地反映出所评价的成果的真实情况。     

再论同行评议的功能

1 问题的提出1997年,美国国家科学基金会(NSF)正式实施新的同行评议准则。同行评议准则的修订工作是在国家科学理事会(NSB)授意下,由NSF的副主任Petersen领导的两个研究小组在近两年的时间内完成的。NSF修订前的同行评议准则是1981年经NSB批准实施的,主要内容有4条:(1)研究能力,(2)研究的内在价值,(3)研究的实用性和相关性,(4)研究对科学和工程基础设施的影响。修订后的准则只有两条:(1)申请项目的科学价值和质量。主要内容包括:该申请有多大可能大大增加本学科和其他学科的新知识?     

对同行评议专家评议工作进行评估的一些思考

国家自然科学基金项目评审工作主要包括三个环节，即同行通讯评议、项目主任综合同行通讯评议意见和学科评审组会议评审，同行通讯评议和学科评审组会议评审都属于同行评议。其中，同行通讯评议所起的作用不仅至关重要，而且也是后两个环节的基础。同行评议是基金项目评审的核心，也是     

同行评议中的越轨及控制

同行评议起源于专利制度,在基金申请项目评审、成果鉴定等方面有广泛应用。其不完善性和越轨越来越受到重视。在基金申请项目评审时,越轨表现在四个方面:剽窃、无意识的越轨、因权重不当产生的越轨和因私人感情产生的越轨。成果鉴定中同行评议的越轨主要表现在五个方面:专家提名与优选中的越轨;鉴定中的马太效应;同行专家少,行政人员多;鉴定结论的“自评”;有意抬高成果水平。文章对如何控制或防止越轨行为还提出了建议,包括增强社会控制、提倡科学道德等。