选择同行评议专家的指标体系

本文主要从同行评议专家基本情况指标、修养指标、评议工作业绩指标三个方面,较系统地论述了同行评议专家的指标体系.     

科技奖励中同行评议的探讨

科技奖励是社会奖励系统的一个组成部分,是实施科学管理的重要手段,其根本宗旨是激励广大科技人员的积极性,创造一个崇尚科技、尊重科技人才的社会环境,同时在宏观上引导科技为国民经济和社会发展服务。要确保科技奖励以普遍性方式运行,其关键在于奖励的评审,即评奖。只有评奖工作做得好,才能使科技贡献和科技荣誉保持高度的一致,真正实现科技奖励的激励作用,产生“奖励一个人,鼓舞一大片;奖励一个项目,鼓励许多课题”的积极效果。科学社会学的研究表明,科技奖励是由同行评议来分配的。然而目前许多研究表明：我国的同行评议存…     

科研项目同行评议专家水平的评价研究

针对如何评价科研项目同行评议专家水平的问题,分析了评价同行评议专家水平应考虑的主要因素,建立了一套包括科研活跃程度、评审业绩和工作态度等三个方面的评价指标体系,并进一步给出了各指标的度量方法,在此基础上,结合科研项目评审工作的实际需求,采用加权和法计算同行评议专家水平的评价值并进行排序,最后通过一个算例说明了给出方法的应用.     

同行评议中专家识别研究

同行评议方法在评审科研项目申请、科学出版物,评定科研成果、学位与职称、研究机构(优秀人才、学术团队)的运作等方面发挥不可替代的作用。实践表明：影响同行评议方法使用效果的两个关键环节是评价标准的制定与同行专家选择,排除评价标准制定的不科学性,专家选择则成了影响评议质量的比较关键的因素。在此,结合专家库建设的研究,初步提出了专家识别标准与指标体系。     

同行评议法在地方科技成果评价中存在的问题及建议

同行评议法是目前进行地方科技成果评价应用最普遍的方法,然而由于该方法体系不完善、评价方法不规范等问题,严重影响了评价工作的客观性与公正性。本文以地方科技成果评价中采用同行评议法为研究内容,分析其在评价过程中所暴露出的主要问题,并提出相关的改进措施,使同行评议法更加完善规范,能够客观、真实、准确地反映出所评价的成果的真实情况。     

科技奖励评选中同行评议的信度问题研究

伴随着我国科技奖励的建制化发展和科技奖励活动的大规模开展,评选结果的公平性和评选方法的科学性越来越为社会各界所关注。该项研究针对科技奖项评选中通常采用的同行评议方法来讨论两个问题:一是在涉及需要由多个专家对多个被提名者进行打分或排序以遴选出获奖者时,同行评议的信度如何,其结果能否反映被评价对象的真实差异?二是对于同组专家的判断,分别采用打分或排序方法给出晋级名单,这两组名单是否会存在差异?如果把科技奖项遴选中的同行专家评分看做试验,则要考察的评分结果就是试验指标数据,这样就可以通过构建双因素方差分析模型分别来考察成果水平、专家偏好等不可控因素,以及遴选标准、决策规则等人为调控因素的影响。从抽样分析4个学科领域2017-2019年网络匿名评审和专家组会评环节的定比数据及定序数据的结果看,通过汇总专家打分数据并按项目总分决定晋级者的做法会产生较大的系统误差,若按半数以上票数通过的晋级规则,专家组会评的平均信度仅为28.6%,导致在历年获奖的115个项目中,至少有8个项目本应被淘汰却因逆序问题晋级获奖。为此,该研究通过对不同遴选方法测算结果的比较,提出按秩和排序、专家独立投票等减少系统误差、提高同行评议信度的方法,并结合国际著名科技奖项的特点及发展趋势,探讨取消答辩、将专家组会评改为匿名网评的可行性。     

同行评议中审稿人遴选方式对审稿结果的影响——以《自然科学进展》为例

综述了科技期刊履行同行评议的现状及其缺陷和存在问题；通过对2002年度《自然科学进展》稿件审理结果的统计分析，发现采用作者所推荐的审稿人会明显有利于提高相应稿件的被录用的几率与发表；此外，通过对《自然科学进展》的不同学科稿件的录用与退稿情况对比分析，发现不同学科责任编辑对于稿件录用标准存在着明显差异。建议编辑不要全部采用作者推荐的审稿人评审稿件，并且在审稿单中应附注一些简略的“评审指南”。     

构建科学的同行评议专家综合评价体系研究

科学基金的评审普遍采用同行评议方法,它是一种有效且可行的方法,被广泛应用于科研管理。但同行评议方法具有一定的局限性,受到国内外学术界的批评,争议的核心主要是针对同行评议专家。因此,对评审专家的学术水平和评审能力进行评估迫在眉睫。文章利用层次分析方法构建同行评议专家综合评价体系对专家基本信息和评审信息进行评价,基本信息包括专家个人资历、科研能力,评审信息包括评审离散率、评审有效性和评审态度。通过对评价指标量化处理,确定了指标权重,为更好地筛选、调整专家提供了借鉴。     

科技评价中评价者与外部专家的互动研究

在分析科技评价要素与外部专家关系的基础上,将外部专家对科技评价的贡献进行分类,进而分析评价者应该向外部专家提供哪些信息,最后就评价者与外部专家互动的注意事项进行了讨论.研究认为,科技评价工作是一项复杂的系统工程,仅靠评价者独自的力量想做好评价工作是比较困难的,外部专家的作用不仅仅是同行评议.必须充分尊重外部专家的意见,做好评价工作的组织与管理,提高与外部专家沟通的效率,从而保证评价工作的质量.     

同行评议专家信誉评价体系构建及实证研究

从专家业务能力和评审信誉两个方面构建同行评议专家信誉评价体系,建立评价指标度量,利用层次分析法和熵权法提高评价结果的有效性,并进行实证研究,对科学合理可操性的专家信誉评价体系进行探索。     

科学基金同行评议中的利益冲突管理——基于美国国立卫生研究院的经验

从法律制度体系、对利益冲突的界定、利益冲突类型及处理措施、豁免规定等方面,深入剖析了美国国立卫生研究院同行评议活动中的利益冲突管理体制机制及其规律,总结了其利益冲突管理方面的经验,以期对促进我国科学基金同行评议制度建设提供借鉴参考。     

科技期刊开放性同行评议案例研究

【目的】 为我国科技期刊实施开放性同行评议(Open Peer Review,OPR)提供参考,以促进我国科技期刊在同行评议中增加开放性,进一步符合科学开放性精神。【方法】 对PLoS One、Atmospheric Chemistry and Physics、 F1000Research、The Semantic Web Journal和《心理学报》的开放性同行评议过程进行调查研究。【结果】 5种期刊表现出许多相同的OPR特征,但都没有以相同的方式实施OPR,体现了OPR实践过程的多样性特征。【结论】 我国科技期刊应根据实际情况,灵活有效地将开放获取及OPR的优势与传统同行评议优势相结合,优化OPR实施流程。     

开放评议与双盲评议在国际科技期刊质量控制中的价值

【目的】了解国际科技期刊在开放评议和双盲评议方面的实践,探索这两种评议方式的优缺点及对科技期刊质量控制的价值。【方法】对国际科技期刊实行开放评议和双盲评议的案例进行调研,如BMC系列期刊、F1000Research、Nature系列期刊等。【结果】有越来越多的期刊在尝试这两种方式,它们在减少传统单盲评议的偏见方面发挥了一定作用,但也带来了新的问题。【结论】开放评议和双盲评议适合于不同类型的期刊。期刊应根据自身的学科特点、学术定位来选择适合自己的同行评议方式,并在实践中不断评估,对之进行适当的调整。     

中国科技期刊引入开放同行评议机制的思考与建议

【目的】 为促进科学传播、提升期刊影响力,探讨中国科技期刊试验开放同行评议的可能方式。【方法】 首先,从公开内容、参与范围、公开时间3个维度对同行评议机制的开放程度进行界定;然后,从同行评议本身的目标和需求出发,利用象限分析法对传统同行评议和开放同行评议进行分析;最后,提出支持措施以增强开放同行评议的积极作用,提出规避措施以消减其消极作用。【结果】 提出中国科技期刊试验开放同行评议的实践建议：在继续优化传统同行评议机制的同时,引入某些开放同行评议的做法,从而提高同行评议的综合质量和影响。【结论】 研究成果能够为开放同行评议制度的制定以及实践提供借鉴。     

科技期刊开放性同行评议可行性探究

【目的】 进一步推动科技期刊开放性同行评议的研究、变革与实践。【方法】 将开放性同行评议与传统的封闭式同行评议进行比较,对开放性同行评议的优势进行论述。【结果】 开放性同行评议的评议过程具有透明性、公开性、公平性和公正性的特点;使同行评议系统的层次性质平坦化;提高期刊内容的传播速度;为评议人员赢得声誉与尊重;进一步提高稿源质量和期刊质量;有助于科技期刊吸引更多的开创性、冒险性的作者;创造自由讨论的公共学术研究环境。【结论】 开放性同行评议给作者、评审人员、科技期刊、读者和学术界都带来大量的利益,科技期刊应该更新办刊理念,尝试探索开放性同行评议。     

科技期刊同行评议可检验规范最佳实践

【目的】提出科技期刊同行评议可检验规范最佳实践,为国内科技期刊的同行评议工作提供参考。【方法】 通过对国际高水平期刊同行评议的案例分析,总结其经验和特点,以此为借鉴,针对国内科技期刊同行评议中的问题,形成最佳实践。【结果】 围绕同行评议的三方主体——审稿人、编辑、作者,详细阐述各自的最佳实践。审稿人、编辑、作者这三方主体在同行评议中承担不同的角色,因此应承担的责任和义务不同,每一方主体在评议前、评议过程中及评议完成后都需要遵从一定的规则、完成一定的工作,以维护学术诚信,保证同行评议的科学、客观、公正。【结论】 同行评议可检验规范最佳实践建立在对国际高水平期刊同行评议实践分析的基础上,具有详尽性、通用性和可操作性的特点,有利于改善国内科技期刊同行评议的客观性和公平性。     

科技期刊开放式同行评议模式探索

[目的]同行评议是科技期刊出版过程中至关重要的部分,其重要性已被广泛认可,探索开放式同行评议模式以期为中国科技期刊实现有效的开放式同行评议提供参考。[方法]在分析同行评议的定义及现有模式基础上,探讨了科技期刊开放式同行评议的优势、劣势、机遇和挑战。[结果]提出了三类开放式同行评议模式,即完全开放式同行评议、有限开放式同行评议和部分开放式同行评议。[结论]不同的开放式评议模式具有不同的适宜性,可以很好的实现科技论文评审的透明性和公正性,需要在鼓励专家学者参与、审稿形式标准化、审稿平台建设、编辑能力培养上继续改进。     

第三方审稿平台及其在国内科技期刊领域实施的可行性

【目的】 借鉴国际科技期刊同行评议的经验,进一步推动中文科技期刊同行评议方式的研究、改革和实践。【方法】 通过文献综述和网站调研的方法,介绍国际上第三方审稿平台的运行模式和发展状况,提出创新国内科技期刊审稿方式的建议。【结果】 独立于期刊的第三方审稿服务颠覆了传统模式中审稿人、作者、编辑之间的关系,具有公开、公平和公正的特点,既可以加快期刊内容的传播速度,又能提高审稿人的积极性,还能提高稿源质量和期刊质量。【结论】 由期刊集群建立第三方审稿服务平台,可规范服务流程,在我国科技期刊领域中具有可行性。     

国际科技期刊同行评议的实践与特点

【目的】对国际大型出版机构和高水平期刊的同行评议实践进行分析,总结其特点,寻找可供借鉴的方面。【方法】 选取国际上一些高水平科技期刊,包括商业出版机构Elsevier和Nature出版集团的期刊,学协会出版机构OSA的期刊,以及PLoS ONE和Cell期刊为例,进行案例分析。【结果】 国际期刊的同行评议一般有相对比较完整、细致的规范,科学的组织流程,有效的质量控制手段,评议结果更详细、透明,更具建设性,因此,也更易被被评议者——稿件的作者接受。【结论】 国内科技期刊应制定详尽的同行评议政策,充分发挥编委在同行评议组织中的作用,提供有效的保障手段,为审稿人提供多样化的激励机制,也可以充分利用一些国际组织的相关政策和指南,通过这些途径进一步提高国内期刊同行评议的质量和效率。     

科技期刊实施开放式同行评议策略研究

【目的】 调研国内外科技期刊实施开放式同行评议(Open Peer Review,OPR)的策略,并对其进行比较分析,以期为OPR相关理论和实践研究提供参考。【方法】 通过在30种科技期刊官方网站收集数据,总结OPR期刊的特点,比较各期刊在采取审稿模式、公开审稿人身份、公开审稿意见和给审稿人认可等方面采取的不同策略。【结果】 所调研期刊中绝大多数是出版集团拥有的开放获取期刊,其中50%是生物医学类期刊。在所调查的3种OPR模式中,70%期刊采取模式2,即公开评审结果模式;23%采用模式1,即审稿中增加公众评议环节;7%采用非主流模式3,即通过出版“同行评议书”的方式公开稿件评审过程。即使采用同一种OPR模式的期刊,其具体做法也不尽相同。71%的期刊采取自愿署名或匿名审稿政策,只有29%的期刊要求审稿人实名审稿。小部分期刊采取给评审报告添加DOI方式激励审稿人审稿。【结论】 当前国内外科技期刊对OPR的研究和实践还处在初级阶段,实施OPR的期刊总体数量偏少,今后还需要各期刊根据自己的特点探索适合自己实施OPR的策略。