绝对颠覆性指数与同行评议指标及CNCI的关系：基于病毒学论文的研究

[目的 /意义]探索绝对颠覆性指数DZ与Faculty Opinions同行评议指标和引证指标CNCI间的相关性,揭示Faculty Opinions同行评议指标在研究论文颠覆性创新早期识别中的效果。[方法 /过程]通过对选出的140篇研究论文的绝对颠覆性指数DZ、Faculty Opinions同行评议指标[包括同行评分（FScore）、同行评级（FStar）、评价次数（FTime）、加权评级（FStar＿w）、加权评价次数（FTime＿w）]和影响力指标CNCI进行相关性分析,并对高颠覆性文献、Faculty Opinions收录文献、高影响力文献在全部5 566篇焦点文献中的分布和不同评价角度下选出的研究文献重合情况进行研究。[结果 /结论 ]从全部病毒学领域期刊来看,绝对颠覆性指数DZ与Faculty Opinions同行评议指标间存在弱相关性,与影响力指标CNCI间存在中等相关性。FScore与CNCI存在着强相关性,FStar、FStar＿w与CNCI存在着中等相关性,FTime、FTime＿w与CNCI存在着弱相关性。但不同标签的研究论文三类指标间的相关性各不相同。其中,...     

基于F1000与WoS的同行评议与文献计量相关性研究

为比较同行评议与文献计量方法在科学评价中的有效性及相关性,选取F1000以及Web of Science数据库,采用SPSS16.0软件,将近2000篇论文的F1000因子与Web of Science数据库中指标进行相关性比较。结果显示,F1000因子与统计区间内的被引频次呈显著正相关,同时一些F1000因子很高的论文并没有高频被引,反之亦然。结论指出:从统计学的视角,文献计量指标与同行评议结果具有正向相关性,但是无论是同行评议还是文献计量,单独作为科学评价标准都会有失偏颇,以引文分析为代表的定量指标与同行评议方法的结合将是未来科学评价的主流。     

人文社会科学期刊评价中同行评议与影响因子相关性分析

[目的/意义]针对同行评议与影响因子在期刊评价中的争议,对两种期刊评价方法得出评价结果的关系进行分析,客观认识两种方法的相关性和差异性,以便更好地设计评价指标,开展评价工作。[研究设计/方法]以人文社会科学33个学科共计1,291种期刊为统计样本,采用调查问卷形式由专家对这些期刊进行同行评议,然后对同行评议与期刊即年影响因子、影响因子和五年影响因子的相关性做比较分析,并对学科、期刊载文量、创刊时间长短等因素对两者相关性影响进行分析。[结论/发现]同行评议和影响因子两种方法对期刊进行评价时,两者得到的评价结果具有较高的一致性,社会科学领域的一致性高于人文科学领域;同行评议结果与即年影响因子、影响因子和五年影响因子的一致性依次递增;同行评议专家更愿意给载文量少的期刊打高分,但载文量和期刊影响因子之间的相关性不大。[创新/价值]使用4,500多份专家调查问卷,以定量统计分析的方法对同行评议与期刊影响因子两者在期刊评价中评价结果的一致性进行研究。     

权威因子:一个新的期刊评价指标

2009年版的中国科技期刊引证报告(核心版)新提出了一个权威因子指标,权威因子的计算采用的是PrestigeRank算法,PrestigeRank算法是在著名搜索引擎算法PageRank算法的基础上修改优化而成的,PrestigeRank算法专门针对期刊引用网络缺失严重提出了合理的解决方案,在权威因子的计算中,期刊之间的引用不再是同等对待,重要期刊的一次引用比次要期刊的一次引用要被赋予更高的权重.利用PrestigeRank算法计算2008年的中国科技论文与引文数据库(CSTPCD)的所有期刊的权威因子,并对权威因子与总被引频次进行了比较研究,发现总被引频次在一定程度上是流行性测度,而权威因子在更大程度上是权威性测度.我们也发现权威因子能部分消除因为学科规模和性质不同造成的被引机会的不同的影响.     

科学评价体系中同行评议与文献计量的实证分析

通过对比F1000因子与被引频次、F1000因子与期刊评价指标,并对主要指标进行相关性分析,来验证同行评议与引文分析间的相关性。结果表明,F1000因子与被引频次呈正相关性,即专家打分与被引频次变动方向相同;但也存在专家打分高的论文被引频次低,而专家打分低的论文被引频次高的事实。相关性分析的结果表明：在特征因子、SNIP等主要指标中,SJR、IF与专家评议值相关度最大。     

从单篇论文评价视角看学术期刊的首篇文章

选取中国科技论文与引文数据库中2003—2012年的论文及引文数据,以综合大学学报类和医学综合类期刊的首篇文章为例,从单篇论文评价的角度探讨首篇文章(同行评议质量较高)与同期的总体论文、高h指数论文、高被引论文之间的关系。结果发现:相比同期的其他论文,期刊的首篇文章具有更高的影响力,论文的h指数均值及篇均被引都高于前者;期刊的首篇论文中,38%同时为当期论文中的h指数最高论文,10%为当期论文中的被引频次最高论文,定量评价的高质量论文与同行评议的高品质论文——首篇文章,具有较好的重合度。值得注意的是,这种重合度随着时间的推移在不断增长。     

基于学科规范引文影响力与同行评议相关性的科学评价实证研究

[目的/意义]分析学科规范引文影响力在科学评价中的可行性及其与同行评议的相关性,为负责任计量及以其为支撑的同行评议提供借鉴。[方法/过程]选取F1000以及InCites平台,将29 850篇细胞生物学文献、30 326篇生物技术文献的CNCI （学科规范化引文影响力）与被引频次进行相关分析,对其中956篇细胞生物学论文的CNCI与F1000分值进行斯皮尔曼相关系数检验。[结果/结论]研究结果表明,从统计学视角看CNCI与被引频次呈高度正相关,与F1000分值呈显著正相关,同时亦存在二者相悖的情形。因此,CNCI在一定程度上能够反映同行评议结果、能代偿实施学术影响力归誉的功能,并适用于跨学科比较;但同行评议或CNCI单独作为科学评价标准都会有失偏颇,以CNCI为代表的新一代负责任计量指标为支撑的同行评议将成为未来科学评价的主流。     

同行评审意见类型识别及其在不同被引频次下的分布研究

[目的/意义]识别学术论文同行评审意见类型、分析不同被引频次下同行评审意见类型在同行评审报告中的分布情况,有助于加深对同行评议机制的认识,为评估论文学术质量、量化评审专家贡献提供新思路。[方法/过程]首先,将同行评审意见类型划分为正面评价、负面评价、要求/建议(主、次要方面)、问题/疑问、陈述六个类别,经人工标注、获取训练、测试语料后,对比分析传统机器学习模型、深度学习模型在同行评审意见类型自动识别上的效果;其次,将同行评审报告涉及的学术论文进行主题聚类,进而对被引频次进行标准化处理;最后,使用Spearman相关系数、累积分布、K-S检验、负二项回归分析不同被引频次学术论文对应的同行评审报告中同行评审意见类型的分布情况。[结果/结论]SciBert模型识别效果最佳;在基于Spearman的相关性分析中,评审报告中正面评价的分布占比与被引频次具有显著的弱正相关,负面评价的分布占比与被引频次具有显著的弱负相关;通过累计分布发现,多数情况下,当累积概率相同时,高被引分区中正面评价的分布占比大于低被引分区、负面评价的分布占比小于低被引分区,K-S检验能够检测到这种差异;在负二项回归分析中,正面评价分布占比、负面评价分布占比分别对被引频次有显著的正向影响、负向影响。研究结果表明,同行评审报告中正面评价、负面评价的分布情况与其对应论文的被引频次存在相关性,被引频次一定程度上能够反映论文的学术质量。     

同行评议与文献计量在科研评价中的作用分析比较

[目的/意义] 科研评价实践中普遍使用的两种评价手段和量度工具是同行评议与计量为基础的评价（文献计量、经济计量甚至替代计量）。为了对比同行评议质量判断与计量为基础的评价结果的一致性,进而回答同行评议能否被新兴的计量评价方法取代。[方法/过程] 本文采用非实证的研究方式,收集前人在论文发表、项目资助、研发评价实践、个人颁奖以及Altmetrics计量评价领域应用两种评价方法对研发绩效测度的120多篇实证研究进行元分析并汇总成定量化综述,基于认知演化的视角进行系统记叙。[结果/结论] 传统同行评议为基础的决策判断始终是研发评价的首要量度工具且地位无法取代,它与引用为基础的计量评价结果在统计上仅存在适度的正相关性,Spearman秩相关系数r∈[0.24,0.88],地位上后者更应充当前者的补充而非替代,即建构在定量辅助基础上的知情同行评议模式不仅使评价结果更加客观透明,也添加额外的附加价值,通过数据来加深对问题的认识,为评价的黄金法则。     

不同类型选择性计量指标评价论文相关性研究——基于 Mendeley、F1000和Google Scholar三种学术社交网络工具

本文探索了一个新的情报学研究理论--选择性计量学,对选择性计量学的内涵、特性和国内外的相关研究进行了详细论述.选取Mendeley、F1000和Google Scholar三种学术社交网络工具中的不同类型的选择性计量方法评价同一组论文的结果一致性进行了验证.研究结果表明Mendeley的读者人数指标与Google Scholar的被引次数指标在论文评价结果的相关程度相对较高.