基于科研绩效框架( REF)的三种文献计量模式

科研绩效框架(REF)是英国政府提出的一种评估科研的全新理念.论文概述REF评价的主客体,并从精确性、成本效益、行为动机三方面对三种文献计量模式进行比较分析,然后论述其对未来评估体系的影响,认为REF中的引文分析不仅给年轻科研人员带来不公平的影响,而且不适用于所有学科,对不同学科的评价也有局限性.     

基矛科研绩效框架（REF）的三种文献计量模式

科研绩效框架（REF）是英国政府提出的一种评估科研的全新理念。论文概述REF评价的主客体,并从精确性、成本效益、行为动机三方面对三种文献计量模式进行比较分析,然后论述其对未来评估体系的影响,认为REF中的引文分析不仅给年轻科研人员带来不公平的影响,而且不适用于所有学科,对不同学科的评价也有局限性。     

科学评价体系中同行评议与文献计量的实证分析

通过对比F1000因子与被引频次、F1000因子与期刊评价指标,并对主要指标进行相关性分析,来验证同行评议与引文分析间的相关性。结果表明,F1000因子与被引频次呈正相关性,即专家打分与被引频次变动方向相同;但也存在专家打分高的论文被引频次低,而专家打分低的论文被引频次高的事实。相关性分析的结果表明：在特征因子、SNIP等主要指标中,SJR、IF与专家评议值相关度最大。     

开放科学和科研评价改革背景下我国学术期刊同行评议的改革趋向

从国际开放科学运动、国内科研评价改革的现实背景出发,针对我国现行同行评议面临的挑战,指出改革我国学术期刊同行评议的必要性.立足同行评议的目的 ,提出我国学术期刊同行评议改革应向减轻评议人负担、充分利用新技术、创新评议方式、建立事后评议机制4个方向发展,并提出净化学术生态、加强制度设计、设定行为监督、建立激励和反馈机制4...     

同行评议与文献计量在科研评价中的作用分析比较

[目的/意义] 科研评价实践中普遍使用的两种评价手段和量度工具是同行评议与计量为基础的评价（文献计量、经济计量甚至替代计量）。为了对比同行评议质量判断与计量为基础的评价结果的一致性,进而回答同行评议能否被新兴的计量评价方法取代。[方法/过程] 本文采用非实证的研究方式,收集前人在论文发表、项目资助、研发评价实践、个人颁奖以及Altmetrics计量评价领域应用两种评价方法对研发绩效测度的120多篇实证研究进行元分析并汇总成定量化综述,基于认知演化的视角进行系统记叙。[结果/结论] 传统同行评议为基础的决策判断始终是研发评价的首要量度工具且地位无法取代,它与引用为基础的计量评价结果在统计上仅存在适度的正相关性,Spearman秩相关系数r∈[0.24,0.88],地位上后者更应充当前者的补充而非替代,即建构在定量辅助基础上的知情同行评议模式不仅使评价结果更加客观透明,也添加额外的附加价值,通过数据来加深对问题的认识,为评价的黄金法则。     

人文社科学术专著同行评议与文献计量评价的实证比较

人文社科领域学术专著质量评价的既有方法主要为基于同行评议的定性评价与基于文献计量的定量评价,但是两种性质不同的评价方法所产生的评价结果是否存在差异值得关注和探讨。文章以人文社科领域最具代表性的历史学科为对象,对五届郭沫若中国历史学奖的获奖图书进行引文分析,并将获奖图书被引情况与同期同研究领域图书进行比较,探讨定性评价结果与文献定量评价的相关性;研究表明,同行评议结果与文献计量分析结果具有显著相关性,同行评议评选出的人文学科专著的学术影响力明显高于同期同学科领域专著,且这一差距随着时间发展日益扩大。研究结果为确立合理和有效的人文学科学术专著质量评价体系提供了参考。     

基础理论视角下的科研评价思考

[目的/意义]科研评价是科研管理的有效手段,但科研评价的具体实施常常备受争议。明晰科研评价的基础理论,有利于评价者与被评价者在实际应用中透彻理解与正确采用恰当的工具与方法,促进科研评价的良性循环。[方法/过程]本文将结合科学计量学、科学学等研究领域的基础理论,从科学的发展、同行评议制度、代表作评价制度、定量评价的常见误区、传统文献检索系统的转型五个方面阐述对科研评价的思考。[结果/结论]事实证明,科学计量学、科学学等领域的基础理论已经并将继续为科研评价体系的完善与落实发挥重要支撑作用。     

北美地区高校图书馆科研影响力评价实践与启示

伴随高校科研评价框架的变革,高校图书馆科研影响力评价工作需要转型发展。北美地区高校图书馆通过制定工作战略、开展组织建设、落实行动举措和构建运行机制,开启了高校科研影响力评价的新探索。国内高校图书馆应积极参与科研评价改革,深度参与高校科研影响力评价管理、文化和团队等要素建设,协同提升高校科研影响力。     

文献计量学在科研评价中的应用进展

从文献计量学在科研评价中的应用历史、实践和前景展望等方面综述了科研评价的文献计量学应用进展。     

中文科技期刊评价:现状·问题·建议

科学合理的评价是科技期刊健康发展的基础和前提。通过对相关文献进行研究,结合长期中文科技期刊工作和研究实践,详细分析以同行评议为主导和基于文献计量学的中文科技期刊评价及其存在的问题。在此基础上对中文科技期刊评价提出了相应对策和建议,主要包括坚持正确的期刊评价导向、建立权威科技期刊评价机构、强化同行评议制度、完善文献计量学评价指标体系等。     

学科基准化的科研绩效定量评价方法及指标研究

认为传统的科研绩效定量评价指标,如发文量、被引频次、引用率,由于受规模效应以及学科引用差异的影响,在不同团体或不同学科间并不具备可比性。通过引入个体、整体以及比较基准的概念,应用归一化方法,得出具有可比性的3个绩效评价指标：产出指数、影响指数、效率指数。为说明3个绩效指标的实用价值及有效性,给出机构以及国家层面的绩效水平评价实例。最后,分析讨论这3个指标在表征个体绩效水平变化方面所具有的优势以及推广应用的可能性。     

基于开放同行评议的学者影响力评价研究——以F1000为例

[目的/意义]提出一种基于开放同行评议的学者影响力评价方法,即通过归纳收敛开放同行评议内容,形成能够表征学者不同层面影响力的多个标签簇,从而从质量层面多角度探索学者影响力,并验证所提方法的有效性。[方法/过程]调研分析国内外现有学者影响力评价方法,在此基础上,设计构建基于开放同行评议的学者影响力评价方法,并以开放同行评议平台F1000为例,进行实证研究和对比分析。[结果/结论]基于开放同行评议的学者评价方法是一种新的评价角度,实现了对学者的多角度评价,增加了学者影响力的饱满度和辨识度。分析表明,该方法与文献计量评价方法不具有显著相关性,可以作为对传统评价方法的一种补充。传统的定量分析与开放同行评议方法的结合将是未来学术评价的发展趋势。     

基于推荐-传播模型的学术论文评价方法

认为学术论文评价方法在引导基础研究人员行为和科研产出方面具有重要作用,故有必要制定成本合理、科学公正的评价体系。以文献[3]提出的论文推荐-传播模型为基准,通过控制评价信息中大同行和小同行的比例、评价对象的选择方法以及给推荐者赋权3个策略来优化推荐-传播模型的学术评价功能。运用仿真方法验证优化策略的有效性后,提出利用平台用户的推荐-传播行为,自动计算学术论文影响指数、质量指数和价值指数的方法,从而构建一种新的学术论文评价方法。     

社会科学评价研究的新进展——《社会科学评价的文献计量理论与方法》评析

对娄策群先生的《社会科学评价的文献计量理论与方法》一书作简要评析。     

“985”高校图书馆科研评价服务实践调研与分析

[目的/意义]研究高校图书馆如何开展科研评价服务,对于提升高校图书馆的服务水平和地位具有重要的意义。[方法/过程]通过对国内39所"985"高校图书馆进行网站、电话或邮件调研,从图书馆提供科研评价的服务内容、服务部门、服务人员、服务对象、服务模式、评价资源与工具、网站建设等方面对"985"高校图书馆开展科研评价服务的现状进行调研分析,并辅以文献调研方法,对39所"985"高校图书馆发表的主题为科研评价的期刊论文进行文献计量分析。[结果/结论]调研表明,科研评价服务已成为高校图书馆利用计量学进行研究和工作的重点;结合高校图书馆的实践探索和经验,就科研评价服务中的部门设置、人员培养、服务模式、工作开展和推广等提出完善措施。     

HACKADEMICS AT THE CHALKFACE

The field of journalism studies is growing globally, and the training of journalists is increasingly conducted within higher education institutions at both undergraduate and postgraduate level, even in countries that previously eschewed university education of journalists. Journalism studies goes beyond the training and education of journalists to encompass scholarly inquiry into journalism. Much teaching of journalism within universities is now conducted by journalists who have switched to the academy and become known as “hackademics”. This article explores the extent to which such journalists-turned-journalism-educators also contribute to a deeper understanding of journalism by engaging in scholarly research. It is based on an empirical study of 65 hackademics in the United Kingdom and Ireland, whose experiences of academic research into journalism will be discussed within the context of the international literature.     

文献计量方法在大学小团体层面的基础研究绩效评价的应用

[目的/意义] 对文献计量方法在小团体微观层面的研究绩效评价进行实证研究。[方法/过程] 分析科研成果用科学文献表征的依据,讨论被引次数作为研究成果价值测度的合理性与局限性。在此基础上,针对大学院系微观层面如个体研究者、小团体的研究绩效评价问题,提出同方向小团体基础研究绩效评价标准构造方法及指标。作为方法的应用,对清华大学航天航空学院5个研究方向的基础研究绩效水平进行评估。[结果/结论] 基于文献计量得到的结果获得评价对象的认可。但本文所提出的方法在排除自引、以及计入评价对象的高被引文献方面仍有改进空间。     

基于引文分析和同行评价法的中国MIS领域期刊评价

鉴于目前我国对期刊评价方法单一且缺少小专业方向如管理信息系统(MIS)的期刊评价,本文对中国MIS期刊做了一次调查.本文在评价的方法论上进行了突破并第一次对中国MIS领域的期刊进行了评价.这在一定程度上方便了MIS学者的学习与交流.基于引文分析法和同行评价法,本文通过实证研究总结出一些对MIS 专业方向具有影响力的期刊,如《管理科学学报》、《管理科学》、《系统工程》、《情报学报》、《系统工程学报》、《管理工程学报》、《系统工程理论与实践》、《控制与决策》等.同时对国内外MIS期刊的发展趋势进行了比较.我们发现,与国外相同的是,技术类和专门性期刊排名偏前,不同的是,我国缺乏MIS类的专门性期刊.