无权重非线性学术评价方法权重迷失与失灵研究——以学术期刊评价为例

[目的/意义]文章针对无权重非线性学术评价方法,提出了权重迷失与权重失灵问题。[方法/过程]以JCR2019管理学期刊评价为例,在理论分析的基础上,以主成分分析、因子分析、TOPSIS评价为例,将评价指标分为高相关指标、低相关指标、全部指标分别进行评价,采用岭回归间接得到各无权重非线性评价方法的模拟权重,进而分析权重迷失与权重失灵问题。[结果/结论]研究结果表明：无权重非线性评价方法存在权重迷失现象;高相关指标的权重迷失现象有所减轻;高相关指标之间存在权重失灵,并且有等权重倾向;权重失灵会降低高相关指标权重迷失问题;对于低相关指标一定要重视权重迷失问题。     

学术评价中客观多属性评价的误差问题研究

[目的/意义]客观多属性学术评价方法应用较为广泛,但存在三大悖论,即方法创新悖论、方法选择悖论、方法应用悖论,本质上是其误差所致。[方法/过程]文章在对客观评价界定的基础上,分析了其误差类型,在此基础上,对误差的产生机制和应对措施进行了全方位的分析。[结果/结论]完全客观多属性学术评价方法是不存在的;客观多属性学术评价方法的误差主要是系统误差来自多个环节,包括指标选取、权重赋值、方法应用、结果处理等;应从多环节多视角解决客观多属性学术评价的误差问题;慎用最新的客观评价方法。文章提供了一套客观多属性学术评价误差的检查范式,有利于提高评价质量。     

用户体验视角下国内学术虚拟社区评价指标体系构建——基于D-S证据理论

[目的/意义]构建基于用户体验视角的学术虚拟社区评价指标体系,既有利于提升学术虚拟社区的知识服务水平,也有利于提高其影响力与竞争力,对于学术虚拟社区的持续健康发展具有重要意义。[方法/过程]本文从用户体验视角出发,以D-S证据理论为基础,运用D-S证据合成方法,构建用户体验视角下学术虚拟社区评价指标体系,并计算各级指标的权重系数。[结果/结论]最终得到包含8个一级指标和24个二级指标的学术虚拟社区评价指标体系。其中,可靠性权重为0.2568,易用性权重为0.0625,规范性权重为0.0407,互动性权重为0.0888,关怀性权重为0.1176,丰富性权重为0.0322,有用性权重为0.1784,时效性权重为0.2230。最后以小木虫为例进行了评价分析。     

整体与个体视角下非线性学术评价伪权重研究——以加权TOPSIS法为例

在非线性学术评价中,存在设计权重与实际权重的偏离即伪权重问题,使得以专家权重为主的设计权重在评价中失效,从整体与个体视角进行系统分析十分必要。文章在理论分析的基础上,以加权TOPSIS和JCR2019经济学期刊为例,基于岭回归与偏最小二乘法拟合实际权重,同时采用极大值标准化与sigmoid函数标准化,比较其对实际权重的影响,并进行伪权重的相关问题分析。研究结果表明：指标标准化方法与权重拟合方法是影响整体伪权重的重要因素;采用sigmoid函数标准化可以降低整体伪权重问题;非线性评价整体伪权重问题在理论上无法消除;基于岭回归与偏最小二乘法估计实际权重具有较好的精度;个体伪权重问题在非线性评价中同样存在;采用sigmoid函数可以有效降低个体伪权重问题;个体指标发展不均衡产生的伪权重问题一定程度上值得鼓励。     

基于差异驱动和GRA-TOPSIS法的学术期刊综合评价研究

[目的/意义]针对学术期刊多属性综合评价中指标权重获取以及评价信息集结的问题,提出一种新的基于差异驱动和GRA-TOPSIS法的学术期刊综合评价模型。[方法/过程]首先,利用基于拉开档次法的差异驱动原理来最大限度地体现各学术期刊之间的整体差异,并据此确定学术期刊的指标权重;然后,分别利用GRA法和TOPSIS法对评价信息进行综合集成,计算两种方法的学术期刊综合评价值;最后,基于组合评价的思想对两种评价结果进行有效结合,以此确定学术期刊的最终评价值并排序。[结果/结论]选取"农业经济"类期刊为研究对象,结果表明,该方法不仅能够充分体现各学术期刊之间的实际差距,还能够同时从数据距离和数据几何形状上反映学术期刊的综合水平,是一种科学合理的学术期刊综合评价方法。     

基于ANP和GRAP组合的区域创新能力评价指标权重的最小偏差计算方法研究

针对以往研究中忽略评价指标之间复杂联系和相互影响的不足,提出了一种基于网络层次分析法和灰色关联分析法相结合的评价指标权重计算方法,其方法既能充分考虑受访专家主观认知,又能反映出统计数据所隐含的客观信息;采用最小偏差组合权重方法最大限度兼顾两方面结果,比使用单一权重确定方法更加合理,并为关联指标权重计算问题提供了一个有效的解决办法;最后以实例证明了该方法的科学性和可行性。     

基于三元交互理论的虚拟学术社区知识交流效果评价研究

[目的/意义]虚拟学术社区知识交流效果评价有助于优化社区知识管理。[方法/过程]本文借鉴三元交互理论,以知识交流主体、客体和环境作为交流效果评价指标体系的一级指标。结合相关文献,自上而下构建相应的二、三级指标,通过专家评估确定评价指标体系,根据层次分析法确定各指标权重。最后,以小木虫为例进行验证。[结果/结论]分析表明,本文提出的知识交流评价体系具有一定的可行性与合理性,并提出虚拟学术社区知识交流质量提升的对策。     

异类指标相关对学术期刊评价影响及修正研究

[目的/意义]在学术期刊评价中，不同类型指标之间往往是相关的，这个问题对评价结果必然产生较大影响，相关研究缺乏。[方法/过程]本文在理论分析的基础上，提出了一种基于拟合优度测度指标独立信息的思路，并基于中国知网的环境科学与技术期刊数据进行了实证。[结果/结论]不同类学术期刊评价指标之间相关具有内生机制；机器分类在学术期刊评价中有时并不适用；不同类评价指标相关会影响期刊评价结果，涉及评价值、权重与结果排序；基于独立信息的修正方法可以有效克服不同类型评价指标的相关问题。     

时序动态视角下的学术影响力评价方法及实证研究

[目的/意义]论文发表时间和所属学科的不同会对论文在后续的引文产生稀释效应的影响,发生在不同时间的引文也代表了不同的学术价值。从时序动态的视角设计一种学术影响力的评价指标,消除稀释效应的影响并能够体现不同时期的引文价值。[方法/过程]引入参考文献集合的篇均被引次数作为论文集合的基准值,消除由于发表时间和所属学科不同造成的稀释效应,进而再对不同统计时间点的被引次数赋予不同的权重,用以表征发生在不同时期的引文的不同价值。[结果/结论]以四川大学为例,选取ESI学科和研究人员作为评价对象进行实证研究,结果表明这一指标可以对学术影响力发展趋势不同的研究实体进行有效的区分。     

防止人为操纵背景下期刊学术质量测度研究——基于数据变权的方法

[目的/意义]期刊学术质量测度问题一直是文献计量学面临的难题,传统的同行评议成本高,采用引证指标并不能直接测度质量。此外,文献计量指标的人为操纵也使得问题更加复杂。[方法/过程]文章根据投入产出原理,创造性地提出了一种新的期刊学术质量测度方法,用期刊学术交流和引证指标作为产出,期刊来源指标作为投入,首先基于数据变权消除指标的人为操纵,再分别对投入产出指标进行评价,用产出指标减去投入指标就得到期刊学术质量指数JQ。[结果/结论]基于图书馆情报与文献学的研究表明,期刊学术质量指数JQ能够提供除CI指数和h指数信息以外的额外质量信息,指标接近正态分布,能够根据评价值直接判断优劣,并且对人为操纵指标问题进行了适当的修正,是一个较好的期刊学术质量评价指标。     

基于因子-BP人工神经网络的期刊评价方法选择研究

[目的/意义] 学术评价中多属性评价方法有几十种,每种评价方法结果均不相同,难以进行方法选择。[方法/过程] 本文在分析评价本质属性的基础上,提出了一种新的多属性评价方法选取方法：因子-BP人工神经网络筛选法,并以JCR2017经济学期刊为评价对象,同时采用专家会议赋权法、主成分分析、因子分析、TOPSIS进行评价,并进行评价方法的选择。[结果/结论] 研究结果表明：在学术评价中多属性评价方法的选择必须兼顾主观和管理因素;因子-BP人工神经网络筛选法是一种有效的评价方法选取手段;因子-BP人工神经网络筛选法可以用来辅助专家赋权;对于多属性评价方法的进一步优化成为新的问题;当评价对象较少时不宜采用本文方法。     

我国图书情报领域个人学术评价指标的应用情况研究

[目的/意义] 考察我国图书情报领域内个人学术评价指标的应用情况,为后续的个人学术评价指标研究提供参考,推动构建更加科学、合理的个人学术评价指标体系。[方法/过程] 收集9种CSSCI图书情报学代表期刊2014—2018年有关个人学术评价指标的文献数据,运用内容分析法,从使用范围、使用环境、使用动机、使用情感4个方面考察指标应用情况。[结果/结论] 分析显示,我国图书情报领域个人学术评价指标使用处于主要研究h类指数的指标发展阶段,较多使用传统简便的文献计量指标,如h指数、发文量与被引频次;个人学术综合评价的多元指标融合途径研究较少,仍有必要继续加强包括多指标融合比较、进一步完善个人学术评价指标体系在内的学术评价研究。     

社交媒体环境下学术型用户生成内容质量评估研究

[目的/意义]探索如何对社交媒体上学术型用户生成内容质量进行评价。[方法/过程]首先,通过招募使用过社交媒体上学术信息的用户,开展学术信息检索用户实验,获取用户评价学术型用户生成内容质量的指标,构建初始质量评价指标体系;其次,通过问卷调查收集各评价指标的重要性;最后,利用主成分分析法得出模型中的评价指标及其权重。[结果/结论]构建了适用于学术型用户生成内容质量评估的模型,该模型包括两个一级指标和11个二级指标,其中重要性程度排在前三位的指标为演示性、有趣性和合理性。研究结果丰富和完善了社交媒体学术信息质量评价理论和指标体系,为自动识别高质量学术型用户生成内容提供参考。     

基于安娜·卡列尼娜原理的单篇科学论文评价方法研究

[目的/意义]如何更好地使用定性定量相结合的方法评价论文,如何不以传统评价结果呈现论文评价结果,构建科学论文评价体系,并努力实现国家科技评价体制改革是学术界共同关注的科学问题。[方法/过程]采用演绎法和归纳法深度分析安娜·卡列尼娜原理与科学论文评价的关联性,形成基础理论,与专家访谈法相结合确定评价体系,最后利用物理学的文献和元数据为案例进行评价体系的验证和基本指标的分析。[结果/结论]分析得到安娜·卡列尼娜原理提供的系统性思想可以为全方位评价科学论文做基奠,与单篇科学论文评价的4个维度(即内容、学术、应用、社会价值)相结合形成的评价指标体系,包含5个定性指标和16个定量指标。物理学中三篇论文评价结果的显示提供给事后评价进行参考,评价执行者可以从时间角度、与学科发展的差异等维度了解单篇科学论文在其学科的地位,从而避免再次陷入权重、排名、指数等得分形式带来的问题。     

刍议学术图书质量评价研究之现状、问题及对策

[目的/意义]寻找识别高价值学术图书的评价方法。[方法/过程]从理论、方法和实践3个角度系统梳理现有的学术图书质量评价研究，发现其中存在的问题并提出对策建议。[结果/结论]学术图书质量评价是图书评价的精细化，其核心在于揭示学术图书的特色知识贡献与价值。本研究发现，虽然现有的图书评价方法多种多样，但普遍缺乏坚实的理论基础，不同程度地忽视或回避了图书价值揭示问题。未来，自然语言处理、语义分析、图书标注等领域的研究工作有望为解决学术图书质量评价研究中的难题带来启发。     

学术期刊非线性评价模拟权重的动态变化研究

采用分位数回归法,以TOPSIS评价方法为例,研究了学术期刊非线性评价中,不同级别期刊评价指标相对权重动态变化问题。发现随着学术期刊水平的提高,部分评价指标的相对权重不变,但也存在部分指标权重递增,部分指标权重递减问题。这增加了期刊评价者与期刊社关系的复杂性,对评价指标的选取与评价方法的应用都提出了较高的要求。     

组合评价和复合评价模型在学术期刊评价优越性的实证研究

[目的/意义] 由于传统的单一评价方法弊端愈加明显,笔者将通过实证研究证明组合评价及复合评价模型在学术期刊评价中相对于单一评价模型的优越性,为学术期刊评价提供更合理的评价视角。[方法/过程] 单一评价方法是选择运用熵值法、因子分析法和TOPSIS法对学术期刊进行学术影响力评价,提出的组合评价模型原理是通过对这3种单一评价方法的结果进行Kendall检验,在具有显著性一致性的基础上建立模糊Borda组合评价模型进行组合评价,提出的复合评价模型的原理是通过熵值法的差异系数对因子分析的主因子方差贡献率和因子得分系数的修正,确定各指标的权重、构造加权规范矩阵,运用TOPSIS法进行综合评价。[结果/结论] 实证研究表明,组合评价模型和复合评价模型与单一评价模型评价结果一致性较好,且组合评价模型和复合评价模型具有更好的区分度,相对于单一评价具有一定的优越性。     

期刊评价中TOPSIS的漏洞研究--权重单调性

首先提出非线性评价法权重单调性问题,即在多属性评价中,在其他指标权重不变的情况下,其中一个指标权重增加,那么评价结果也必须增加,并设计出采用传统回归和岭回归计算模拟权重进而对权重的单调性进行检验的方法。基于JCR2012物理学期刊数据,以总被引频次和影响因子为例对TOPSIS评价方法的研究表明：TOPSIS评价法权重并不具有正向单调性,只能用于等权重评价,加权TOPSIS法存在漏洞。研究方法也可广泛用于非线性评价方法的权重单调性检验。     

考虑共识度的学者学术影响力组合评价研究

[目的/意义]针对多种学者学术影响力综合评价方法结论非一致性的问题,提出一种新的考虑共识度的学者学术影响力组合评价模型。[方法/过程]首先,定义本年度总被引次数、上年度总被引次数和前年度总被引次数的概念,结合H指数和总被引次数构建一套学者学术影响力评价指标体系;其次,利用熵权TOPSIS方法、VIKOR方法、Heronian算子、DEMATEL方法和幂算子对学者学术影响力进行综合评价,计算5种不同的学者学术影响力综合评价结果;最后,设计考虑共识度的信息融合方法,计算学者学术影响力组合评价结果。[结果/结论]选取26位国际模糊决策领域专家为研究对象进行实证分析,分析表明,该模型不仅可以发挥各种综合评价方法的优点和弥补各种综合评价方法的缺点,可以避免人为选取综合评价方法进行操纵的可能性,还可以使得最终的组合评价结果相对更为可靠,因此能够得到较为客观公正的学者学术影响力排名。     

基于多维度引用特征的学术论文评价研究

[目的/意义]针对被引频次指标在学术论文评价中的局限性,提出基于多维度引用特征的学术论文评价方法,提高引文指标在单篇论文评价中的可靠性。[方法/过程]通过被引频次标准化消除学科、时间等因素的影响,作为频次指标;通过引用主体的重要性、引用时间跨度、引用强度、引用位置、引用情感、主题相似度6个维度的引用特征,区分不同引用中被引文献对施引文献的作用,作为特征权重;将频次指标和特征权重相结合,对学术论文进行定量评价。[结果/结论]改进基于引用的学术论文评价方法,有效解决被引频次指标对所有引用同等对待的问题。该方法的评价结果比被引频次指标更加合理,还能更细致地剖析论文的被引特征。