基于BERT模型的科技政策文本分类研究

在智慧政务的应用背景下,利用深度学习的方法对海量的科技政策文本数据进行自动分类,可以降低人工处理的成本,提高政策匹配的效率。利用BERT深度学习模型对科技政策进行自动分类实验,通过TextRank算法和TF-IDF算法提取政策文本关键词,将关键词与政策标题融合后输入BERT模型中以优化实验,并对比不同深度学习模型的分类效果来验证该方法的有效性。结果表明,通过BERT模型,融合标题和TF-IDF政策关键词的分类效果最佳,其准确率可达94.41%,证明利用BERT模型在标题的基础上加入政策关键词能够提高政策文本自动分类的准确率,实现对科技政策文本的有效分类。     

基于《中图法》的中文文献自动分类

本文通过对现有中文自动分词算法的分析，提出了适于中文文献自动分类的自动分词算法。该算法通过建立机读词表，以《中图法》作为分类标准，对中文文献实现了自动分类。通过对财政金融类文献的测试，其准确率可达７９％。     

文献摘要结构功能识别在关键词抽取中的应用

[目的/意义]传统的关键词自动抽取将摘要看成一个整体,常以候选词的出现频次等非语义信息构建特征,并未考虑学术文献摘要中目的、方法、结论等各个结构功能语义蕴含的差异性。本文以中文文献为研究对象,探讨候选词所在的结构功能域对关键词抽取的影响和作用。[方法/过程]本文将文献标题和摘要文本共分为4个结构功能域,在传统的词频、词长、词跨度等基准特征上,融合了基于BERT的语义特征和结构功能特征,并以不同的特征组合方式,使用图书情报领域的中文学术文献,基于分类模型进行关键词自动抽取实验。[结果/结论]实验结果表明,融合结构功能特征后,关键词抽取效果整体提升了6.82%,证明了学术文献摘要结构功能的识别形成的结构功能特征对关键词抽取效果的提升有良好作用。     

社科学术期刊学术水准动态评估模型与实证研究——以高等教育“双核心”期刊为例

根据社科期刊的内容特点,通过引入新的参数,尝试对何学峰等人的科技期刊学术影响力动态数值模型进行修正并得出社科期刊学术水准的动态评估模型。应用该数值模型,对同为北大中文核心期刊及CSSCI来源期刊的12种高等教育核心期刊进行实证分析,相关数据来源于2008—2011年中国引文数据库(CCD)和《中国学术期刊影响因子年报(人文社会科学)》。结果表明社科期刊学术水准的动态评估模型作为一种新方法可促进社科期刊以动态视角审视自我发展进程,使期刊管理部门的评估工作更加科学、全面、公正。     

面向数字人文的稷下思想自动分类研究

[目的/意义] 稷下思想是先秦百家争鸣时期的沧海遗珠,研究如何从稷下研究文献中自动识别出稷下思想,为稷下学数字人文研究提供方法基础。[方法/过程] 选取《管子学刊》作为研究数据源,对其收录的部分文本进行11大类附属42小类的思想类别归纳,构建训练数据集,提出一种基于ERNIE微调的JixiaERNIE模型,将稷下思想自动识别映射为文本自动分类问题,利用模型进行自动分类识别。[结果/结论] 通过实验对比得出,构建的JixiaERNIE模型在学习率4e-5、迭代次数为10分类效果达到最优,与基线模型相比,F值提高了7.9%。为进一步增强模型识别分类效果,在模型连接层的基础上加入分类器对比,有效实现面向数字人文研究的稷下思想自动分类任务。     

面向数字人文的先秦两汉典籍自动标点研究——以SikuBERT预训练模型为例

古籍自动标点研究成为推动古籍研究在人文社科领域发展的关键环节。文章利用SikuBERT模型,以“中国哲学书电子化计划”古籍数据库中的先秦两汉典籍为数据源,进行自动标点训练,探索基于深度学习技术的古文自动标点模型。实验结果表明：SikuBERT模型对先秦两汉典籍自动标点的整体效果比较优越,对书名号、冒号、句号以及逗号,预测表现良好,尤其是书名号与冒号标签的识别准确率、召回率与F1值均达到95%以上。文章验证了BERT模型在古籍文本自动标点中的可行性。     

基于BERT嵌入BiLSTM-CRF模型的中文专业术语抽取研究

专业术语的识别与自动抽取对于提升专业信息检索精度,构建领域知识图谱发挥着重要基础性作用。为进一步提升中文专业术语识别的精确率和召回率,提出一种端到端的不依赖人工特征选择和领域知识,基于谷歌BERT预训练语言模型及中文预训练字嵌入向量,融合BiLSTM和CRF的中文专业术语抽取模型。以自建的1278条深度学习语料数据为实验对象,该模型对术语提取的F1值为92.96%,相对于传统的浅层机器学习模型(如左右熵与互信息算法、word2vec相似词算法等)和BiLSTM-CRF深度神经网络模型的性能有较为显著的提升。本文也给出了模型应用的具体流程,能够为中文专业术语库的构建提供实践指南。     

基于新闻信息分类标准的自动标引实践研究

为了提高海量新闻信息分类的效率，本文探索研究基于Transformer(转换器)模型和《中文新闻信息分类与代码》标准的自动分类标引，包括自动归类、聚类、检索标志的智能抽取，以及人工标引和自动标引的互相结合。Transformer模型训练数据特征效率更高，适应能力更强。基于标准的自动分类表更灵活，更高效，自动标引具有广泛的应用前景。     

多示例多标签学习在中文专利自动分类中的应用研究

[目的/意义] 旨在对大量的中文专利实现快速分类,满足专利审查以及情报分析等工作的要求。[方法/过程] 结合专利文本的固有格式以及存在多个IPC分类号的实际情况,将多示例多标签学习应用于专利自动分类中,在介绍几种经典的多示例多标签模型的基本原理之后,将这些模型运用于中文专利IPC分类号的确定。[结果/结论] 实验证明,多示例多标签模型适合运用在专利的自动分类中,并且从Average precision、Hamming Loss、Ranking Loss、One Error、Coverage、Training time等指标分析可以发现,MIMLRBF模型能快速、准确地运用在中文专利IPC分类号的确定中,为大规模专利的自动分类提供借鉴。     

中文健康问句分类与语料构建

本文旨在构建一个中文健康问句分类方法,并通过对高血压相关的健康问句进行人工分类标注,分析公众的高血压相关健康信息需求,同时为研发高血压相关的智能中文问答系统提供语料基础。本研究基于临床问句分类及公众健康信息查询场景层次模型,构建一个四级中文健康问句主题分类方法,并由5位标注员独立地对从某中文健康网站上收集的将近10万条高血压相关提问数据中随机抽取的2000条样本数据进行人工分类标注,以优化和测试该问句分类方法的可靠性,构建标注语料库,并分析公众的高血压相关健康信息需求。5位标注员使用该分类方法进行独立标注的四级类目评判者间信度kappa值为0.63,意味着分类结果可靠,一级大类获得高度一致性（kappa=0.82）,略优于国际上的同类研究。分布在治疗、诊断、健康生活方式、临床发现/病情管理、流行病学、择医六个一级类别中的问句分别占样本总量的48.1%、23.8%、11.9%、5.2%、9.0%和1.9%。所构建的健康问句分类方法可用于组织大型健康问题集,以提高检索效率;分类标注的样本问句可作为高血压相关健康问句自动分类研究的语料;得出的高血压相关健康问句主题分布有助于指导健康网站的知识资源建设。此外,所设计和采用的问句分类方法构建方式、语料标注流程、评判者间信度测量方法等,也可为开放领域及其他受限领域开展用户问句分类与语料构建提供借鉴。     

文本增强与预训练语言模型在网络问政留言分类中的集成对比研究

[目的/意义] 政府网络问政平台是政府部门知晓民意的重要途径之一,为提高问政留言分类的精度以及处理留言数据质量差、数量少等问题,对比多种基于BERT改进模型与文本增强技术结合的分类效果并探究其差异原因。[方法/过程] 设计网络问政留言分类集成对比模型,文本增强方面采用EDA技术与SimBERT文本增强技术进行对比实验,文本分类模型方面则采用多种基于BERT改进的预训练语言模型（如ALBERT、RoBERTa）进行对比实验。[结果/结论] 实验结果表明,基于RoBERTa与SimBERT文本增强的文本分类模型效果最佳,在测试集上的F1值高达92.05%,相比于未进行文本增强的BERT-base模型高出2.89%。同时,SimBERT文本增强后F1值相比未增强前平均提高0.61%。实验证明了基于RoBERTa与SimBERT文本增强模型能够有效提升多类别文本分类的效果,在解决同类问题时具有较强可借鉴性。     

基于BERT模型的中华典籍问句分类方法研究

随着大数据时代的到来,问答系统成为人们获取信息的有效手段之一。作为问答系统关键一环的问句分类直接影响系统的性能。目前,问句分类研究主要集中在现代汉语领域,对中华典籍的问句分类研究还不多见。本文从问句分类概念出发,在生成中华典籍问句分类语料集的基础上,设计了面向中华典籍的问句分类体系,并对支持向量机、循环神经网络、长短时记忆神经网络、双向长短时记忆神经网络、BERT等模型的问句分类性能进行了比较研究。实验结果表明,与支持向量机和传统深度学习模型相比,BERT模型具有更优的问句分类能力,在本文提出的问句分类体系上,F1值达到95.55%,BERT模型在中华典籍问句分类任务中具有一定优势,具有一定的推广和应用价值。     

基于BERT和分面分类的多标签的南海证据性数据分类研究

为了能更好地组织南海证据性数据,提高南海疆智库的检索性能,便于科研人员对南海问题展开深入研究,本文融合了中国图书馆分类法的族性检索和分面分类法的特性检索,构建了南海文献分类法,应用BERT预训练模型实现细粒度的多标签南海证据性数据的自动分类,并通过数据库技术将南海证据性数据分为12个面进行组配检索。通过以上方法赋予每一条南海证据性数据唯一的分类号和类名,形式化表示为南海证据性数据的数据分类=证据来源分类+证据的数据体系分类+证据的数据分面分类。从更细粒度的视角,实现数据分类,与粗放式文献载体的分类相比,数据分类更有利于展开数据挖掘,找到数据间潜在的关联关系,发现新的研究视角,是科学研究创新的基础和保障。     

机器学习在图书馆应用初探:以TensorFlow为例

机器学习是人工智能的重要分支,TensorFlow是谷歌第二代开源人工智能机器学习平台。此文重点介绍机器学习(主要是深度神经网络)的基本原理和利用TensorFlow进行机器学习的基本方法,探讨在图书馆领域应用的可能和场景。以《全国报刊索引》的自动分类问题作为实验对象,利用两台图形工作站,建立了TensorFlow深度学习模型,通过设定参数和阈值、系统调优等工作,实践了应用TensorFlow的完整过程,论证了其可行性。实验通过对170万余条题录数据进行训练和测试,克服了报刊索引数据过于简单与中国图书馆分类法的类目过于细致之间的矛盾,实现了大类近80%和四级分类总体近70%的准确率(其中TP类达到91%),得出基本可代替人工分类流程的结论,为全国报刊索引的分类流程的半自动化提供有力工具,从而可望大大节省人力成本。下一步将继续利用TensorFlow的优化功能,结合更多的字段属性,进行系统调优,力争做到自动分类90%以上的准确率。     

《中文社科报刊篇名数据库》浅析

《中文社科报刊篇名数据库》(简称《社科库》)是1993年由上海图书馆《全国报刊索引》编辑部研制的大型文献型数据库,是目前国内数据收录量较大、使用较方便的中文社科报刊篇名数据库。它具有如下特点:①收录面广,数据量大。《社科库》收录了全国哲学,社会科学期刊3800多种,报纸170多种,基本上覆盖了全国邮发和非邮发的报刊,年更新量约20万条,自1993年1月起累积数据已超过70多万条。②检索功能齐全,使用方便。《社科库》     

一种基于序列标注的概念短语抽取方法

［目的/意义］ 科技文献中的概念是对文献中知识高度凝练的表达,通常以定义句的形式出现在科技文献中。自动从概念定义句中抽取概念,能够进一步挖掘科技文献中蕴含的重要知识。［方法/过程］ 通过分析概念定义句的结构、句式等模式特征,提出以WCL数据集为基础的语料构建方案,并采用BERT+BiLSTM+CRF模型学习概念定义句的模式,从而实现概念短语抽取。［结果/结论］ 结合以往对概念定义句模式特征的研究,创新性地提出一种基于序列标注学习概念定义句的组成模式,从而实现概念短语抽取。通过BERT+BiLSTM+CRF模型,有效学习了概念定义句中的上下文语义、句式结构、组成项分布等模式特征,实现了句子中概念短语的抽取。     

效用视角下核心引文识别方法初探北大核心

基于引用频次开展的引文分析忽略了引文对施引文献的效用差异,依此展开资源评估、学术影响力判断难免受到“无效”引用干扰。为排除“无效”引文,提升测度及评价数据质量,文章从引文效用的角度,选择引文属性、功能、对象、情感等典型特征,建立引文标注框架。测试逻辑回归与支持向量机等方式对引文自动分类的效果,择优构建“效用视角下核心引文识别模型”。其中,为探索自动化分类方式,在数据标注阶段,除人工标引,还使用大规模预训练语言模型的对话系统ChatGPT进行自动分类标注,并进行建模效果测试,以期为引文自动分类方法及应用实践提供新思路。     

突发公共卫生事件下健康信息需求的主题与用户情感实证研究

本文以社会化问答社区为例,探究疫情期间健康信息需求的主题与用户情感变化特征,以期改进问答社区在突发事件中的应急策略,通过数据采集和清洗、文本预处理、LDA主题模型、BERT+BiLSTM情感分类模型对25540条数据进行知识挖掘和主题-情感协同分析。研究结果显示,本文使用的方案能够有效捕捉疫情期间网民需求健康信息的主题特征。在情感分类方面,BERT+BiLSTM模型的分类准确率较基线模型提升了11.75%。为更好地应对突发公共卫生事件,本文建议社会化问答社区应自行生产科学的健康信息、提高针对主题的舆情监控力度并积极引导用户认知。     

效用视角下核心引文识别方法初探

基于引用频次开展的引文分析忽略了引文对施引文献的效用差异,依此展开资源评估、学术影响力判断难免受到“无效”引用干扰。为排除“无效”引文,提升测度及评价数据质量,文章从引文效用的角度,选择引文属性、功能、对象、情感等典型特征,建立引文标注框架。测试逻辑回归与支持向量机等方式对引文自动分类的效果,择优构建“效用视角下核心引文识别模型”。其中,为探索自动化分类方式,在数据标注阶段,除人工标引,还使用大规模预训练语言模型的对话系统ChatGPT进行自动分类标注,并进行建模效果测试,以期为引文自动分类方法及应用实践提供新思路。     

面向TRIZ的专利自动分类研究

【目的】通过构建个性化分类体系,研究面向TRIZ应用的专利自动分类方法。【方法】基于主题模型,从宏观、中观、微观三个层面构建面向TRIZ个性化分类体系;通过对不同分类特征项与算法进行组合,挑选分类准确率最高的组合构建初始分类器;采用平滑非平衡数据与特征项降维方式对分类器进行优化,完成对专利的自动分类。【结果】实现半自动构建面向TRIZ的个性化分类体系及基于该分类体系的专利自动分类。在中等数据量级场景下(千条),实现专利自动分类,分类效果综合评价指标高达90.2%。【局限】该方法不适用于数据量较小(百条)时的专利分类;在较大数据量(万条)场景下,该方法的有效性尚未得到验证。【结论】对中等规模专利数据,能快速构建面向TRIZ的分类体系,并实现自动分类。