政府网站开放公文主题分类自动标注方法北大核心CSSCI

当前,政府从各层面采取了一系列措施推进政务信息公开,已经取得了阶段性成果。实践工作中,政府网站平台发布的开放公文缺少主题分类、标注不一致间题成为阻碍政务信息开放利用的技术瓶颈。如何精准地、一致地对现有政府平台的海量政务公文进行主题分类标注,使其能为深度检索、推荐服务提供支撑,是函待解决的关键问题。在深入调研的基础上,一套自动化的针对政府开放公文的主题分类方法被提出,该方法以CNN-LSTM模型为基础,融合预训练BERT模型的语义特征,能精准的对政府开放公文进行主题分类。模型针对主题分类预测的整体准确度(Accuracy)为63.52%,最佳的F1-value可达到63.59%,为解决政务公文主题分类标注缺失问题提供了可行方案。该方法可以与信息检索、推荐结合,为公众提供更具精准度的政府公文服务。     

基于词对主题模型的题名信息自动分类方法研究

从题名抽取关键词,把题名作为基于本体自动分类的文本主体,实现海量科技论文高效、精准地分类,已经成为图书馆事业发展的重要课题。本文利用文本内部词汇的语义关联特性,在高频词和隐含主题两个不同粒度层面,构建了基于BTM模型的题名信息自动分类方法：首先从细粒度层面进行词频统计,提取领域高频词;随后从粗粒度层面进行BTM模型分析,得到主题关键词;之后,将两者去重合并获得领域核心词集;最后,利用SVM算法进行文本分类。该方法有效地实现了知识的快速聚类和关联自动分类,为用户提供了满意度更高的知识发现及相关扩展服务。     

基于概率主题模型的短文本自动分类系统构建

互联网平台的蓬勃发展产生了以新兴媒体为承载的数字资源，如何从中有效实现知识检索、知识发现成为信息管理领域和互联网技术领域的一个重要课题。本文以《中国分类主题词表》为主题词受控表，首先从词的粒度层面对语料数据进行短文本信息挖掘，其次基于隐含狄利克雷分布（LDA）模型切分文本内容，最后依据词频统计实现主题词的提取、聚类，并通过共现矩阵构建短文本自动分类系统。该系统一方面有效地实现了知识的快速聚类和关联自动分类，另一方面为用户提供了满意度更高的知识发现服务及相关扩展服务。图8。表5。参考文献16。     

基于词语上下文关系的文本自动分类方法研究

用词上下文向量来表达文本集内一个词语与其他词语之间的上下文关系,并在词上下文向量的基础上生成分类器中所有类别的类别特征向量,以及待分类文本的特征向量,最后由分类器给出待分类文本的所属类别。实验显示,在类别特征向量和文本向量中融入词语上下文关系有助于改善文本分类效果。     

WWW中文信息自动分类方法研究

本文采用一种基于词的归类技术。在类别词专指度的计算中 ,考虑了类别词在语料中的频度、集中度和分布性等因素。根据HTML语言的标记特性 ,应用三维加权分类算法计算类别权值。采用Bayes公式变型 ,计算WWW中文信息文件归类可信度 ,并按可信度最大归类。对 10 8篇试语料进行测试 ,封闭测试的归类正确率为98 1% ,开放测试的正确率为 83 3%。     

基于自动分类的中文博客主题分布研究

文章以和讯博客为研究对象,建设了专门用于中文博客文章分类的分类体系和语料库,并采用支持向量机(SVM)和信息增益(IG)结合的分类方法对中文博客文章进行了分类.在此基础上,文章对中文博客文章和分类结果进行深度挖掘,对中文博客的主题单一性以及主题之间的相关性进行了定量化描述,并对结果的社会学原因进行了阐释.该文为<数字图书馆论坛>2008年第12期本期话题"虚拟社会"的文章之一.     

大规模主题词自动标引方法

现有的主题标引方法一般只能抽取文本中出现的词汇,无法从几万或数十万主题词中选择语义关联强且未出现的词汇;基于机器学习的多标签分类算法则需要每一个标签下有训练数据,限制了它们在主题标引上的应用。面向大规模主题词在海量文献上的标引需求,提出一个基于分布式词向量的混合型自动标引方法,利用大规模语料训练的词向量生成同维度的主题词表示向量和文本表示向量,实现主题词与文本语义相似度的计算。基于大规模语料构建主题词与普通词的映射表,使文本向量只和少量的语义强相关主题词向量比较,大大减少了计算量,提高了标引效率。开发的自动标引工具对近亿篇文献进行了主题标引,达到了较高的速度。与结巴关键词的实验对比结果显示,本文方法抽取的主题词与作者关键词重合度较低,且在去除结巴关键词中的非主题词后,取得了比结巴关键词更高的标引准确率;与人工标引的实验对比结果显示,随着人工标引词数量的增加,本文方法的效果、结果与人工标引结果的一致性在不断增加。     

面向TRIZ的专利自动分类研究

【目的】通过构建个性化分类体系,研究面向TRIZ应用的专利自动分类方法。【方法】基于主题模型,从宏观、中观、微观三个层面构建面向TRIZ个性化分类体系;通过对不同分类特征项与算法进行组合,挑选分类准确率最高的组合构建初始分类器;采用平滑非平衡数据与特征项降维方式对分类器进行优化,完成对专利的自动分类。【结果】实现半自动构建面向TRIZ的个性化分类体系及基于该分类体系的专利自动分类。在中等数据量级场景下(千条),实现专利自动分类,分类效果综合评价指标高达90.2%。【局限】该方法不适用于数据量较小(百条)时的专利分类;在较大数据量(万条)场景下,该方法的有效性尚未得到验证。【结论】对中等规模专利数据,能快速构建面向TRIZ的分类体系,并实现自动分类。     

基于深度学习的中文专利自动分类方法研究

[目的/意义]面向当前国内专利审查和专利情报分析工作中对于海量专利分类的客观需求,设计了7种基于深度学习的专利自动分类方法,对比各种方法的分类效果,从而助力专利分类效率和效果的提升。[方法/过程]针对传统机器学习方法存在的缺陷,基于Word2Vec、CNN、RNN、Attention机制等深度学习技术,考虑专利文本语序特征、上下文特征以及分类关键特征,设计Word2Vec+TextCNN、Word2Vec+GRU、Word2Vec+BiGRU、Word2Vec+BiGRU+TextCNN等7种深度学习模型,以中国专利为例,选取IPC主分类号的"部"作为分类依据,对比这7种模型与3种传统分类模型在中文专利分类任务中的效果。[结果/结论]实证研究效果显示,采用考虑语序特征、上下文特征及强化关键特征的深度学习方法进行中文专利分类具有更优的分类效果。     

基于主题模型的文本分类算法性能比较SSCI

文章利用LDA模型进行文本降维和特征提取,并将传统分类算法置于集成学习框架下进行训练,以探讨是否能提高单一分类算法的分类准确度,并获得较优的分类效果,使LDA模型能够发挥更高的性能和效果,从而为文本分类精度的提高服务。同时,以Web of Science为数据来源,依据其学科类别划分标准,建立涵盖6个主题的实验文本集,利用Weka作为实验工具,以平均F值作为评价指标,对比分析了朴素贝叶斯、逻辑回归、支持向量机、K近邻算法4种传统分类算法以及AdaBoost、Bagging、Random Subspace 3种集成学习算法的分类效果。从总体上看,通过“同质集成”集成后的文本分类准确率高于单个分类器的分类准确率;利用LDA模型进行文本降维和特征提取,将朴素贝叶斯作为基分类器,并利用Bagging进行集成训练,分类效果最优,实现了“全局最优”。     

基于多分类器组合择优方法的主题爬行分类策略

针对主题爬行技术中的单一分类算法在面对多主题Web抓取和分类需求时泛化能力不强的局限,设计一种利用多种强分类算法形成的分类器组合,主题爬行器根据当前主题任务在线评估并为分类器排名,从中选择最优分类器分类的策略,并开展在多个主题抓取任务下的分类实验,比较每种分类算法的准确率和组合后的平均分类准确率以及对分类效率等评价指标的综合分析,结果证明该策略对领域局域性有所克服,普适性较强。     

基于SUMO和WordNet本体集成的文本分类模型研究

针对传统文本分类方法和目前语义分类方法中存在的问题,提出基于SUMO和WordNet本体集成的文本分类模型,该模型利用WordNet同义词集与SUMO本体概念之间的映射关系,将文档-词向量空间中的词条映射成本体中相应的概念,形成文档-概念向量空间进行文本自动分类。实验表明,该方法能够极大降低向量空间维度,提高文本分类性能。     

我国分类主题一体化研究进展(综述)

<正> 分类主题一体化是当今情报检索语言主要发展趋势之一.这一趋势从六十年代开始臻于明显.几十年来分类主题一体化的情报检索语言得到充分发展,同时分类主题一体化的理论研究也不断走向深入.也许是情报检索的共同需要,我国从六十年代开始也有意识地对分类主题一体化进行了初步探索,但由于众所周知的原因,未能将这初步的探索进行下去.近年,我国在分类主题一体化研究方面取得一些成果,但还缺乏理论研究和实践尝试.因此,总结一下我同分类主题一体化研究的进展必将是有益的.     

基于LDA模型融合Catboost算法的文本自动分类系统设计与实现北大核心

互联网的蓬勃发展使得文本数据呈指数型增长态势,如何实现文本内容的高效分类成为信息资源管理工作面临的紧要问题。本文以维普学术期刊资源与百度新闻网页作为基础语料集,基于LDA模型抽取文档主题、切分文本内容,融合集成学习Catboost算法获得文档在主题上的概率分布,然后利用训练集提取出的隐含主题-文本矩阵进行分类器训练,最终构建文本分类系统。研究结果显示,该系统能够有效完成文本混合自动分类,分类误差率较低,分类性能明显优于传统的文本分类方法。     

新闻报道中的禁用词(第1批,摘编)

编者按2005年,新华社总编室发布了《新闻报道中的禁用词(第1批)》,其中很多禁用词也有可能出现在科技书刊中。为了帮助大家在涉及相关问题时正确使用规范词,特摘编如下,供学习参照。1)对有身体伤疾的人不使用"残废人""独龙眼""瞎子""聋子""傻子""呆子""弱智"等蔑称,而应使用"残疾人""盲人""聋人""智力障碍者"等词语。2)报道各种事实特别是产品、商品时不使用"最佳""最好""最著名"等具有强型评价色彩的词语。医     

基于链上链下的电子文件可信管理系统模型(摘编)北大核心

文章设计了一种基于区块链的分布式电子文件安全存储模型,实现了电子文件数据的可信、去中心化管理。模型主要包括以下实体:(1)分布式数据库系统。将电子文件以密文的形式存储到数据库中。Step1生成电子文件的元数据。参考电子文件统一元数据模型,提取电子文件的技术环境、责任者、业务和法规等关键词。     

网络环境下文件与档案分类的理论基础和方法模型研究北大核心

由马林青博士担任课题负责人的中国人民大学信息资源管理学院研究团队开展了国家档案局“网络环境下文件与档案分类的理论基础和方法模型研究”课题研究。课题以全程管理理论为指导,考察我国现有文件与档案分类的概念及分类模式的特点及存在问题,分析电子文件分类与数字档案资源分类的需求与功用,完善了网络环境下文件与档案分类的理论基础,建立了电子文件分类与数字档案资源分类相关联的方法模型。课题成果成功应用于一些中央企业及事业单位。该课题荣获2014年度国家档案局优秀科技成果三等奖。     

基于关键词关联度指标(KRI)进行LDA噪声主题过滤的方法研究

[目的/意义] 针对LDA模型主题识别结果通常包含噪声主题的问题,建立科学有效的主题过滤方法,排除噪声主题,确保主题识别及后续演化分析的准确性。[方法/过程] 基于关键词之间的共现关系,构建关键词关联度指标（KRI）,借助定量手段进行主题筛选和过滤。以单细胞研究领域为例,计算各主题-关键词分布的KRI值,与人工判读结果进行对比分析。[结果/结论] 实验结果表明,该方法能够有效排除LDA模型识别结果中的噪声主题,提高主题识别的准确性,也在一定程度上降低了主题识别过程对人工判读的依赖性。