中文文本关键词自动抽取方法研究

随着信息技术的发展,中文电子文本信息资源正以惊人的速度急剧增长.文本自动处理技术,通过自动组织海量文献信息资源,能够为用户提供简易有效的信息检索服务.关键词自动抽取是文本自动处理的基础和核心.汉语的特殊性加剧了中文文本关键词自动抽取的难度.本文提出了一种基于N-gram权重计算和关键词筛选算法的中文文本关键词自动抽取方法.该方法不依赖特定的数据集和中文分词技术,可以有效地抽取出任意单篇文本的关键词,而且通过参数调整,应用系统可以灵活地控制标引深度和标引专指度.实验表明,该方法简单、快速、断词错误率低,标引性能明显优于基于中文分词和TF/IDF的方法,可以满足大规模文本的在线处理要求.     

纯文本文档处理技术的研究与应用

从项目实践出发，对纯文本文档的处理技术进行了深入的研究，包括文档内容的识别、抽取、关联修改等，并在此基础上分别用Visual C#.NET和Java实现了纯文本资源自动解析系统和基于纯文本的参数配置系统。最后结合实际应用，总结了纯文本技术的应用特点，指出了其应用价值和发展方向。     

针对微博数据的信息抽取与舆情分析

由于微博简单迅捷、互动性强的特点,使其成为信息沟通的桥梁和纽带,成为突发事件的重要信息源头,也成为虚假信息滋生的温床。因此,加强微博舆情监测、分析、预警具有十分重要的意义。本文阐述了基于Web文本信息抽取方法,以及基于文本抽取的舆情分析技术,为用户掌握舆情动向、趋势强弱变化,进行热点、敏感信息预警与决策提供支持。     

一种基于统计的中文网页正文抽取方法

针对抽取中文网页正文的传统方法的不足,提出一种基于统计的中文网页正文抽取方法.该方法首先利用DOM树计算文本结点的文本密度,即文本长度与HTML源码长度之比,再利用贝叶斯判别准则计算密度区分阈值,最后根据文本密度与密度区分阈值的比较结果抽取正文,即大于密度区分阈值的结点就判定为正文文本结点,小于或等于密度区分阈值的结点则判定为非正文文本结点,将所有判定为正文文本结点的文本连接起来即为要抽取的网页正文.通过使用中文新闻类网页对该方法的有效性进行验证,结果表明:该方法虽然简单,但是抽取准确率极高且易于实现.     

实体关系抽取的技术方法综述*

对实体关系抽取研究以MUC和ACE评测为主线的发展进行总结,并指出实体关系抽取任务普遍存在的三个问题是特定领域标引数据集的获取、模式的获取以及共指消解。在对当前关系抽取的相关文献、系统和项目进行分析研究的基础上,将基于非结构化文本的实体关系抽取技术方法归纳为：基于模式匹配的关系抽取、基于词典驱动的关系抽取、基于机器学习的关系抽取、基于Ontology的关系抽取以及混合抽取方法,旨在为进一步构建实体关系抽取系统提供良好借鉴。     

基于Bootstrapping的家谱文本信息抽取方法研究

实现家谱文本信息的自动抽取是家谱资源深度开发利用的关键.目前深度学习在家谱文本信息抽取方面取得了良好的效果,但是对标注数据的依赖始终是其发展瓶颈之一.本文面向家谱的世系小传,研究基于小规模标注数据进行家谱人物和关系的抽取方法.具体来说:基于Bootstrapping的思想,以少量的标注数据作为初始种子集,使用深度学习B...     

一种基于特征抽取的文档信息过滤算法研究

针对传统TF-IDF在文本过滤时存在的缺点,提出一种基于特征词抽取的文本过滤算法。简要分析文档信息过滤原理和流程,重点讨论文档信息过滤算法设计及技术实现。实验结果表明,所提出的算法可有效对文档信息进行过滤,能够提高信息检索质量。     

医学文献集合的主题抽取和主题聚类实践

文献中的重要关键词能够反映其核心主题,因此对文献主题的发现和抽取问题就转化为对文献中的重要关键词集合的抽取.文章在调研了国外在主题抽取和聚类方面采用的技术方法的基础上,提出了在医学学科领域从文本信息资源中抽取主题并进行主题领域判断的技术方案,并详细阐述了其中的主题聚类的技术环节.为了验证该技术方案的有效性,文章以骨关节炎领域为例,对文中提出的技术方案进行实践验证.验证的结果表明文章提出的技术方案有着实际的有效性.该文为2008年第9期本期话题"知识抽取"的文章之一.     

非结构化文本中内容对象抽取的技术方法综述

近年来,知识抽取技术在非结构化文本的处理中起到很重要的作用.文章在对当前知识抽取的相关文献、系统和项目分析研究的基础之上,提出了当前知识抽取研究中的主要抽取内容对象的分类,并对这些主要内容对象抽取的相关技术方法进行综述.主要总结了Web对象识别和集成、术语识别和抽取、主题发现和识别、概念层次关系的抽取、非概念层次关系的抽取、事实抽取、观点抽取和倾向识别等7种内容对象抽取的技术方法.并在此基础之上,对未来知识抽取的发展趋势进行了分析.该文为2008年第9期本期话题"知识抽取"的文章之一.     

网络招聘文本技能信息自动抽取研究

[目的/意义]针对目前网络招聘文本手工抽取技能信息无法满足大数据量分析要求的问题，提出一种针对大量网络招聘文本的技能信息自动抽取方法。[方法/过程]根据网络招聘文本的特点，利用依存句法分析选取候选技能，然后提出领域相关性指标衡量候选技能，将其融入传统的术语抽取方法之中，形成一种网络招聘文本技能信息自动抽取方法。[结果/结论]实验表明，本文提出的方法能够从网络招聘文本中自动、快速、准确地抽取技能信息。     

三论读者与文本

根据读者与文本的关系,将重点放在“文本”上,指出文本既是作者初发言行的物化物,又是读者参与创新的百衲衣;文本寿命既由作者确定,最终则由读者决定;文本的意义既是自我封闭的,又是永向读者开放的;对文本的新解释既不能脱离文本,也不能受制于文本。因此,图书馆人既要研究文本与作者,又要研究读者与阅读。     

开放获取资源统一访问平台全文检索工具的设计与实现

就如何实现OA资源的全文检索进行探讨,分别阐述目前OA资源检索平台的现状及实现全文检索的难点,提出并实现以搜索引擎为代理自动完成对OA资源全文进行检索的技术方法,且对该方法从系统设计和技术细节两方面进行解析。测试表明,以搜索引擎为代理的OA资源统一访问平台的全文检索工具的检索效率及质量基本令人满意。     

基于主题模型的科技报告文档聚类方法研究

[目的/意义]探索实践以科技报告为文献载体形式的融合主题模型的文本聚类方法,拓展基于科技文献进行技术监测服务的新领域,提出基于科技报告进行语义分析的新方法。[方法/过程]以国家科技报告服务系统中的科技报告为数据源,首先基于LDA主题模型对经过文本预处理的科技报告进行主题挖掘,再基于Ward与K-means相结合的聚类算法对包含主题分布信息的文本向量进行聚类分析,尝试提出一种适合科技报告文档聚类的文本挖掘新方法。[结果/结论]实验结果表明,LDA主题模型能有效准确挖掘科技报告中的主题信息,所提出的Ward与K-means相结合的聚类算法对科技报告的聚类效果也优于其它传统聚类算法。     

竞争情报系统中一种自动文本分类策略——以民用航空客服行业为例

将自动文本分类引入竞争情报系统,并结合民航客服业的实际应用场景展开研究。在对文本分类的理论基础进行研究与分析的基础上,设计一种自动分类策略,其核心是针对传统机器学习方法依赖历史数据的局限,优化特征选择和学习样本获取方法。选用SVM算法,详细描述分类词表构建、分类规则提取、分类模型训练等过程,最终取得较为理想的实际效果。     

中文生物医学文本无词典分词方法研究

为了在不利用词典的条件下实现对中文生物医学文本的有效切分,结合中文生物医学文本专业术语多、新术语不断出现和结构式摘要的特点,引入一种基于重现原理的无词典分词方法,并在实际应用过程中从分词长度上限值的设定和层次特征项抽取两方面对其进行了改进。实验结果表明,该方法可以在不需要词典和语料库学习的情况下,实现对生物医学文本中关键性专业术语的有效抽取,分词准确率约为84.51%。最后,基于本研究中的分词结果,对生物医学领域的词长分布进行了初步探讨,结果表明中文生物医学领域的词长分布与普通汉语文本有非常大的差异。研究结果对在处理中文生物医学文本时N-gram模型中N值的确定具有一定的参考价值。     

国内文本分类研究论文的统计分析

介绍文本分类是一个跨信息检索、机器学习和计算语言学的综合研究领域，是信息处理的重要研究方向，指出它在自动标引、信息检索、文本过滤和文献组织等领域中有着广泛的应用;并通过应用文献计量学的方法对1998-2005年国内文本分类的研究论文进行统计分析，探讨近年来我国文本分类研究现状和主要发展趋势。     

基于Web挖掘技术的信息检索系统设计与实现

本文详细介绍一个基于Web文本挖掘技术的信息检索系统的设计与实现。基于Web文本挖掘技术的信息检索技术融合了文本挖掘的思想,它将单一的资源发现或者单一的信息提取的传统的信息检索方法结合起来,从而达到在WWW发现资源并将其中的信息提取出来进行处理的目的。     

基于元样本稀疏表示分类器的文本资源分类

首先分析文本分类的现状,根据文本分类算法的要求和稀疏表示分类算法（SRC）的思想,设计基于元样本的稀疏表示分类器（MSRC）,并应用于文本分类研究。实验结果表明,该MSRC算法具有较好的文本分类效果,有助于提高基于内容的信息检索效率。     

基于领域本体实现Web文本挖掘研究

为弥补改进传统Web文本挖掘方法缺乏对文本语义理解的不足,采用本体与Web文本挖掘相结合的方法,探讨基于领域本体的Web文本挖掘方法。首先创建Web文本的本体结构,然后引入领域本体“概念-概念”相似度矩阵,并就概念间关系识别进行描述,最后给出Web文本挖掘的实现方法,发现Web文本信息的内涵。实验中以网络媒体报道为例,通过文本挖掘得出相关结论。