文本自动聚类技术研究

自动聚类作为一种自动化程度较高的无监督机器学习技术,在信息检索和数据挖掘领域得到了广泛的应用.探讨了文本聚类的定义和步骤,依据文本自动聚类的步骤分别对文本的处理、自动聚类算法以及文本聚类结果的评价进行了阐述.     

信息检索的新方法——检索结果自动聚类

用户使用搜索引擎查找资料经常会面对着成千上万条的检索结果,这样就很容易忽略掉他们所要查找的信息.现有搜索引擎的主要缺陷是没有对检索结果分类和按人们查询习惯来进行再组织,检索结果自动聚类法——Vivisimo能很好地解决这个问题.本文着重介绍了Vivisimo的工作原理,与其他类似技术的区别以及应用实例.     

聚类在信息检索领域中的应用研究

本文简要介绍了聚类算法在国外信息检索领域中的应用概况,并详细介绍了聚类算法在国内该领域的应用情况。列举了应用得较多的几种聚类算法,给出了在多种信息检索中聚类算法的应用过程。     

文本聚类算法的质量评价

文本聚类是建立大规模文本集合的分类体系实例的有效手段之一。本文讨论了利用标准的分类测试集合进行聚类质量的量化评价的手段，选择了k-Means聚类算法、STC（后缀树聚类）算法和基于Ant的聚类算法进行了实验对比。对实验结果的分析表明，STC聚类算法由于在处理文本时充分考虑了文本的短语特性，其聚类效果较好；基于Ant的聚类算法的结果受参数输入的影响较大；在Ant聚类算法中引入文本特性可以提高聚类结果的质量。     

基于文本信息的聚类方法研究

随着信息技术和Web技术的发展,如何从海量的Web文本信息中找到自己所需信息已成为一个重要的研究领域。在众多信息获取方法中,聚类技术是一种被广泛应用的方法。总结了文本聚类算法的研究现状,比较了算法的主要差异和整体思想,并分析了各种方法的优劣,同时指出了文本聚类研究今后的发展趋势,即在粒子群聚类过程中融入其它传统聚类方法的思想,以提高聚类性能。     

Stemming和Lemmatization对英文文本聚类的影响研究

词干化、词形还原是英文文本处理中的一个重要步骤。本文利用3种聚类算法对两个Stemming算法和一个Lemmatization算法进行较为全面的实验。结果表明,Stemming和Lemmatization都可以提高英文文本聚类的聚类效果和效率,但对聚类结果的影响并不显著。相比于Snowball Stemmer和Stanford Lemmatizer,Porter Stemmer方法在Entropy和Pu-rity表现上更好,也更为稳定。     

基于LDA模型的文本聚类研究

在Web2.0时代,网络文本数据呈现爆炸式增长,传统的文本聚类模型存在数据维数过高,数据稀疏,缺乏语义理解等问题。针对以上问题,本文提出了一种基于LDA模型,通过Gibbs算法估计文本的主题概率分布,利用JS(Jensen-Shannon)距离作为文本的相似性度量,然后采用层次聚类法进行聚类。实验得到较高的聚类纯度(Purity)和Fscore值,表明该方法是有效的。     

文献聚类技术及其评价函数

在阐明文献聚类的基本概念和重要作用的基础上，介绍了当前最流行的两种文献聚类方法：层次聚类和划分聚类；论述了三种主要的文献聚类评价函数：F—measure、平均查准率、熵；指出了文献聚类函数的优缺点。     

文本聚类算法的比较研究

本文对K-means和CURE聚类算法的算法思想和优缺点进行了深入的理论研究,并对这两类算法的性能进行了分析与比较。     

文本聚类中文本表示和相似度计算研究综述

围绕文本聚类中的文本表示和相似度计算两个基本的问题,对目前学界提出的文本表示方法和相似度计算方法进行了分类和较为全面的综述,将文本表示模型分为向量空间模型、语言模型、后缀树模型、本体等,相似度计算方法分为基于向量空间模型的相似度计算,基于短语的相似度计算方法和基于本体的相似度计算方法。     

基于特征词配对的德语文本聚类方法研究

[目的/意义]提出一种适用于德语文本处理的文本相似度计算方法,填补了国内外德语文本聚类研究的空缺。[方法/过程]通过词语提取和特征词选择将每个德语文本表示为一个特征词的集合,寻找集合间配对的特征词对,由特征词对的匹配度得到文本间的相似度。[结果/结论]基于多个德语数据集的实验结果表明,相比于已有方法,本文提出的基于特征词配对的德语文本聚类方法提升了约5%的NMI值和约6%的Purity值。基于特征词配对的相似度计算方法能够保留更多的文本信息,从而进一步提升德语文本聚类的性能。     

基于文本质量的文献检索结果的系统聚类

采用系统聚类的方法对文献数据库的检索结果按其质量进行聚类,并通过实例说明这种方法的可行性和有效性。检索结果经过聚类方法处理后,用户可迅速了解检索结果的质量等级分布,从而对不同等级的检索结果采用不同的阅读方式。这样便能节省用户的阅读时间,提高检索效率。该项研究对今后开发针对检索结果的文本聚类插件奠定了基础。     

基于文本挖掘的分类与聚类技术

从基于文本挖掘理论和实践两方面,探讨了文本的分类与聚类的理论、技术及两者之间的区别,讨论了聚类与分类技术在文本挖掘过程中的重要作用,通过所列举的自动分类与聚类的应用实例,能给读者的实际工作以一定的借鉴。     

SOM聚类算法在文本分类上的应用

随着网络信息指数级的增长，如何高效地组织海量的文本信息成为众多终端信息查询的基本要求。本文利用神经网络的联想记忆原理，提出一种改进自组织映射（SOM）神经网络聚类算法来对这些信息进行索引和分类。改进SOM聚类算法通过文本的预处理和词汇权值的计算，SOM网络的训练过程以及多次聚类来细化各文本类别，最终产生概念空间。试验结果表明该算法对文本有很好的分类管理功能，便于文本检索。     

基于本体图的文本聚类模型研究

为了提高文本聚类的质量和效率,本文提出了一种基于本体图的文本聚类模型。该模型一方面利用本体图表示文本,获取更多、更深的文本语义信息特征,提高文本表示的准确性;另一方面从语法结构和语义内容两个角度综合衡量文本间的相似程度,增强计算的精确性和全面性。实验结果表明,该模型明显优于现有的文本聚类模型,获得了很好的聚类效果,提高了文本聚类的质量和效率,降低了聚类的时间复杂度和空间复杂度。     

基于SOM文本聚类的领域本体学习研究

提出基于SOM文本聚类的领域本体学习模型与方法,并用实验验证了其在领域本体学习过程中能够提高学习的效率和准确性.     

基于《现代汉语语义分类词典》的文本聚类方法

给出了一种基于语义概念的高效中文文本聚类方法,该方法是从文本的本身出发,利用<现代汉语语义分类词典>的级类主题词,在高维的文本向量集中提取概念元组,形成表示聚类结果的高层概念,最后基于这些高层概念进行样本划分,从而完成整个文本的聚类过程.试验结果表明,该聚类算法有较好的聚类结果且有较高的执行效率.     

一种基于特征词聚类的文本分类方法

本文阐述了一种基于特征词聚类的降维方式,其主要思想就是把词在文本中的出现看成一个事件,先通过搜索算法计算每一个特征词的分布,合并对分类有相似作用的特征词,从而起到了特征降维的作用。最后通过实验测试分析,提出了一种改进的、考虑全局簇信息的相似度计算公式,将其应用到文本分类中,实验表明提高了文本分类的精度。