XML Documents Clustering Based on Semantic Tag Tree

近年来XML凭借其自身的简单性、半结构化、可扩展性、自描述性等特点,逐渐成为了互联网数据表示和数据交换的标准.XML文档聚类是数据挖掘研究中热点一个,为网络信息资源的搜集、组织及检索利用提供良好的技术支持.本文首先介绍了目前主要的XML文档聚类算法,然后在利用WordNet对XML文档中的标记进行语义消歧的基础上,提出了一种新的基于语义标记树的XML文档相似度计算方法,并通过最近邻算法进行聚类,最后在用于XML检索研究的数据集上进行实验,证实其确实是一种比较有效的XML文档聚类方法.     

标签的聚类分析研究

探讨标签的清除与准备、标签之间的共现分析以及基于共现信息的标签聚类,并试图通过标签的聚类分析,进行相关标签群的查找,从而研究标签的本质。     

基于关键词和摘要相关度的文献聚类研究

现有的文献聚类方法都是通过文献关键词来进行的.本文在研究大量文献聚类方法的基础上,提出了一种通过文献关键词和摘要进行加权的新的文献聚类算法.首先,改进了传统相似度计算的方法,设计出基于关键词和摘要词加权的相似度公式,使文献相似度计算更加精确.其次,基于"文献距离越大,聚为一类的概率越小"的思想,提出了一种"最大距离聚类法",并给出了算法的详细步骤.最后,实现算法并进行了大量的实验仿真.通过改进相似度计算公式,调整关键词和摘要词的权重,提高了聚类的质量.结果表明,本文提出的文献聚类算法是一种行之有效的方法.     

一种结构与内容相结合的XML文档聚类方法

XML(可扩展标记语言)正在成为Web数据交换的标准格式.随着XML格式的半结构数据的大量出现,如何处理和管理XML文档已经成为了一个研究热点.XML文档聚类作为XML数据处理的重要课题,是指将具有类似特征的XML文档聚集成簇.现有的大部分XML文档聚类是基于文档结构特征的.本文提出了一个新的结构与内容相结合的XML文档聚类方法.首先从文档中抽取构件向量,并把文档转换为向量化的表示.然后,在文档相似度计算的基础上,引入一个层次聚类方法对XML文档进行聚类.在DBLP XML记录集上进行的实验表明该方法具有可行性并且性能明显优于已有方法.     

基于聚类算法的本体层次关系获取研究

提出利用蚁群聚类方法进行初始聚类,通过K-means聚类算法对初始聚类的结果进一步分层聚类,并结合术语综合相似度计算的方式提取每个类的标签,从而完成术语层次关系的构建。最后抽取部分实验结果,由领域专家对其进行评价,并对结果进行分析。     

社会化标注环境下的标签共现谱聚类方法

在分析标签共现的基础上, 提出一种基于共现的标签谱聚类方法, 该方法直接利用标签的共现关系来测度标签的相关性, 能够避免将标签表示成向量空间模型时所带来的高维稀疏等问题.在衡量标签的共现相似性时, 设计一种综合的方法, 并给出标签综合共现相似度的计算公式.与传统的单一利用标签的个体共现来衡量其相似性相比, 综合的方法同时考虑标签的个体共现相似性和标签的群体共现相似性, 能够更加精确地刻画标签的共现相似度.实验结果表明, 基于综合共现相似度的标签共现谱聚类方法具有较好的效果.     

XML文档自动聚类研究

本文在文本聚类的基础上对XML文档自动聚类进行了研究,对划分聚类法和层次聚类法进行了改进,使之适合于XML文档聚类;给出了元素比较法、边集比较法和编辑距离法等三种计算文档间相似度的方法,并利用实际数据进行了测试和分析。     

Research on Tag Concept Space Construction in Folksonom System

大众分类是Web2.0环境下产生的一种新型信息分类法,标签是其中的核心要素,但标签的多样性、模糊性、结构扁平化等缺陷严重影响了信息检索的效率.本文以"豆瓣读书"为例,通过分析标签的统计学规律,挖掘标签间的相互关系,并利用聚类算法对标签进行聚类,构建标签概念空间,从而实现对标签的重新组 织,为用户提供更好地标签导航和浏览机制.实验证明,本文提出的算法模型能够较好地构建标签概念空间.     

基于LSI理论的文本自动聚类研究

结合潜性语义索引（latent semantic index,LSI）理论和K-means聚类法,提出一种改进的文本自动聚类方法,即首先利用N-gram统计法抽取文档关键词,并应用潜性语义索引LSI对构建文档的向量空间模型进行降维,然后采用K-means算法进行文本聚类。实验表明,该算法进行文本聚类的准确度最高可达84.7%。     

基于凝聚式层次聚类算法的标签聚类研究*

对标签、标注、大众分类等概念进行界定,指出现有标签标注系统中存在着标签描述信息的精确度不高、标签检索结果相关度低、标签缺乏有效组织等问题,提出采用凝聚式聚类算法对标签聚类,从而实现对标签的重新组织,为用户提供更好的标签导航、浏览机制。最后通过实验对标签聚类方法进行验证。     

基于用户自然标注的TF-IDF辅助标引算法及实证研究

[目的/意义] 从用户角度出发,研究基于用户自然标注的TF-IDF辅助标引算法。[方法/过程] 首先以核心期刊论文中作者标注的关键词和分类号为源数据,通过对关键词词频进行统计,使用TF-IDF算法构建用户标注词表、形成标引知识库,然后通过IK Analyzer分词软件对待标引的科技项目数据进行切词和停用词处理,进而使用TF-IDF算法和位置加权算法提取科技项目数据的特征词,最终实现对科技项目数据进行关键词和分类的同步标引。[结果/结论] 实验结果表明,机标关键词与人标关键词的相似比在60%以上的科技项目数据占总数的68.1%,机标分类号与人标分类号前三位一致的占总数的83.9%,结果表明基于用户自然标注数据并采用TF-IDF算法在关键词和分类标引方面是可行的。     

基于词汇链的关键词自动标引方法

关键词自动标引是一种识别有意义且具有代表性片段或词汇的自动化技术。关键词自动标引可以为自动摘要、自动分类、自动聚类、机器翻译等应用提供辅助作用。本文利用基于知网的词语语义相关度算法对词汇链的构建算法进行了改进,并结合词频和词的位置等统计信息,进行关键词的自动标引。实验证明,该方法可以有效的进行关键词的自动标引。     

科技文献关键词冗余解决方案研究

提出一种改进的基于相似度计算的科技文献关键词选取算法。先利用N-gram算法提取领域词库,再综合利用领域词库和常识词库,对最初选择的关键词重新切分,进行给定关键词之间的语义对比。语义相似度大于一定阈值的关键词被认为是表达同一意义的同义词,将同义词在文献库中合并,从而解决关键词冗余问题。实验结果可以证明该方法的有效性。     

基于BERT模型的科技政策文本分类研究

在智慧政务的应用背景下,利用深度学习的方法对海量的科技政策文本数据进行自动分类,可以降低人工处理的成本,提高政策匹配的效率。利用BERT深度学习模型对科技政策进行自动分类实验,通过TextRank算法和TF-IDF算法提取政策文本关键词,将关键词与政策标题融合后输入BERT模型中以优化实验,并对比不同深度学习模型的分类效果来验证该方法的有效性。结果表明,通过BERT模型,融合标题和TF-IDF政策关键词的分类效果最佳,其准确率可达94.41%,证明利用BERT模型在标题的基础上加入政策关键词能够提高政策文本自动分类的准确率,实现对科技政策文本的有效分类。     

C-value值和unithood指标结合的中文科技术语抽取

研究从科技论文文本中抽取作者关键词以外的科技术语的方法。因为标引效应问题,单纯选择论文中的关键词作为候选术语会影响术语库的数量和质量,需要考虑从论文文本中抽取术语。现有的大多数术语抽取方法重视采用termhood指标,而忽视unithood指标,针对此问题,在C-value算法的基础上,提出用于生成候选术语的中文术语构词规则和测量术语内部结合强度的unithood指标,实现从论文文本中抽取中文科技术语。以信息资源管理领域的术语抽取为例对提出的方法进行验证,实验结果证明,提出的方法能够有效地抽取领域科技术语,抽取精度较高。     

基于专利文献的技术演化分析方法研究

在分析现有方法之不足的基础上,提出一种更完善的基于专利文献的技术演化分析方法：①采用分类号替代关键词作为专利文档聚类的基础;②采用基于语义的分类号-专利文档相似矩阵代替关键词-专利文档存在矩阵聚类;③采用更适合小样本聚类的系统聚类法。以石墨烯传感器技术为例,进行实证分析,绘制出石墨烯传感器技术层次语义网络图与技术演化图。研究结果显示,该方法可较好地应用于专利技术演化分析。     

基于关键词价值细分的高价值热点主题识别方法研究

对作者关键词进行价值细分研究,有助于识别学科高价值研究热点主题,帮助研究者们精确把握高价值研究主题和学科研究前沿。本文引入营销领域客户价值细分RFM (recency,frequency,monetary)模型,对各个指标进行动态加权,多次实验后,形成多组关键词价值细分结果;从关键词生命周期的角度,结合医学领域的生存分析方法,使用Kaplan-Meier曲线和Logrank检验验证,识别出最优价值细分结果;依据帕累托原则和聚类算法得到高价值热点主题。数据源选择CSSCI (Chinese Social Sciences Citation Index)收录的图情档领域期刊论文,对1998—2019年的题录数据进行实验。相较于已有的热点主题识别方法,本文的识别结果考虑了关键词的价值属性和分类,较好地识别了高价值热点主题。     

基于语义和引用加权的文献主题提取研究

[目的/意义]传统的文献主题提取方法主要是通过关键词、摘要、全文等提取文献的主题内容,使得主题内容不全面或存在"噪音",而从文献内容语义出发,结合引用内容提取文献的主题,能够更加准确地提取出多文档的主题内容。[方法/过程]提出一种面向多文档的基于语义和引用加权的科技文献主题提取算法,利用文献的引用内容和关键词构建Labeled-LDA主题模型,形成文档-主题概率向量,再根据K-means聚类方法聚类文档,提取每类文档集的主题内容。[结果/结论]以PubMed生物医学数据库中的数据作为实验数据,测试该方法的可靠性,结果证明该方法能够准确、全面地提取出多文档的主题内容。     

基于模糊处理的中文文本关键词提取算法*

研究关键词提取算法,在分析可能影响关键词提取词语的各种属性并将其量化的基础上,提出并实现一种将分词与词性标注、文本预处理、线性加权算法、组合词生成与过滤、合并候选关键词等集成到一个完整框架中的模型算法。     

基于多属性加权的社会化问答社区关键词提取方法

[目的/意义]现有的关键词提取方法不适应社会化问答社区文本长度较短、内容表述口语化、数据集稀疏的特点,且很少考虑用户关注程度对词语重要性的影响,不能有效地提取此类文本的关键词,因此,提出针对社会化问答社区的多属性加权关键词提取方法。[方法/过程]多属性加权关键词提取方法通过引入调节函数和词性对传统TF-IDF进行改进,并通过线性加权融合用户回答数、关注数、浏览数以及评论数4个用户关注属性来综合度量词语权重。[结果/结论]实验表明,该方法能更有效地提取社会化问答社区文本的关键词。