一种基于多重哈希词典和K-最短路径算法的中文粗分词方案研究

本文在已有研究基础上,针对中文粗分词,设计了多重哈希词典结构,以提高分词的词典匹配效率,同时基于删除算法改进了中科院ICTCLAS分词系统的K-最短路径搜索思想.最后,论文对所研究技术方案进行了系统实现.系统实验结果表明,对于大规模文本,论文所提出的粗分词方案体现出了很好的性能.     

一种快速中文分词词典机制

通过研究目前中文分词领域各类分词机制,注意到中文快速分词机制的关键在于对单双字词的识别,在这一思想下,提出了一种快速中文分词机制:双字词-长词哈希机制,通过提高单双字词的查询效率来实现对中文分词机制的改进.实验证明,该机制提高了中文文本分词的效率.     

中文专利权利要求书分词算法研究

中文专利权利要求书是一种半结构化的文本,应对各种检索需要,迫切需要将中文专利权利要求进行分词处理.本文在总结中文专利权利要求书的特点的基础上,提出了一种基于领域词典和规则相结合的面向中文专利权利要求书的中文分词模型,并对词典、规则的构建进行了说明.该方法在封闭式测试条件下取得了较好的分词结果,能够将文本分割为有意义的实体,并且对未登录词的识别效果较好.     

面向医学知识的中文分词词典设计与实现

文章对目前现有的一些中文分词算法进行简单介绍,结合医学词汇的特点,在基于字符串匹配的中文分词方法基础上,对医学知识的中文分词词典进行设计,构建树型的子关系词词典和数组型的同义词词典,同时给出对应的匹配算法,从而使得分词的同时将与用户输入的关键词相关的医学中的专业子关系词与同义词同时获取,进而为用户的网页搜索提供更为全面的关键词集合。     

基于双层哈希表的中文分词算法优化

采用基于词典的正向增字最大匹配算法,分词词典采用改进的双层哈希表加动态数组的数据结构。在不提升已有典型词典机制空间复杂度与维护复杂度的情况下,一定程度上提高了中文分词的速度和效率。     

中文分词算法研究综述

中文分词是中文信息的关键技术之一,其质量高低直接影响中文信息处理效率。文章对各种中文分词算法进行了详细的阐述。并进行了比较和讨论。     

中文分词算法综述

中文分词是中文信息处理的关键技术之一,本文对多种中文分词算法、自动分词理论模型进行了详细的阐述和讨论,为中文分词的进一步发展提供基础和方向。     

基于词典的汉语自动分词算法的改进

综合分析了目前在计算机自动分词领域取得的进展和面临的困难,针对词典法提出了一种新的词典构筑方法以及相应的匹配算法。     

中文分词现状及未来发展

中文自动分词技术是自然语言处理领域一项很重要的基础工作,随着信息的几何级增长,对目前的分词方法提出了更高要求.本文从中文分词的研究现状出发,首先列举了一些具有代表性的典型分词系统,比较了当今主流的三种分词方法:基于字符串匹配、基于理解和基于统计的分词方法,并对分词问题中的歧义和未登录词识别两大难点进行了重点讨论,最后总结归纳了中文分词技术的研究进展.并对其未来发展方向进行了展望.     

国内网络舆情研究的回顾与展望

舆情研究是新兴的社会科学与自然科学交叉的研究领域,网络舆情研究作为舆情研究的热点问题之一更是备受重视.网络舆情研究是舆情基础理论的重要组成部分,对其进行深入研究是对舆情基础理论的深化和扩展.本文通过分析我国网络舆情的研究现状,利用文献计量方法进行内容概括和分析,给出当前网络舆情研究的基本框架;然后对网络舆情研究内容进行分类研究,同时结合应用系统进行比较分析,从整体上把握我国的网络舆情研究和实践;最后探讨网络舆情研究存在的问题,并展望网络舆情的研究趋势.     

汉语自动分词新思维:无词典切分

汉语自动分词与中华民族文化复兴紧密相联 ,但汉语自动分词又是目前中文信息处理中的难题。通过分析现有汉语词自动分词方法及其局限性、汉语词自动分词中存在的困难、汉语同西方语言和日语的差别 ,认为传统汉语文本具有不可自动切分性 ,从汉语自动分词的成本、影响和汉语言发展的前途出发 ,必须对传统汉语文本进行改革。提出了一种新的自动分词思维 :“无词典切分” ,即改变汉语书写习惯 ,在汉语文本生成时在汉语词之间增加分隔信息 ,使汉语适于计算机自动处理。     

基于条件随机场的中文分词方法

提出了一种基于条件随机场(Conditional Random Fields,简称CRF)的中文分词方法.CRF模型利用词的上下文信息,对歧义词和未登陆词进行分词统计处理取得了理想的效果.以SIGHAN2006 Chinese Language Processing Bakeoff提供的数据作为实验数据.实验数据表明,基于CRF的中文分词方法取得了很好的效果,在Uppen,Msra两种语料的封闭测试中准确率分别达到了95.8%和95.9%.     

基于搜索引擎的中文分词评估方法

中文分词的结果是影响搜索引擎中文检索结果质量的重要因素,能否准确有效的分词对提高搜索结果的相关性和用户满意度都至关重要。本文回顾和整理了中文分词评估所依靠的理论依据,同时建立了一套完整的基于搜索引擎中文分词评估方法。这套评估方法涵盖了评估样本的提取、评估人员选取、评估标准的制定、以及评估流程的设置等各个方面。实例分析的结果表明此方法是行之有效的。在此基础上,作者进一步对实验评估的结果进行了深入讨论,并提出了提高评估效果的几条建议,包括如何考虑评估人员背景、取舍评估项目等。     

一种基于互信息的串扫描中文文本分词方法

中文分词技术是中文信息处理的基础环节,在互信息原理的基础上提出了一个基于统计的中文文本分词方法.该方法对经过预处理之后每一个串中的任意可能长度串均判断其成词的可能性,实验结果说明该算法简单且具有良好的精度及查全率.     

近五年我国中文分词研究论文计量分析

本文依据文献计量学的原理与方法,对2004-2008年5年发表的有关中文分词研究领域的论文进行了分析研究。通过对中文分词研究作者分析和文献分布分析,对我国在中文分词领域的研究现状进行了探讨。     

一种挖掘加权最大频繁序列的新算法

由于其内在的计算复杂性,在密集型数据序列数据库中挖掘全部频繁项集往往非常困难,解决方案之一是挖掘最大频繁序列。传统的序列模式方法对满足最小支持度阈值的序列同等对待,但在真实数据库中不同的序列往往具有不同的重要程度。为解决上述问题,提出了一种挖掘加权最大频繁序列的新算法。该算法利用频繁项目出现的频率来计算频繁序列的权重,给出了频繁加权序列的定义,该定义的引入不仅可以找出较为重要的最大频繁序列,而且可以使挖掘结果同样具有反单调性,从能够加速剪枝,提高算法效率。实验结果表明,加权最大频繁序列算法是有效的。