国内中文自动分词技术研究综述

认为分词是文本自动分类、信息检索、信息过滤、文献自动标引、摘要自动生成等中文信息处理的基础与关键技术之一,中文本身复杂性及语言规则的不确定性,使中文分词技术成为分词技术中的难点.全面归纳中文分词算法、歧义消除、未登录词识别、自动分词系统等研究,总结出当前中文分词面临的难点与研究热点.     

基于受限领域的中文分词系统

针对受限领域的特点及现有分词面临的困难,比较现有分词的方法,选择并改进了最大分词算法,设计了一个基于受限领域的中文分词系统,在一定程度上比较好地解决了未登录词和分词歧义的问题。     

基于既定词表的自适应汉语分词技术研究

提出一种汉语分词算法，在给定的分词词表的基础上进行汉语分词时，不但能成功切分出分词词表中已有的词，而且能同时自动识别出分词词表中没有的词，即未登录词。与逆向最长匹配法以及其他未登录词识别算法进行的测试比较表明，该分词算法可以有效地解决大多数未登录词的识别问题，并且能减少分词错误，同时对分词算法的效率基本没有影响。     

全二分快速自动分词算法构建

分析现有分词算法存在的不足，在此基础上提出一种新的分词词典，通过为分词词典建立首字Hash表和词索引表两级索引，使得该分词词典支持全二分最大匹配分词算法，利用该分词算法进行自动分词，其时间复杂度实现了大的改善。     

面向未登录领域词切分的中文分词技术研究

本文通过研究现有中文分词技术的理论和工具,提出一种面向未登录领域词识别的中文自动分词算法。首先,利用已有的中文自然语言处理技术对中文文本进行自动分词,并用一种改良的串频统计方法自动识别出语料中的未登录领域词汇,从而有效提高了中文分词的准确性。     

中国古籍文本分词的一次试验

综合采用切分标志、分词词典和N元语法3种方法对古籍文本进行分词,并采用子串比较过滤、相邻词过滤、高频词过滤、低频词过滤等方法对分词结果进行过滤,分别以12种农业古籍和379种<广东方志物产>为语料进行了古籍分词测试.从12种农业古籍中共识别出已有词1164个,约占总词汇量的31%;未登录词2530个,占总词汇的69%.从379种<广东方志物产>资料中共识别出已有词6314个,占总词汇的8%;未登录词75 438个,则占总词汇的92%.通过对379种<广东方志物产>分词结果的分析发现,当词频等级位于区间(2000,8000)时,词频等级与频次乘积基本为常数23 000 000.这一结果说明齐夫定律在古籍文本中同样适用.     

三字歧义链自动分词方法

歧义问题是自动分词系统中要解决的主要问题之一。本文介绍一种在最大匹配法基础上,根据大量的真实语料中出现的歧义现象,把可能产生歧义切分的词进行特性分类,对每类确定一组规则进行处理     

基于两字词簇的汉语快速自动分词算法

本文提出了一种快速汉语自动分词算法。其主要思想是利用汉语中两字词占７５％的统计规律,提出了两字词根和两字词簇的概念。算法把三音节以上的词用两字词簇来压缩处理,也就是把长词的扫描范围限定在词汇量很小的词簇内,从而不仅提高了分词速度,而且彻底解决了传统最大匹配分词算法中最大匹配词长的设定问题。另外,本文还提出了用两字词簇快速检测交叉歧义的算法。本文的分词算法简洁、速度快、易于实现     

基于知识评价的快速汉语自动分词系统

汉语自动分词是中文信息处理的首要工作。衡量一个分词系统性能优劣指标主要有两个，一个是切分的速度，一个是切分的精度。本文提出的基于知识评价的汉语自动分词算法，可大大提高系统的切分速度，而且利用基于复杂特征集的规则、模式等可处理掉大部分切分歧义。最后，本文对消歧提出了一些设想。     

汉语分词有向图的快速生成算法

给出了一种汉语分词有向图的快速生成算法。所构造的有向图可以作为机械分词、消除歧义以及进一步分析句子的基础。     

基于规则的中文时间词和数词的自动识别算法

对中文时间词和数词在文本中的常见形式进行归纳，以此为基础构建用于识别时间词、数词的规则集，提出一个基于规则的时间词和数词自动识别算法，并对该算法在竞争情报分析领域和机器翻译领域中的应用价值进行论述。     

基于二元中文分词的高效检索算法研究

针对传统的like通配符检索存在的问题,提出基于二元中文分词的高效率检索算法的思路、流程,给出核心算法代码;在消除重复词语、查全率、查准率、多字词检索等方面,与传统检索进行比较,各方面评测结果都优于传统检索;基于二元中文分词的高效率检索算法,简单、高效、容易实现,以期在信息系统的检索模块中得以利用,提高信息检索效率,减小信息搜索成本。     

交集型歧义字段切分方法研究

本文通过动态建立独立成词能力频次库的方法以及基于词语/词性搭配的规则库,对交集型歧义字段进行处理,大大提高了切分正确率。在4万语料的开放测试中,交集型歧义字段的切分正确率可达98％以上。     

自动标引中的歧义词消除方法研究

针对中文自动标引过程中经常会产生诸多歧义词,导致检出的信息不切题或漏检这一问题,在论述自动标引中歧义词消除方法的相关研究基础上,提出一种将穷举法和消歧规则相结合的歧义词消除方法。测试结果表明,这是一种行之有效的消除歧义词的方法。     

基于修正点互信息的特征级情感词极性自动研判

[目的/意义]基于语料的情感词发现依语句上下文推断情感词极性,能显著提升情感分析的准确率,在面向领域的特征级情感分析任务中有重要应用价值。[方法/过程]对特征级情感极性研判问题展开探讨,提出基于点互信息的"特征-情感"对情感极性自动判别算法,算法借助大规模领域语料,根据观点表达"特征-情感"对与情感语义明确的种子词的共现关系,同时引入依存句法分析语句间的情感转折,通过修正经典的点互信息算法,对上下文约束下的用户观点表达进行褒贬预测。[结果/结论]实验证明,修正算法的性能显著优于词典匹配算法和经典的点互信息情感识别算法,不仅能够推断词典中未纳入的观点表达的情感指向,而且能较准确地推断"语境"中的情感词极性。在餐饮评论和数码产品评论两个评测语料集上,修正算法的F1宏平均指标分别达到0.827和0.878。该算法以领域相关的大规模语料为支撑,基于概率统计和句法分析,因数据获取便利,算法效率高,移植性好,具有普适性,尤其适用于面向领域的情感分析任务。     

中文科技论文中顿号的使用问题

在科技编辑界,并列的阿拉伯数字之间和并列的外文字符之间的停顿用逗号而不用顿号,已成为一种约定俗成的规则。但这种用法可能引起3个问题：不符合中文标点符号使用规则,句子层次混乱甚至造成歧义,句中对应成分标点符号不对应。     

���������㻥��Ϣ����������дʼ����Զ�����

��[Purpose/significance] By using corpus-based sentiment analysis, opinion word polarity can be predicted in accordance with its context. The method is significant in applications oriented to specific-domains sentiment analysis tasks since it can improve the prediction accuracy.[Method/process] In the paper, context-oriented sentiment polarity identification for emotion expressions was investigated. A Pointwise Mutual Information(PMI) based algorithm was proposed to solve the problem. In terms of PMI, polarity of an emotion expression "feature-opinion" was inferred according to the co-occurrence of the expression with contextual opinion seed words. Furthermore, employing dependence relation analysis to detect sentimental reverse in context; with the modified PMI algorithm, we can predict polarity of emotion expressions in a sentence more accurately.[Result/conclusion] The results indicate, compared with the Lexicon-based method and the classical PMI, the modified method performs better. With it, opinion-words unlisted in lexicons can be identified, and context-specific sentimental orientation of an expression can be detected precisely as well. Modifying the macro F1 value to 0.827 and 0.878 in cater-review corpus and electronic-product review corpus separately. The algorithm, supported by large-scale domain-specific corpus and based on statistics and dependency analysis, is efficient due to convenience for data acquisition, which make it easier be applied in other domain-specific sentimental analysis tasks.     

汉语自动分词研究展望

 汉语自动分词是计算机中文信息处理中的难题。本文通过对现有分词方法的分析，指出了今后汉语自动分词研究的三个发展方向，即对传统文本的有效切分，计算机技术的快速发展，改造书面汉语书写规则。     

基于长度递减与串频统计的文本切分算法

提出了一种基于汉字串频度及串长度递减的中文文本自动切分算法。采用长串优先匹配法,不需要词典,不需要事先估计字之间的搭配概率,不需要建立字索引,利用串频信息可以自动切分出文本中有意义的汉字串。该算法能够有效地切分出文本中新涌现的通用词、专业术语及专有名词,并且能够有效避免具有包含关系的长、短汉字串中的短汉字串的错误统计。实验表明,在无需语料库学习的情况下,该算法能够快速、准确地切分出中文文档中出现频率大于等于支持度阈值的汉字串。