基于词典和统计的语料库词汇级对齐算法

语料库词汇一级的对齐，对于充分发挥语料库的作用意义重大。本文对汉英句子一级对齐的语料库，提出了借助于词典和语料库统计信息的有效的对齐算法。首先利用词典的词的译文及其同义词在目标语中寻找对齐；其次利用汉语词汇与英语单词的共现统计信息以最大的互信息寻找对齐词汇以及相邻短语。实践证明该方法是行之有效的     

基于枢轴语言的平行语料构建方法

平行语料库的规模对于统计机器翻译性能的提高具有重要作用,但是平行语料库的人工构建成本很高。针对这个问题,本文提出了一种低成本高效率的平行语料构建方法,利用枢轴语言作为桥梁,借助已有的机器翻译技术并融合主动学习方法构建目标语言对的大规模高质量平行语料库。本文通过以英语作为枢轴语言构建日汉平行语料库的实例研究,利用成熟的基于短语的统计机器翻译技术,描述了基于译文自动评测的良好译文选择方法、基于主动学习的语料选取方法、以及翻译系统的更新迭代和评价实验。实验结果表明,本文提出的方法能够快速构建日汉平行语料,并有效提高日汉翻译系统的性能。     

关于词聚类中二元词聚类的一些探讨

基于类的统计语言模型是目前解决计算语言学问题的一个重要方法。本文依据Sven Martin等人提出的词聚类方法,采用二元词聚类方式对给出的语料库进行词聚类,并对聚类的结果进行了多方面分析。     

基于单词规则的英汉机器翻译和消歧研究

本文比较各种机器翻译方法的特点，借鉴短语结构、ＧＰＳＧ、ＨＰＳＧ和语料库等计算语言学理论，采用以单词为核心的方法，建立一组以１０００单词为背景的英汉翻译规则，并实现以单词规则、通用规则为准，进行英汉翻译的机译系统。本文还对机译系统构成、设计、词典结构等技术问题进行了探讨，并提出一套规则和结点的评价方法，为消除机器翻译中的句法歧义做了有益的尝试。     

大规模汉语语料库中任意n的n-gram统计算法及知识获取方法

本文提出并实现了一种大规模汉语语料库中字、词级任意ｎ的ｎ－ｇｒａｍ统计算法，本算法可以一次性统计出所有不大于任意ｎ（本文ｎ取为２５６）的字、词级ｎ－ｇｒａｍ，可将传统ｎ－ｇｒａｍ统计时的指数空间开销变为线性的，且与所统计的元数无关。基于这种ｎ－ｇｒａｍ的统计，本文还进行了汉语信息熵的计算及字、词级知识获取的研究。本算法及本文的研究结果已应用于我们研制的机译系统中     

关于汉英词典编纂方法与理论创新问题的思考

汉英词典编纂的难点在于如何使读者得到更实用、更准确的英语对应词。本文结合目前汉英词典出版物中存在的问题,就汉英词典编纂方法与理论创新问题进行探讨,并以标记理论在基于平行语料库的汉英词典编纂中的运用为例,探讨汉英词典编者如何有效地利用中国文化资本文本中词语的英译以消除词目翻译的歧义性问题。     

BT863-Ⅱ英汉机器翻译中译文选择方法

本文给出了ＢＴ８６３Ⅱ英汉机器翻译中,规则和统计方法并举的译文选择策略。基于规则的译文选择方法主要通过考察英语单词在一定上下文中的句法和语义特征,形成支持译文选择的规则;基于统计的译文选择方法是在目标语二元统计的基础上,针对待翻译的英语句子形成消歧矩阵,对消歧矩阵采用了一种贪心搜索策略进行译文选择。     

全文检索中的汉语自动分词及其歧义处理

歧义处理是汉语自动分词的核心问题,汉语自动分词是中文信息检索的基础性课题。目前有基于词典的分词方法、基于统计的分词方法、基于语义的分词方法和基于人工智能的分词方法。自动分词的歧义处理,目前主要有:利用“长词优先”排歧,利用特征词消歧,利用“互信息”和“t-信息差”消歧,利用专家系统分词消歧。参考文献15。     

自适应分词算法中的未登录词识别技术研究

深入研究了未登录词识别技术,并提出了一种新的未登录词识别算法,包括其中的数量词识别规则、边界单字规则、虚字辅助规则、未登录词记忆识别规则以及左右方探测法选取未登录词规则等,使得算法在不依赖大型语料库的前提下可以有效地识别多种领域中各种类型的未登录词.同时,算法通过对绝大部分的交集歧义的识别有效地解决了识别未登录词时导致的新的切分歧义的问题.在网络时文的开放性测试中,分词算法的分词准确率约为90.1%,未登录词识别的准确率、召回率分别为91.2%和94.7%.     

数字图书馆中基于向量空间模型的文档分类系统

介绍一个建立在向量空间模型上的文档分类系统。该系统着重解决向量维数压缩和中文专有词汇获取等问题。在特征项的选取上，我们并不采用文档中出现的全部词汇，而是利用语料库统计信息生成的关键词汇。实验结果表明，较之以采用全体词汇作为特征项进行分类的方法，本方法能有效地进行向量维数压缩，同时也提高了分类准确率。     

中文科技文献计算机自动标引系统的研究

本文针对目前国内外各种计算机自动标引的理论和方法在知识表达方式、词典结构、词的切分和组配、歧义处理等方面所存在的不足，提出了词典基于静态知识表达的网状结构，较好地解决了词典的完备性与存储空间的矛盾；同时使知识的表达更为简洁实用，为切分歧义难点的根本解决提供了方法论。     

无词典中英文混合术语抽取及算法研究

中英文混合术语可作为未登录词处理、加权处理和歧义消解等的辅助信息,并有助于提高中文信息处理的质量。依据长度递减与串频统计思想,本文提出了一种中英文混合术语的抽取方法。该方法不需要词典,不需要事先进行语料库的学习,不需要建立字索引,而是依靠统计信息,抽取出支持度大于等于阈值的中英文混合术语。该算法能够有效地抽取出文本中新涌现的通用词、专业术语及专有名词。实验显示该方法不受语料限制,能够快速、准确地进行中英文混合术语的抽取。     

书刊版式中的断排规则

在实际编校、排版过程中,经常遇到外文单词、缩写词、人名和地名、数字、标点符号、科技符号、单位等的断字转行排版(简称“断排”)问题。在众多书刊中,我们也经常见到一些不规范的断排版式。一般地说,对于不要求行间右齐排的书信或公文函件,可采用整词(如外文单词、缩写词、人名和地名、数字、标点符号、科技符号、单位等)转行。书刊一般都要求行间右齐排,以保持版式的整齐、雅观,为此,有两种方法可供选择:其一,利用北大方正排版软件中的行齐注解、盒子注解、撑满注解或紧排注解,实行整词转行。这种版式的优点是保持字词意义不被分割,因而…     

自动标引中的歧义词消除方法研究

针对中文自动标引过程中经常会产生诸多歧义词,导致检出的信息不切题或漏检这一问题,在论述自动标引中歧义词消除方法的相关研究基础上,提出一种将穷举法和消歧规则相结合的歧义词消除方法。测试结果表明,这是一种行之有效的消除歧义词的方法。     

基于词典约简及多分类算法的文本分类系统的设计与开发

文本自动分类是目前机器学习、自然语言处理和信息资源检索领域的研究热点之一.本文在对自动分类的实现技术问题进行探讨的基础上,尝试对自动分类的几个环节提出改进措施.具体包括:采用约简法进行抽词词典的构造,采用投票法进行文本特征的选择,采用层次法进行逐层次的分类,采用统计与规则相结合的方法进行分类器的构造等.通过在不同语料库上与传统分类方法的对比测试表明,上述改进措施能够有效提高自动分类的性能,基于这些改进措施所开发的自动分类系统具有大规模文本自动分类的可行性.本文详细讨论了相关改进措施的原理、实现算法、流程及存在的问题.     

基于受限领域的中文分词系统

针对受限领域的特点及现有分词面临的困难,比较现有分词的方法,选择并改进了最大分词算法,设计了一个基于受限领域的中文分词系统,在一定程度上比较好地解决了未登录词和分词歧义的问题。     

三字歧义链自动分词方法

歧义问题是自动分词系统中要解决的主要问题之一。本文介绍一种在最大匹配法基础上,根据大量的真实语料中出现的歧义现象,把可能产生歧义切分的词进行特性分类,对每类确定一组规则进行处理     

语言文化传播中翻译的连贯与意义隐含研究

目前翻译界讨论较多的是译文中句式的连贯以及译文是否增加了原文所没有的歧义等问题,本文则从如何解读意义隐含这一角度,从影响语境的5个方面出发,考虑译者如何使译文读者达到理解上的连贯而不引起歧义.     

基于SOM的语义词典自动构建实验研究

语义词典在语言学和自然语言处理研究中占有相当关键的位置.语义词典的构造,通常有两类做法.一类是基于语言学家的主观判断,另一类则是基于机器的自动聚类.后者是本文所要研究的主题.本文基于大规模的语料库,利用自组织映射神经网络(SOM)对词典进行无监督的自动构造.首先从语料库中抽取待聚类词的上下文窗口中的词,并利用信息增益(Information Gain)对特征词进行选择,然后借鉴信息检索模型中的TFIDF计算特征向量中每一个特征的特征权重,最后将构造好的待聚类词的特征向量作为SOM的输入,经过网络的迭代计算将不同类别的词映射在SOM输出网格的不同结点.     

The Study on the Query Expansion Technique Based on Q&A Data

查询扩展是信息检索领域中的一个热门话题,其目标是将与初始查询词相关的其他单词添加到初始查询请求中,以更详细地描述用户的信息需求.本文将查询过程视为特殊的问答过程,并基于此思想提出一种新的查询扩展方法.本文的贡献主要有以下几点:① 借助统计语言模型从大规模问答对数据中挖掘单词之间的扩展关系,并根据单词间的扩展关系对候选扩展词进行评级;② 提出一个新的查询扩展词选取策略,以克服已有查询扩展方法仅依赖评级的扩展词选取策略的不足.通过在真实数据集合上的实验,证明本文提出的查询扩展方法可以取得优于传统方法的性能,具有一定的实用性.