基于统计与规则的术语抽取

术语抽取是自然语言处理领域的一项基础性工作。本文提出了一种基于统计与规则相结合的术语抽取方法：首先在对主语料进行分词标注的基础上,通过基于词性规则的重复串查找得到候选术语,然后依据术语具有单元性和术语性的特点,先后采用SCP以及C-value模型对候选术语进行过滤得到术语。实验表明该方法切实有效,可以识别不同长度和不同领域的术语,能够应用于词典编纂和术语抽取等领域。     

基于诉求词典的突发事件情报感知与实证研究

[研究目的]面向民众诉求,针对互联网大数据快速精准感知突发事件情报,可以作为政府应急管理与决策的重要依据。[研究方法]通过研究突发事件诉求信息的产生机理逆推出面向诉求信息的突发事件情报感知过程,并面向诉求词典构建突发事件情报感知模型。在词典构建方面,分别使用词性标注法、TF-IDF算法、Word2vec算法构造诉求停用词典、基础诉求词典和扩展诉求词典。在感知与验证方面,建立基于诉求信息占比的词典匹配方法,同时设置识别规则,对照检验,寻求识别效果最好的词典构造参数。[研究结论]对新冠肺炎疫情期间微博舆情进行识别验证,得到最终效果最好的词典为Word2vec扩展词典,训练词向量维度为1 000维,相似度阈值设置为0.77,诉求占比阈值为0.2。该词典F1值达到67.9%,准确率达到92.5%。面向民众诉求提出了突发事件情报感知过程,并探寻了具体的可行路径,针对政府应急管理提出了情报感知与决策方案,构建的词典对诉求感知具有较好的适用性,具备一定的应用价值。     

自动词性标注概述

词性标注作为句法分析必不可少的环节,得到了语言学家和计算语言学家的重视,本文概述了词形标注所要解决的问题以及自动词形标注所使用的方法。     

藏语文信息监测关键技术初探

藏语文信息监测与发布关键技术难点主要包括网络爬虫算法设计、藏文自动分词及词性标注和藏文命名实体识别。文章围绕以上三个方面分别探索了网络爬虫技术、藏文自动分词及词性标注规则算法和藏文命名实体识别构思,致力于形成与舆情、安全相关的藏语文信息监测技术方案。     

基于word2vec和自训练的无监督情感分类方法

针对现有情感分类算法中存在的问题,本文提出了一种基于word2vec和自训练的无监督情感分类方法。该方法首先利用word2vec和词性标签构建领域情感词典,并在此基础上融合否定词和程度副词来计算评论的情感倾向值;其次,选取情感倾向强烈的评论作为已标注训练集,剩余部分作为待分类数据集;最后,采用机器学习方法生成分类器进行自训练学习,直到迭代结束。采用手机评论作为实验数据,结果证实了该方法的有效性。     

中医医案数据库的构建和数据处理研究

探讨中医医案数据库的构建,寻找对医案数据库进行规范化处理的可行性方法.针对医案文献数量巨大,收录散杂的问题,提出了对历代医案进行整理,建立数据库的方法.由于针对词性标注容易引起语义缺失的问题,提出了以语义标注作为医案信息抽取规则的方案.研究表明,基于语义标注的医案信息抽取方式有一定的可行性和适用性.     

实体-属性抽取的GRU+CRF方法

[目的/意义]研究利用深度学习的循环神经网络GRU结合条件随机场CRF对标注的中文文本序列进行预测,来抽取在线评论文本中的实体-属性。[方法/过程]首先根据设计好的文本序列标注规范,对评论语料分词后进行实体及其属性的命名实体标注,得到单词序列、词性序列和标注序列;然后将单词序列、词性序列转为分布式词向量表示并用于GRU循环神经网络的输入;最后输出层采用条件随机场CRF,输出标签即是实体或属性。[结果/结论]实验结果表明,本文的方法将实体-属性抽取简化为命名实体标注,并利用深度学习的GRU捕获输入数据的上下文语义以及条件随机场CRF获取输出标签的前后关系,比传统的基于规则或一般的机器学习方法具有较大的应用优势。     

一种嵌入词义消歧的机器翻译框架

本文介绍了一种机器翻译框架,能够完成汉-英文本的自动翻译任务。对于输入句子,分别进行分词、词性标注和句法分析处理。在翻译转换之前,集成了词义消歧的结果以提高自动译文输出质量。     

混合式机器翻译中单词处理的一些技术探讨

机器翻译的涉及的技术很多,单词处理是其中的一个重要核心.本文主要介绍单词处理的一些技术,其工作有三部分:第一部分提出最大匹配分词的改进算法;第二部分探讨汉英机器翻泽时名词的单复数处理算法;第三部分给出词性兼类处理的一些方法.     

谈ABB式形容词读音

ABB式形容词的叠音后缀的读音一般读这个字的本调,而且多数声调为阴平,也有一些数量的BB,声调本读阳平、上声或去声,但语言习惯常常将它们改读为阴平,并没有规律可循。本文通过对从第三版《现代汉语词典》到第五版《现代汉语词典》中ABB式形容词的注音中进行的考查可以看出,标注本调是对这类形容词进行音调标注的趋势。