基于链接导向的PageRank算法的优化研究探讨

研究主要针对PageRank只考虑链接关系,而不考虑相关性的缺点进行了一些改进,把Web数据挖掘技术的内容挖掘应用到PageRank算法中,基于超链接文本和内容与主题的相关性,提出了PageRank算法的优化算法,并通过实验仿真,实验结果表明改进后的方法对提高更高相关性的网页的排名是有效的,符合人们的期望。     

一种基于多重哈希词典和K-最短路径算法的中文粗分词方案研究

本文在已有研究基础上,针对中文粗分词,设计了多重哈希词典结构,以提高分词的词典匹配效率,同时基于删除算法改进了中科院ICTCLAS分词系统的K-最短路径搜索思想.最后,论文对所研究技术方案进行了系统实现.系统实验结果表明,对于大规模文本,论文所提出的粗分词方案体现出了很好的性能.     

我国网上书店的链接分析

本文采用链接分析方法,从情报学的链接代表引用和社会学的超链接网络分析两个角度出发,分别采集我国网上书店的链接数量、网页数量、综合排名、内向程度中心度、中介度等数据,对我国网上书店进行实证研究。得出我国网上书店的链数、网页总数与网上书店的排名正相关,内向程度中心度与中介度正相关等结论,并据此提出我国网上书店优化的意见。     

Web站点综合分析挖掘系统框架研究

设计井实现了Web站点综合分析系统, 利用基于有向树的用户浏览模式算法及页面链接支持度, Web站点管理员可以改善超链接结构,使用户更方便地访同站点,增加缓存预取机制.改善服务响应时间.最后用某公司的日志数据进行了实验和测试,可适于各种类型、行业、规模的Web站点.     

基于标签样式和密度模型的网页正文自动抽取

【目的/意义】为给数字出版知识服务系统提供高质量的文本语料以供知识抽取,本文提出了基于标签样式 和密度模型来抽取网页正文的方法。【方法/过程】该方法先根据标签样式将网页文本进行分块,再根据各块文本内 容的文本密度、标点密度、非超链接密度计算出综合密度,最后通过阈值判断抽取出网页中信息含量高的正文。【结 果/结论】该方法简单高效无需人工编写规则或训练,能完整地抽取出网页正文。通过随机选取新闻网页进行实 验,结果表明该方法能有效地自动抽取网页正文,适用于不同设计风格的网站,而且准确率和召回率优于基于统计 的 CEPR抽取方法。     

面向知识服务的企业知识挖掘系统设计

对知识挖掘服务系统的建设背景、系统的功能与建设内容进行了详细的分析与设计。该系统通过将企业积累的信息通过文本提取技术获得内容信息,使用中文分词算法进行深入分析,形成完整的知识脉络结构,建立企业知识体系,为企业提供知识分享、个性化定制与推送、关联推荐等智能化的知识服务。     

网络学科资源导航库中的超链接研究

本文首先介绍了网络学科资源导航库和超链接结构，然后讨论了网络学科资源导航库中超链接自动生成技术、超链接的导航优化和超链接信息的检索技术。     

基于SOM的超文本自动生成算法

利用自组织映射网络（80M）可以实现文本聚类,在此基础上进一步对索引词聚类,从而可以得到文本聚类图和索引词聚类图。利用这两个图,就可以对普通文本进行超文本自组织,即对普通文本的某些知识点做超链接,以链接到与之相关的Web文档上。     

论文相似度的计算研究——基于VSM模型

当前论文抄袭现象时有发生,对于学术的严谨性产生负面影响.通过基于VSM相似度计算模型,采用ICTCLAS分词技术及MSOLE自动化技术,探讨了论文提交与发布系统中实现论文相似度计算的方法,有利于督促导师对学生论文的指导.     

利用集合差异度实现基于内容聚类的P2P搜索模型

基于内容的非结构化P2P搜索系统中直接影响查询效果和搜索成本的两个主要问题是,高维语义空间所引起的文本相似度计算复杂以及广播算法带来的大量冗余消息. 本文提出利用集合差异度实现基于内容聚类的P2P搜索模型提高查询效率和减少冗余消息。该模型利用集合差异度定义文本相似度,将文本相似性的计算复杂度控制在线性时间内而有效地减少了查询时间;利用节点之间的集合差异度实现基于内容的聚类,既降低了查询时间,又减少了冗余消息.模拟实验表明,利用集合差异度构建的基于内容的搜索模型不仅具有较高的召回率,而且将搜索成本和查询时间分别降低到了Gnutella系统的40%和30%左右.     

基于搜索引擎的中文歧义词收集系统研究

本文构建了一个基于搜索引擎技术的中文歧义词收集系统。该系统从Internet上抓取网页内容,清除掉HTML标记及其他脚本后,得到网页内容的纯文本形式,然后采用双向扫描法找出歧义词位置并保存,接着做进一步的分析处理,得到包含歧义词的句子及歧义词在句中的相对位置。该结果可以供分词消岐算法研究人员使用,能够有效解决分词消歧研究中测试语料难以获取和不同消歧算法的结果难以对比的问题。     

全文检索搜索引擎中文信息处理技术研究

本文深入分析了全文检索中文搜索引擎的关键技术,提出了一种适用于全文检索搜索引擎的中文分词方案,既提高了分词的准确性,又能识别文中的未登录词。针对向量空间信息检索模型,本文设计了一个综合考虑中文词在Web文本中的位置、长度以及频率等重要因素的词条权重计算函数,并且用量化的方法表示出其重要性,能够较准确地反映出词条在Web文档中的重要程度。最后对分词算法进行了测试,测试表明该方法能够提高分词准确度满足实用的要求。     

网站特征的定量研究(一)--对大学网站链接特征的探讨

本研究以网站的总链接数、指向内部的链接数、指向外部的链接数、链接密度、页面平均链接数和所链接到的网站数为指标 ,在对中国财经类院校、美国商学院和医学院网站进行全面对比分析的基础上 ,探索大学网站的链接特征以及中、美大学网站在链接特征上的差异。     

全文检索研究

A new algorithm for automatic segmentation of Chinese word with the stop word list and post-controlled thesaurus, that has absorbed the ideas from the single-Chinese character method and the thesaurus method, is given. Based on this algorithm, a new full text retrieval mode is built.     

一种基于文本分类技术的邮件过滤系统设计

垃圾邮件的泛滥提出了极为迫切的技术诉求,文章介绍了基于文本分类技术的垃圾邮件过滤系统模型,首先介绍了整个系统工作流程,然后阐述了系统中文本分词,文本特征提取,Winnow线性分类器等关键环节。     

基于专业术语提取的中文分词方法

针对在科技文献中,未登录词等相关专业术语其变化多端,在中文分词中难以识别,影响了专业领域文章的分词准确度,结合实际情况给出了一种基于专业术语提取的中文分词方法。通过大量特定领域的专业语料库,基于互信息和统计的方法,对文中的未登录词等专业术语进行提取,构造专业术语词典,并结合通用词词典,利用最大匹配方法进行中文分词。经实验证明,该分词方法可以较准确的抽取出相关专业术语,从而提高分词的精度,具有实际的应用价值。     

Sememe knowledge and auxiliary information enhanced approach for sarcasm detection

Sarcasm expression is a pervasive literary technique in which people intentionally express the opposite of what is implied. Accurate detection of sarcasm in a text can facilitate the understanding of speakers’ true intentions and promote other natural language processing tasks, especially sentiment analysis tasks. Since sarcasm is a kind of implicit sentiment expression and speakers deliberately confuse the audience, it is challenging to detect sarcasm only by text. Existing approaches based on machine learning and deep learning achieved unsatisfactory performance when handling sarcasm text with complex expression or needing specific background knowledge to understand. Especially, due to the characteristics of the Chinese language itself, sarcasm detection in Chinese is more difficult. To alleviate this dilemma on Chinese sarcasm detection, we propose a sememe and auxiliary enhanced attention neural model, SAAG. At the word level, we introduce sememe knowledge to enhance the representation learning of Chinese words. Sememe is the minimum unit of meaning, which is a fine-grained portrayal of a word. At the sentence level, we leverage some auxiliary information, such as the news title, to learning the representation of the context and background of sarcasm expression. Then, we construct the representation of text expression progressively and dynamically. The evaluation on a sarcasm dateset, consisting of comments on news text, reveals that our proposed approach is effective and outperforms the state-of-the-art models.     

基于语义概念和词共现的微博主题词提取研究

【目的/意义】从海量微博信息中提取准确的主题词,以期为政府和企业进行舆情分析提供有价值的参考。 【方法/过程】通过分析传统微博主题词提取方法的特点及不足,提出了基于语义概念和词共现的微博主题词提取 方法,该方法利用文本扩充策略将微博从短文本扩充为较长文本,借助于语义词典对微博文本中的词汇进行语义 概念扩展,结合微博文本结构特点分配词汇权重,再综合考虑词汇的共现度来提取微博主题词。【结果/结论】实验 结果表明本文提出的微博主题词提取算法优于传统方法,它能够有效提高微博主题词提取的性能。【创新/局限】利 用语义概念结合词共现思想进行微博主题词提取是一种新的探索,由于算法中的分词方法对个别网络新词切分可 能不合适,会对关键词提取准确性造成微小影响。     

基于Lucene的信息检索的研究与应用

快速有效地索引企业累积的大量的信息资源,是提供高质量检索服务的基础。Lucene是一个用Java写的全文索引引擎工具包,访问索引时间快,支持多用户访问,可以跨平台使用。本文研究了Lucene和中文切分词技术,分析了Lucene的索引原理,实现了一个基于kene并支持中英文文档检索的应用实例。     

基于词链的自动分词方法

An algorithm for automatic segmentation of Chinese word,which is an improved version of the minimum matching algorithm,is put forward.The key idea of the algorithm is to optimize the word bank and the matching process to enhance the speed and accuracy of word segmentation.By integrating the case bank for processing ambiguous word chain with relevant segmentation rules,the correctness of word segmentation is enhanced,which partly makes up the deficiency in processing natural language.