基于页面内容和链接结构的超链接主题预测算法

主要介绍了设计开发Web主题信息采集系统的一个核心算法——超链接主题预测算法。文章在已有理论的基础上，通过实验分析，发现超链接的主题主要取决于三个因素：父网页的主题相关度、锚文本的主题相关度和Web子图的链接结构特性，从而提出了基于Web页面内容和链接结构的超链接主题预测算法，系统评价结果显示该算法有很好的效果。     

面向主题的网络竞争情报采集系统*

分析Web页面的主题特征，构建基于主题的竞争情报采集模型的框架，详细论述面向主题的信息采集策略和采集流程，进而探讨影响信息采集质量的关键因素。     

基于回归分析的网络恐怖信息主题爬虫

[目的/意义]针对目前从开源网络信息中采集网络恐怖信息难、采集效率低的问题,提出一种回归分析法,以综合语义相关与网页重要性两个因素,从而提高网络恐怖信息的采集效率。[方法/过程]通过分析、比较主题爬虫的特性,结合网络恐怖信息的特点,找出PageRank算法和TF-IDF算法中适用于恐怖信息采集的优点,并结合回归分析法,将恐怖信息的采集策略进行相关度预测,用预测结果反馈调节信息的采集过程。[结果/结论]网络恐怖信息采集要兼顾采集的数量和质量,在传统主题爬虫算法的基础上进行改进,提出针对于开源网络恐怖信息采集的爬虫优化算法,可以提高信息采集效率。     

利用引文构建的主题模型研究进展

[目的/意义] 概率主题模型算法在不断得到改进与扩展，本文对国内外已有的利用引文构建的主题模型进行研究，分析和对比不同模型的生成过程与算法，并探讨利用引文构建的主题模型在科技文本分析中的应用与可扩展的研究方向。[方法/过程] 通过Web of Science数据库和CNKI数据库获取国内外利用引文构建主题模型的相关文献，经人工判读后筛选出具有代表性的文献，对这些文献中利用引文构建的主题模型，从建模思想、生成过程、参数估计与推断算法等方面进行对比与分析。[结果/结论] 目前国内外利用引文构建的主题模型主要包括研究主题与引文分布的主题模型、研究被引与施引主题间关系的主题模型，以及基于引用内容的引用主题模型；主题模型中引入引文信息后，能够获得更完整的主题内容和特定主题下的重要文献，并可识别施引文献和被引文献之间主题间的关系及影响；已有的模型多集中在概率潜在语义分析（Probabilistic Latent Semantic Analysis，PLSA）和潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）主题模型基础上进行扩展。未来可扩展研究引入引用内容的主题模型、模型的性能优化和评价方法、模型的应用研究等。     

Web信息主题采集技术研究

简单介绍主题信息采集系统;从5个方面对其核心技术进行深入研究,包括种子页面生成、主题表示、相关度计算策略、爬行策略以及结束搜索策略等;详细讨论种子页面生成的人工方式、自动方式及混合方式,基于关键词的主题表示与基于Ontology的主题表示,多种相关度计算启发式策略比较,基本爬行策略与隧道技术以及结束爬行的多种情形等;在分析相关技术的算法、特点与应用情况的同时,针对主题信息采集特点提出相应的改进意见。     

Web上基于特定主题的RG-HITS算法研究

Web 信息检索（Information Retrieval）技术研究是应用文本检索研究的成果，它结合Web图论的思想，研究Web上的信息检索，是行之有效的Web知识发现的途径。传统HITS方法所获得的信息精确度相当低，而PageRank作为一通用的搜索方法，不能够应用于特定主题的信息获取。在充分分析了PageRank、HITS等现有算法和Web文档的相似度计算方法的基础上，提出了Web上查询特定主题相关信息发现的RG-HITS算法。它结合了Web超链接、网页知识表示的信息相关度以及HITS方法来搜索Web上特定主题的相关知识。     

国外图书情报类期刊热点主题及发展趋势研究

利用自组织映射(SOM)人工神经网络方法分析60种有代表性的国外图书情报类期刊的热点主题及Journal of Information Science(JIS)从1981-2007年的主题发展趋势。利用改进的SOM输出方式——属性叠加矩阵,识别出60种期刊的7类热点主题,并构造一种新的SOM显示方式“热点属性投影”, 结合常见的U-matrix图,分析JIS期刊的热点主题在过去27年间的发展过程与规律。其研究结果在一定程度上可以反映国外图书情报类期刊主题的发展规律。该研究方法为期刊热点主题识别及发展趋势研究提供较为完整的工具与思路。     

大数据背景下基于主题网络爬虫的档案信息采集

主题网络爬虫是针对某一特定领域进行信息采集的网络爬虫,本文提出将主题网络爬虫应用于数字档案馆的信息采集,以档案采集系统的设计目标为出发点,阐述了基于主题网络爬虫的档案信息采集系统的设计方案和该系统实现的相关技术。     

面向主题的Web信息融合模型

评述国内外现有Web信息融合的研究成果,分析其中存在的主要问题与不足。针对现有Web信息融合对多维度、多粒度综合查询分析和决策支持不足的问题,分析面向主题的Web信息融合的基本原理,设计面向主题的Web信息融合模型,该模型由Web仓库模型、Web信息融合功能模型和人机交互接口三层组成,并探讨各层工作原理和需要实现的关键技术,最后给出原型系统实现及融合查询示例。     

基于本体的Web信息采集*

将语义网技术同传统的信息检索技术相结合，给出基于本体的Web信息采集框架结构，提出利用主题本体及对应词典判断主题相关度的方法，并得出实验结果和评价。     

基于新型主题信息量化方法的Web主题信息提取研究

 针对网页主题信息抽取不够精确的问题,提出一种新型的定义和量化主题信息的方法,即把主题信息分为三种信息形式并对不同形式的信息采用不同的方法进行量化计算。基于上述思想,结合DOM规范和分块思想,在DOM树的基础上提出IB-DOM树,并采用分治思想,先定位到包含主题信息的区域,后过滤噪音信息。实验证明本文提出的方法能够较好地解决主题信息自动提取存在的信息完整性和准确性的矛盾。     

Web信息检索技术最新进展

Web 信息检索是一个集人工智能、数据挖掘、自然语言处理、数据库技术、计算机网络等于一体的综合技术。尽管搜索引擎的出现在一定程度上缓解了用户对信息需求难以满足的矛盾, 但是它还没有达到令人满意的程度。本文对Web 信息检索技术作了一个比较全面的论述, 尤其从超链分析的角度, 对网络链接的重要性做了深入探讨并指出了它的发展方向, 对这方面的理论研究和实际开发具有一定的参考价值。     

树编辑距离在Web信息抽取中的应用与实现*

引入编辑距离的概念,探讨如何构造标签树,并利用标签树匹配算法来量化网页结构相似度。该算法被应用于Web信息抽取,通过URL相似度算法进行样本网页的粗聚类,进一步采用树的相似度匹配算法实现细聚类,从而获取模板网页。在模板网页的基础上,再次引入结构相似度算法并结合基于模板网页的抽取规则实现网页的自动化抽取。实验证明,该算法的引入能够有效提高包装器的抽取精度和半自动化能力。     

Millennial Undergraduate Research Strategies in Web and Library Information Retrieval Systems

This article summarizes the author's dissertation regarding search strategies of millennial undergraduate students in Web and library online information retrieval systems. Millennials bring a unique set of search characteristics and strategies to their research since they have never known a world without the Web. Through the use of search engines, they have come to expect that searches can be completed using an easy, single search box that produces complete articles on just about any topic. However, the reliability and quality of much of the information on the Web is questionable. Conversely, information that resides in library information retrieval systems is often of high scholarly content, but there is not a single, user-friendly system for millennials to use. A case study investigation was conducted at the State University of New York at Oswego, a public undergraduate university in Central New York. The goal of the study was to identify the search strategies of a sampling of millennial undergraduate students in both Web information retrieval systems and library information retrieval systems in order to expand upon existing theories about millennials and to suggest interface design enhancements, which could make online library information retrieval systems easier for millennials to use. The findings recommend improving database search functionality, such as natural-language searching, spell-checking, and uniform full-text wording and placement. Results also suggested that increasing the availability of full-text articles would contribute to millennials’ use of library information retrieval systems.     

基于本体和DOM相结合的Web信息抽取器

针对基于Web页面信息本体的信息抽取不能准确划定抽取区域的缺点,设计基于本体和DOM相结合的Web信息抽取器。利用DOM树设计对样本页面信息项路径进行归纳学习的算法,该算法能准确划定信息抽取区域,降低页面噪声,实现对Web页面的预处理。实验表明,改进后的抽取方法提高了Web信息的抽准率。     

基于Single-Pass的网络话题在线聚类方法研究

基于Single-Pass算法思想,研究网络话题的在线聚类方法,以期及时捕捉网络信息的动态变化在分析该方法聚类流程的基础上,重点研究网络动态信息流的文本特征抽取和权重计算方法,以及话题类表示和更新等关键问题,设计实验对比分析不同的标题中特征加权系数、特征权重计算和标准化方法以及话题类向量维度对话题聚类质量和时间效率的影响。     

网络信息语义组织和检索的实现路径

针对网络信息语义组织和检索的研究现状,指出基于语义知识组织基础上的语义概念检索是解决问题的根本之道,主要探讨在受限领域中如何引入新兴的知识组织技术——本体和主题图实现语义检索,阐述语义信息组织和检索的两条实现路径:基于本体的语义检索及基于主题图的知识导航。