对网络爬虫技术的研究

网络爬虫是一种自动下载网络资源的程序,是搜索引擎的基础构件之一,它的性能直接决定了在庞大的互联网上进行网页信息采集的质量.文章对网络爬虫相关技术以及聚焦网络爬虫的特点进行了分析和探讨.     

网络爬虫的优化策略探略

网络爬虫对网页的抓取与优化策略直接影响到网页采集的广度、深度,以及网页预处理的数量和搜索引擎的质量。搜索引擎的设计应在充分考虑网页遍历策略的同时,还应加强对网络爬虫优化策略的研究。本文从主题、优先采集、不重复采集、网页重访、分布式抓取等方面提出了网络爬虫的五大优化策略,对网络爬虫的设计有一定的指导和启迪作用。     

一种基于网络爬虫的XSS漏洞挖掘技术

跨站脚本(CrossSiteScripting)(即XSS)是Web应用程序中最为常见安全漏洞之一,一般通过在Wed页面中插入恶意代码,用户在浏览受到恶意代码攻击的网页时在Wed页面中的恶意代码便会执行,从而破坏和控制的恶意目的。本文提出了一种基于网络爬虫的XSS漏洞挖掘技术,在实践中发现该技术在应对XXS漏洞检测中具有显著效果。     

一种基于网页内容和链接分析的主题搜索算法

先从网页内容和网页链接的角度计算网页与主题的相似度,然后将二者归一化,最终确定网页与主题的相关度.从分析网页内容相似度的角度保证网页与主题的相关性,从网页链接分析的角度解决网页搜索的权威性和覆盖乔率.算法还对PageRank算法进行了改进,将访问网页的概率加入到算法计算过程中,实验结果表明,新的算法具有较高的搜索效率.     

基于模拟退火遗传算法的主题爬虫搜索策略研究

以何种策略访问网络,提高搜索效率,是近年来主题搜索引擎研究的主要问题之一。本文对主题爬虫常用搜索策略进行了简单分析,提出了实用性较强的基于SAGA的主题爬虫搜索策略。     

网络蜘蛛搜索基本策略研究

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一。按照评价链接价值所采用方法的不同,对专业搜索引擎网络蜘蛛的搜索策略进行了分类,分析、比较了各类搜索策略的优缺点。对未来的研究方向进行了展望,给出了若干值得研究的问题。     

网络视频爬虫系统的设计与实现

本文介绍了网络爬虫的基本架构、工作原理,设计了网络视频爬虫网络视频爬虫的基本架构、详细讨论了如何有效的避免重复遍历网页和如何快速的更新网站新内容的两个关键问题和网络视频爬虫下载视频和抓取网页的工作方式。     

基于Web的网络爬虫技术研究

本文从搜索引擎的相关概念和构成出发,介绍了网络爬虫的相关概念,并阐述了网络爬虫的搜索策略,同时给出了现在比较流行的Googlc 的搜索具体实现,文章最后对未来进行了展望.     

基于Web的网络爬虫技术研究

本文从搜索引擎的相关概念和构成出发,介绍了网络爬虫的相关概念,并阐述了网络爬虫的搜索策略,同时给出了现在比较流行的Google的搜索具体实现,文章最后对未来进行了展望。     

网络爬虫软件的研究与开发

作为一种快捷、高效访问网络海量数据的工具,通用搜索引擎自诞生以来备受人们喜爱。然而在设计上它却存在着很多不足,并且随着万维网的快速发展而日益不能满足人们的需求。基于这种背景,用于对网页进行定向抓取的主题爬虫应运而生。主题爬虫的设计理念是利用最少的资源,尽可能快而准确地抓取网络中用户关心的网页,目前已经有着非常广泛的应用。首先,了解主题爬虫提出的历史背景及当前国内外的发展状况,分析与主题爬虫设计相关的技术知识,如HTTP协议、HTML解析、中文分词等。其次,提出使用向量空间模型进行主题相关度计算。为了能够充分利用网页中丰富的启发式信息,综合运用了网页内容分析和网页链接分析技术。最后,基于对主题爬虫设计与实现方法的研究,使用Java开发一个多线程主题爬虫。     

基于爬虫的用户迁徙网络的设计与实现

在传统的互联网中,往往是由节点表示网站,节点之间的边表示两个网站之间有物理链接。由于直观的反应了网络状态,这种网络模型得到了广泛的应用。但当研究一些基于网络的高级应用如探讨用户访问网络、在各网站间的分布情况时,传统的互联网有其局限性。本文尝试研究不同网站之间的共同用户如何进行“网络迁徙”。我们使用爬虫搜集网络中的信息,构建了一个“用户迁徙”网络：网络中的节点代表网站,两个节点之间有边表示在一段时间内这两个网站有相同的用户访问,节点之间的权值代表了一段时间内可能访问这两个网站的共同用户的数量。这种用户迁徙网络不仅可以使我们了解互联网中用户的兴趣分布,而且还可以作为研究平台广泛应用于搜索或者网络广告投放研究等方面。     

基于Heritrix的增量式网络爬虫研究

通过分析开源网络爬虫Heritrix的工作原理及架构,针对Heritrix开源爬虫只能对全网站进行通爬的特点,对Heritrix进行改进,增加了基于Hash算法的增量式抓取模块。实验表明,改进的Heritrix能够有效实现对网页的增量式抓取。     

一种改进的基于VSM的垂直搜索检索模型

网络信息的急剧膨胀使得通用搜索引擎暴露出诸多问题.如何让用户方便、快捷地找到自己需要的"深层次"信息,成为一个亟待解决的问题.针对上迷问题,在分析垂直搜索的特点及关键技术的基础上,提出了一种改进的基于VSM的垂直搜索检索模型及其性能评测方法,并给出了基于Agent垂直搜索引擎的系统架构及系统各部分的功能描述.     

基于Linux的网络爬虫系统改进研究

爬虫系统,被广泛应用于计算机各个领域,对于爬虫系统的研究和改进从来没有停止过。目前对于爬虫系统研究最关注的自然是爬虫系统的效率问题,如何才能够提升爬虫系统的效率,是我们目前为止研究的一个大方向。我们的研究从解剖爬虫系统开始。爬虫系统包括运行机理,构架以及算法组成,要想提升爬虫系统的效率,我们就必须优化它的构架,改进相关算法,针对爬虫系统进行一个全面的优化,从而达到提升爬虫系统效率的目的。在Linux网络环境之下,我们为了提高爬虫系统对页面的抓取效率和爬虫程序的完整性能,我们进行了反复的实验,结果表明,我们的解决方案的确有可行之处。     

基于广度优先搜索的网络蜘蛛设计

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一,如何使搜索引擎快速准确地从庞大的网页数据中获取所需资源的需求是目前所面临的重要问题。重点阐述了搜索引擎的Web Spider（网络蜘蛛）的搜索策略和搜索优化措施,提出了一种简单的基于广度优先算法的网络蜘蛛设计方案,并分析了设计过程中的优化措施。     

一种网络爬虫的带缓存非阻塞异步域名解析器模型及其性能分析

网络爬虫是搜索引擎的一个基本组件,网络爬虫抓取页面的效率直接影响搜索引擎提供的服务质量。除了可以通过改进网络爬虫的爬行策略来提高网络爬虫效率之外,也可以通过优化网络爬虫程序某方面的设计来消除特定的效率瓶颈。通过对网络爬虫结构和实际运行数据的分析,针对爬虫的DNS解析瓶颈,设计了一种带缓存异步域名解析器模型,并通过实验和一般DNS解析器模型进行了比较,实验结果证明这种模型对于减少程序等待解析域名的这一操作时间十分有效,显然也能够提高爬虫的整体效率。     

一种改进的基于网页主题链接的PageRank算法研究

针对PageRank算法存在的不足,本文对网络链接的结构进行分析,并以此为基础对PageRank的算法进行了改进,提出了主题链接相似度的PageRank算法。本文算法的核心是将当前网页与入链网页的主题相关度作为传递权值,替换PageRank算法中以平均值作为权值。本文的PageRank-I算法将网页之间的链接作为链接的向量,以这种链接的关系来对向量的余弦相似度进行主题相关性的描述,而不用对额外的文本信息进行处理,减少了系统负担。实验结果证实本文的PageRank-I算法在没有增加系统的额外负担的同时,也没有增加时间上的复杂度,解决了PageRank算法中主题漂移的问题。     

语义网专题爬虫算法的研究与改进

概述了语义网和网络爬虫的基本概念和工作原理,分析了语义网爬虫的现状,提出和总结了语义网专题搜索算法的实现。     

主题信息搜索系统中的搜索策略研究

针对主题搜索引擎反馈信息主题相关度低的问题,提出了将遗传算法与基于内容的空间向量模型相结合的搜索策略。利用空间向量模型确定网页与主题的相关度,并将遗传算法应用于相关度判别,提高主题信息搜索的准确率和查全率。在Heritrix框架基础上,利用Eclipse3．3实现了相应功能。实验结果表明,搜索策略改进后的系统抓取主题页面所占比例与原系统相比提高了约30％。     

大数据背景下的网络信息采集策略研究

介绍了网络爬虫技术的运行原理,分析了作为搜索引擎核心技术的通用网络爬虫的搜索策略,进而实现了采用两种搜索策略的网络爬虫,并在互联网中进行了信息爬取,最后比较总结了两种搜索策略的技术特点及优化研究方向。