基于Heritrix的增量式网络爬虫研究

通过分析开源网络爬虫Heritrix的工作原理及架构,针对Heritrix开源爬虫只能对全网站进行通爬的特点,对Heritrix进行改进,增加了基于Hash算法的增量式抓取模块。实验表明,改进的Heritrix能够有效实现对网页的增量式抓取。     

一种基于Heritrix的网络定题爬虫算法——以渔业信息网络为例

以开源网络爬虫Heritrix为基础,阐述其工作原理和架构。根据渔业信息词库建立索引,提出一种基于Heritrix的定题爬虫算法,根据链接和内容对网页进行过滤,并构建了渔业信息网络爬虫FishInfoCrawler,经实验表明,本算法能完成渔业信息领域相关网页的抓取。     

基于Heritrix的主题网络爬虫设计与实现

通过介绍主题网络爬虫,以及使用Java开发的开源网络爬虫Heritrix的系统构架,设计基于遗传算法的主题网络爬虫算法,并使用Heritrix构造基于遗传算法的主题网络爬虫。实验结果表明,采用Heritrix实现的基于遗传算法的主题网络爬虫,能取得不错的效果。     

一种基于Heritrix的网络定题爬虫算法——以渔业信息网络为例

以开源网络爬虫Heritrix为基础,阐述其工作原理和架构。根据渔业信息词库建立索引,提出一种基于Heritrix的定题爬虫算法,根据链接和内容对网页进行过滤,并构建了渔业信息网络爬虫FishInfoCrawler,经实验表明,本算法能完成渔业信息领域相关网页的抓取。     

基于Heritrix的网络爬虫研究与应用

主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化。通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源。     

基于时效性的爬虫调度

搜索引擎作为互联网信息获取的入口，实现高效、准确的信息获取非常重要，爬虫作为搜索引擎的上游，其重要性不言而喻，特别是大数据时代信息更新频繁，如何在第一时间获取新闻是实现爬虫时效性的重要因素。为了充分利用有限资源，提升带宽利用率，设计一种基于历史数据预测的爬虫调度算法。该算法通过抓取网站历史，更新频次积累数据，使用随机森林回归建立模型，并在系统中实现爬虫调度。实验结果表明，该策略在抓取新链的命中率上提升了46%，平均成本降低了11%，平均抓取延时降低了14%。     

主题网络爬虫研究综述

随着人们对信息资源的个性化需求不断加大,主题网络爬虫应时而生。阐述主题网络爬虫定义及工作原理;介绍了主题网络爬虫研究进展,对主题网络爬虫爬行策略、网页抓取优先级以及系统设计实现进行阐述;总结当前研究的不足,对未来研究方向进行了展望。     

基于语义的网络化楚辞文献资源智能检索系统设计与实现研究

基于语义的网络化楚辞文献智能检索系统模型,其三个重要功能模块的构建思路是:使用Protégé工具采用面向对象构建法进行楚辞文献本体的构建;采用开源Heritrix爬虫工具扩展相关类进行主题爬虫的设计抓取网络化楚辞文献并保存至数据库;利用Lucene软件包建立语义索引实现主题智能搜索引擎架构.基于语义的智能检索系统框架,充分利用本体的语义优点,改进了传统检索系统只查询包含关键词,缺少概念间语义关联的局限,以此增强检索结果的相关性和联想性,提高系统的可复用性、可靠性、规范性和检索速率.     

基于Chrome扩展的爬虫系统设计与实现

为了提高网页数据抓取效率,降低爬虫对系统资源的消耗,提出了一种基于Chrome扩展的爬虫系统。利用Chrome浏览器对网页进行解析,防止被爬取对象屏蔽和网页异步加载问题,并且实现数据结构化;通过选择普通用户版〖JP〗扩展和服务器版扩展,既可以实现无人值守主动抓取,也可以在用户浏览网页的同时抓取信息。整个系统前后端分离,并且采用面向接口编程,具有良好的扩展性。通过从搜达足球网站抓取英超赛程,验证了程序的高效可行性。     

面向网络舆情的检索系统设计研究

网络舆情具有自由发布、传播和隐蔽等特点,这使得传统的信息检索技术很难直接应用到网络舆情监测系统中。通过深入研究网络舆情的相关技术,提出了网络舆情监测系统框架。围绕着论坛爬虫这一核心技术,分析了论坛网站的结构特点,并构建了论坛网站的层次模型,实现了对不同论坛网站的抓取。这种基于层次模型的爬虫技术兼顾了舆情信息采集的广泛性与特殊性,实验结果表明,该方法能够提高论坛爬虫的效率。     

基于ECShop系统的电子商务网站设计与实现

分析了当前主流开源网店系统,着重阐述了ECShop系统的主要特点与功能,详细论述了基于ECShop系统构建电子商务网站的过程,最终实现的网店完全满足了设计要求,对电子商务网站构建具有一定的借鉴意义。     

学习资源爬虫系统设计与实现

互联网是信息的载体,随着信息量的迅速增长,给用户检索获取需要的互联网学习资源增加了难度和时间。因此,学习资源爬虫是亟待研究与解决的问题。实现学习资源爬虫系统的关键为：首先界定互联网学习资源的概念、类型、格式形态,然后设计学习资源爬虫结构以及抓取、解析、去重、下载功能,最后根据系统开发环境实现爬虫结果。借助webdriver、Firfox浏览器并结合反网络爬虫策略,解决动态网站脚本与服务器异步交互时的数据丢失问题,进行完整、自动、高效的批量内容下载,优化学习资源获取的准确率与效率,以获取更有价值的学习资源。     

一种网络爬虫的带缓存非阻塞异步域名解析器模型及其性能分析

网络爬虫是搜索引擎的一个基本组件,网络爬虫抓取页面的效率直接影响搜索引擎提供的服务质量。除了可以通过改进网络爬虫的爬行策略来提高网络爬虫效率之外,也可以通过优化网络爬虫程序某方面的设计来消除特定的效率瓶颈。通过对网络爬虫结构和实际运行数据的分析,针对爬虫的DNS解析瓶颈,设计了一种带缓存异步域名解析器模型,并通过实验和一般DNS解析器模型进行了比较,实验结果证明这种模型对于减少程序等待解析域名的这一操作时间十分有效,显然也能够提高爬虫的整体效率。     

面向网络爬虫的企业网站优化策略研究

基于网络爬虫的检索原理,以文安县丽祥彩钢防盗门厂网站优化为例,通过对该企业网站的网站导航、关键词、网站内容、robots协议、ALT属性、更新频率、网站链接等关键要素的分析及优化设计,具体介绍并分析企业网站面向网络爬虫的优化策略.     

主题信息搜索系统中的搜索策略研究

针对主题搜索引擎反馈信息主题相关度低的问题,提出了将遗传算法与基于内容的空间向量模型相结合的搜索策略。利用空间向量模型确定网页与主题的相关度,并将遗传算法应用于相关度判别,提高主题信息搜索的准确率和查全率。在Heritrix框架基础上,利用Eclipse 3.3实现了相应功能。实验结果表明,搜索策略改进后的系统抓取主题页面所占比例与原系统相比提高了约30%。     

面向主题搜索的网络爬虫信息采集策略研究

基于主题搜索的主题网络爬虫,只抓取与用户主题相关的页面。在深入分析主题页面分布特征和主题相关性判别算法的基础上,提出了一个面向主题搜索的网络爬虫模型,它很好地克服了通用搜索引擎准确率偏低、信息内容相对陈旧、信息分布范围不均衡等不足。实验结果表明,尽管基于主题爬虫的搜索增加了内存使用率,但也成倍提升了搜索的准确性,提高了抓取效率以及抓取结果的利用率。     

开源CAD软件研究

通过对开源网站管理平台Source Forge.net上开源CAD项目进行了调查、分析,总结得到目前开源CAD系统的基本发展情况,并对其相关的技术特点进行深入分析,提出用户在选择和使用开源C AD时的原则。     

音乐治疗电子商务网站模式设计及发展策略

针对音乐治疗的特点,结合当代电子商务优势,提出了音乐治疗电子商务网站的构建策略、网站开发的关键技术及其商业运作模式,并深入分析了音乐治疗网站市场的发展环境,最后提出了网站的发展策略．     

智学分享资源有效性检测工具设计与实现

为提高智学分享课程网站中分享链接资源有效性检测工作效率,针对抓取乱码、反爬虫等一些难点问题,运用Java开发了一个基于深度优先算法的爬虫工具。该工具可对学生分享的链接资源是否真实存在进行判断,并输出学生的学号信息以及所对应的判断结果,从而替代手工操作,减轻教师负担,应用效果良好。     

基于Lucene和Heritrix技术搜索引擎的设计与实现

使用Lucene和Heritrix技术实现局域网站内搜索,该搜索引擎系统的后台完成了信息资源的抓取、建立镜像文件、建立索引、搜索等关键操作。本系统大量采用了第三方的工具,使得在文档格式的转换,分词的建立有了更好的准确度,更加符合人们日常习惯的说话方式,提高了用户查找所需要内容的命中率。