Scrapy框架下反反爬虫和数据有序性的实现

在爬虫获取数据时,由于获取速度过快易被网页反爬虫机制拦截,需要一种规避网页反爬虫的机制.结合目前反爬虫常用的手段,提出了一种反反爬虫机制.首先找到需要进行网页数据爬取的url,在不使用任何反反爬虫机制的情况下观察爬虫程序被拦截的次数,然后针对目标网页反爬虫机制,设计出一种反反爬虫机制.实验结果表明,通过设置随机抽取useragent和随机IP,跟踪目标网页referer,禁用cookies的反反爬机制,可以规避反爬虫的阻挠,使爬虫爬取到目标网页数量增加,成功率和效率都有所提高.     

大数据背景下的网络信息采集策略研究

介绍了网络爬虫技术的运行原理,分析了作为搜索引擎核心技术的通用网络爬虫的搜索策略,进而实现了采用两种搜索策略的网络爬虫,并在互联网中进行了信息爬取,最后比较总结了两种搜索策略的技术特点及优化研究方向。     

大数据时代下网络爬虫行为的刑法规制

在大数据时代,数据信息呈爆炸式增长,网络爬虫作为一款数据搜索引擎应运而生。从网络爬虫的相关案例来看,其使用者往往有充分的理由做出可能涉嫌违法的数据抓取行为。因此,有必要对网络爬虫行为进行刑法规制。然而,针对网络爬虫行为,现行的刑法规制路径存在入罪标准模糊不清、难以区分此罪与彼罪等困境,因此很有必要重构其刑法规制路径。文章认为,应通过数据的访问权限和开放程度双重标准明确网络爬虫行为罪与非罪的界限。并将网络爬虫行为分为2个行为阶段（非法访问行为和非法获取行为）加以分析：非法访问行为可能构成计算机犯罪,针对非法获取行为,应根据行为所侵犯的具体法益来定罪;根据罪数理论确定具体罪名。     

面向网络舆情的检索系统设计研究

网络舆情具有自由发布、传播和隐蔽等特点,这使得传统的信息检索技术很难直接应用到网络舆情监测系统中。通过深入研究网络舆情的相关技术,提出了网络舆情监测系统框架。围绕着论坛爬虫这一核心技术,分析了论坛网站的结构特点,并构建了论坛网站的层次模型,实现了对不同论坛网站的抓取。这种基于层次模型的爬虫技术兼顾了舆情信息采集的广泛性与特殊性,实验结果表明,该方法能够提高论坛爬虫的效率。     

基于互联网资源的学科Ontology构建研究

针对如何有效获取和管理互联网资源,提出一种解决方案.首先,通过使用主题爬虫获取互联网相关学科主题资源,然后,用本体来表示和管理信息.该方案能够完成本体的构建、学习功能,可以较好地满足用户的信息检索需求.     

网络群体性事件的源信息获取研究初探

随着我国互联网的飞速发展,特别是以SNS、微博为代表的Web2.0应用的兴起,已经形成了一个虚拟信息社会,并逐步演化为一个全新的开放信息传播空间。信息传播更为便捷,为网络舆情的产生提供了现实环境基础。同时,我国正处于机制转轨、社会转型的过程中,各类群体性事件的不断发生,且呈现出线上线下的联动的特点,对社会、经济的稳定与发展都产生了不良影响。本文在论述由网络群体性事件及其研究现状的基础上,对基于主题爬虫的网络群体性事件的源信息获取的框架进行了深入探讨,为舆情治理提供重要依据。     

招聘信息采集与搜索系统构建研究

针对网上招聘信息查找中存在的信息不全面和针对性不强的问题,设计一个招聘信息采集与搜索系统。该系统利用开源工具HttpClient从各公司招聘主页上爬取招聘信息,确保了招聘信息的全面性;基于启发式规则,筛选出各公司招聘信息的详情页面,保证信息的针对性。测试结果表明,系统能提升招聘信息搜索的全面性,并且可以很好地满足用户对搜索结果准确率的要求。     

一种基于Heritrix的网络定题爬虫算法——以渔业信息网络为例

以开源网络爬虫Heritrix为基础,阐述其工作原理和架构。根据渔业信息词库建立索引,提出一种基于Heritrix的定题爬虫算法,根据链接和内容对网页进行过滤,并构建了渔业信息网络爬虫FishInfoCrawler,经实验表明,本算法能完成渔业信息领域相关网页的抓取。