网络视频爬虫系统的设计与实现

本文介绍了网络爬虫的基本架构、工作原理,设计了网络视频爬虫网络视频爬虫的基本架构、详细讨论了如何有效的避免重复遍历网页和如何快速的更新网站新内容的两个关键问题和网络视频爬虫下载视频和抓取网页的工作方式。     

基于云计算平台的主题网络爬虫设计与实现

随着互联网的发展,当今网络的规模变得十分庞大,网络数据呈现海量发展趋势,获取互联网中各类型的信息数据,来作为当前互联网舆情信息监测和分析的原始依据,已经成为该领域的热点话题.因此本文设计一种基于云计算平台的主题网络爬虫,来对庞大互联网海量数据的采集、主题识别有着重要的意义.     

基于Web的网络爬虫技术研究

本文从搜索引擎的相关概念和构成出发,介绍了网络爬虫的相关概念,并阐述了网络爬虫的搜索策略,同时给出了现在比较流行的Googlc 的搜索具体实现,文章最后对未来进行了展望.     

基于Web的网络爬虫技术研究

本文从搜索引擎的相关概念和构成出发,介绍了网络爬虫的相关概念,并阐述了网络爬虫的搜索策略,同时给出了现在比较流行的Google的搜索具体实现,文章最后对未来进行了展望。     

对网络爬虫技术的研究

网络爬虫是一种自动下载网络资源的程序,是搜索引擎的基础构件之一,它的性能直接决定了在庞大的互联网上进行网页信息采集的质量.文章对网络爬虫相关技术以及聚焦网络爬虫的特点进行了分析和探讨.     

基于网络爬虫的四川大学资讯整合网站的研究与设计

由于工作与生活节奏的加快,人们的时间呈现出碎片化,新媒体因迎合这种现状而生.随着互联网信息呈“爆发式”增长,人们更需要新媒体能够及时、准确地提供资讯,资源整合就成了其中的必要环节.以四川大学为例,利用网络爬虫技术整合四川大学学生经常浏览的教务处网站、团委网站、学生工作处网站的通知及新闻,以计算机科学技术解决问题,满足学生群体对新媒体运营效果的期望.     

基于Heritrix的增量式网络爬虫研究

通过分析开源网络爬虫Heritrix的工作原理及架构,针对Heritrix开源爬虫只能对全网站进行通爬的特点,对Heritrix进行改进,增加了基于Hash算法的增量式抓取模块。实验表明,改进的Heritrix能够有效实现对网页的增量式抓取。     

一种基于网络爬虫的XSS漏洞挖掘技术

跨站脚本(CrossSiteScripting)(即XSS)是Web应用程序中最为常见安全漏洞之一,一般通过在Wed页面中插入恶意代码,用户在浏览受到恶意代码攻击的网页时在Wed页面中的恶意代码便会执行,从而破坏和控制的恶意目的。本文提出了一种基于网络爬虫的XSS漏洞挖掘技术,在实践中发现该技术在应对XXS漏洞检测中具有显著效果。     

基于Heritrix的网络爬虫研究与应用

主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化。通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源。     

分布式爬虫系统的设计与实现

网络信息时代所要面对的是急剧膨胀的信息量,当前的互联网信息规模已经是集中式爬虫无法适应的,单机爬虫逐步开始被分布式爬虫所取代,在信息的采集中,高性能的爬虫系统才是研究的重点。文章则对分布式爬虫系统进行了介绍,针对其设计以及实现进行了分析论述。     

基于用户约束对照算法的网络代价最优化设计

网络负载和资源代价的最小化设计可以提高网络容量和业务量,优化分配方案,传统方法中采用的是单网络场景进行业务分配优化,无法满足多种网络混合分配的实际需求,网络代价开销大。提出一种基于用户博弈约束对照算法的网络代价最小化设计方法,构建一个多维业务网络场景的分布式网络模型,把网络间的业务分布的优化问题等效于网络代价最小化设计问题,在网络运营商和用户习惯约束对照博弈中,通过扩展特定业务需要的最小数据速率,减少网络代价,设计网络代价最小化设计优化目标函数。实验结果表明,该算法对网络负载的控制性能较平稳,代价开销控制精度合理,网络代价被约束到了一个较小的范围,使得网络代价最小化,为运营商节省相当多的网络开销。     

基于GPRS网络的酒店信息平台的设计与实现

简要介绍了GPRS网络,并基于展讯SM5100通信模块和Intel pxa310硬件平台,以及嵌入式操作系统和Qtopia图形界面系统,设计并实现了酒店信息平台解决方案,达到了低成本、高效率的目标。     

基于ARM-Linux平台的无线网络功能设计与实现

很多情况下,嵌入式设备需要通过无线网络进行数据传输,这时就可以采用无线网卡作为无线网络接入设备。基于此,分析了Linux系统中网络设备驱动的结构体系及工作原理,研究了基于ARM—Linux平台下无线网络功能的移植实现方案。该方案使用无线网卡作为无线接入设备,通过对无线网卡的移植实现了嵌入式系统的无线网络接入功能。     

以技能大赛带动计算机网络课程改革

高职教育以能力培养为本位,信息化社会对网络专业实用型人才的需求日趋迫切,作为计算机专业核心课程的计算机网络技术,在教学中要以市场为导向,以能力为目标,突破传统的教学模式,构建新的课程体系,因此,教学内容的取舍、教学模式的改变成为课程改革的重点。本文着重从技能大赛角度出发,探讨培养学生实践能力的教学方法。     

以技能大赛带动计算机网络课程改革

高职教育以能力培养为本位,信息化社会对网络专业实用型人才的需求日趋迫切,作为计算机专业核心课程的计算机网络技术,在教学中要以市场为导向,以能力为目标,突破传统的教学模式,构建新的课程体系,因此,教学内容的取舍、教学模式的改变成为课程改革的重点。本文着重从技能大赛角度出发,探讨培养学生实践能力的教学方法。     

一种改进的网络安全模型的设计与实现

网络安全就是防范一个网络系统潜在的危机,对于一个网络系统来说,网络安全的目标就是保证网络数据的安全性和网络资源的安全性。传统的网络安全设计在系统构架、防护理论上均存在不同程度的缺陷。本文根据旋转动力学理论在传统网络安全模型基础上在防御端加入了第八层思维层网络安全模型,构成了一种新的智能型网络安全模型。基于新的智能型网络安全模型引入了思维模拟算法用于预测攻击行为,将军事计谋用于攻击模型的建立,从而将攻击和防御集为一体,提高系统的安全性能。     

网络环境下的用户信息行为探析

随着互联网的普及和网上资源的丰富,网络用户增长迅速,网络环境下的用户信息行为和传统的用户信息行为相比较,发生了很大变化,本文从网络环境下的用户信息行为的涵义、特点、类型和网络信息行为的影响因素等4个方面对网络环境下的用户信息行为进行了探讨.     

问答类社区用户关系网络研究——以百度“知道”为例

利用社会网络分析工具UCINET分析了抽样数据中回答者用户形成的社会网络的网络密度、小团体等方面特征,通过绘图工具Netdraw将回答者用户形成的社群图进行了可视化呈现。对问答社区用户关系网络特征进行了进一步分析并提出改进问答类社区的建议。     

基于虚拟现实技术的网络动态课件设计与实现

虚拟现实技术(Virtual Reality)是现代教学网络动态课件设计中的最新技术,其沉浸性、交互性、想象性、实用性的特征在网络课件的交互和实验设计中得到广泛应用.分析和比较了虚拟现实技术设计与实现的几种方法和思路,并以现有造型软件与虚拟交互控制软件相结合,用开发设计的课件实例阐述了虚拟现实技术在网络动态课件设计中的实现.     

基于隐式反馈的用户模型设计与实现

个性化信息服务技术实现的关键在于必须知道用户的兴趣,并准确地建立用户兴趣模型.本文利用用户浏览网页时的隐式反馈信息建立和更新用户模型,为了收集用户的浏览行为信息,在客户端设计了一个浏览器插件,并采用了回归分析方法建立了用于计算网页兴趣度的模型,通过实验数据分析证明所建立的模型是成立的.