网络爬虫的设计与实现

搜索引擎技术随着互联网的日益壮大而飞速发展。作为搜索引擎不可或缺的组成部分,网络爬虫的作用显得尤为重要,它的性能直接决定了在庞大的互联网上进行网页信息采集的质量。设计并实现了通用爬虫和限定爬虫。     

基于Heritrix的网络爬虫研究与应用

主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化。通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源。     

基于Hadoop的分布式主题网络爬虫研究

主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的不同机器,运用MapReduce编程模型对数据进行抓取分析,使不同机器共同完成对指定任务的抓取工作。实验证明,采用分布式架构,通过动态调节分布式集群中的节点个数,能够明显改善主题网络爬虫的抓取效果。     

基于MSMQ的分布式监控与设计

系统监控台的主要功能是实时反映各类监控对象的活动情况，一旦出现异常，立即向维护人员发出警告信息。因为网络上的设备、程序分布在不同部门，不同地点。受控端和控制端的数据交换成为一个重要的问题。本文通过对系统监控台的开发研究，主要讨论了在分布式监控系统中采用微软消息队列解决程序间的通信问题。     

基于Heritrix的主题网络爬虫设计与实现

通过介绍主题网络爬虫,以及使用Java开发的开源网络爬虫Heritrix的系统构架,设计基于遗传算法的主题网络爬虫算法,并使用Heritrix构造基于遗传算法的主题网络爬虫。实验结果表明,采用Heritrix实现的基于遗传算法的主题网络爬虫,能取得不错的效果。     

实验室网络设计的探讨

按照实验室网络设计的环境和要求,介绍了基于三层交换机VLAN的设计方案,并分析了具体实施的问题。为了解决这些问题,提出了基于二层交换机端口访问控制的设计方案,该方案在投入运行后收到了较好的效果。     

基于Python的网络新闻爬虫与检索

网络上存在众多新闻门户网站,新闻信息繁多,造成严重的新闻信息过载。针对该类问题,设计一个基于Python的网络新闻信息搜集与检索系统。该系统通过使用Scrapy网络爬虫框架进行网络新闻信息搜集,同时对新闻链接、标题进行去重,最后使用Slor检索服务对爬虫获得的新闻数据进行全文检索。与传统方法相比,该系统设计的去重方法在保证链接不重复的情况下,对标题进行去重,并引入Solr检索服务,可以帮助读者更快速地找到想要阅读的新闻。     

基于任务驱动的计算机教学模型的设计与分析的研究

计算机学科集知识性、操作性、实用性为一体,具有发展速度快、实践性强、应用范围广等特点.由于计算机技术发展迅速,学生间知识结构差异大,传统的教学模式不能满足不同层次学生的需求.如何根据学生的特点来开展计算机教学,培养学生的实践动手能力和分析问题、解决问题的能力,是广大计算机教师着重思考和深入研究的问题.通过研究“任务驱动”教学模型,提高学生的计算机操作能力.     

基于决策树的高职学生网络学习分类模型构建

高职学生个性化学习行为是目前高等教育比较重要的研究方向。通过采集高职学生在网络学习过程中的心理、行为、方法和效果的数据,经过筛选、量化、分类和评价,最终根据影响学习效果的学习者内在因素和个性特征对学习者进行分类,通过基于决策树学习分类模型的建立,对学习者未来的学习进行形成性评估。     

网络爬虫软件的研究与开发

作为一种快捷、高效访问网络海量数据的工具,通用搜索引擎自诞生以来备受人们喜爱.然而在设计上它却存在着很多不足,并且随着万维网的快速发展而日益不能满足人们的需求.基于这种背景,用于对网页进行定向抓取的主题爬虫应运而生.主题爬虫的设计理念是利用最少的资源,尽可能快而准确地抓取网络中用户关心的网页,目前已经有着非常广泛的应用.首先,了解主题爬虫提出的历史背景及当前国内外的发展状况,分析与主题爬虫设计相关的技术知识,如HTTP协议、HTML解析、中文分词等.其次,提出使用向量空间模型进行主题相关度计算.为了能够充分利用网页中丰富的启发式信息,综合运用了网页内容分析和网页链接分析技术.最后,基于对主题爬虫设计与实现方法的研究,使用Java开发一个多线程主题爬虫.     

4C/ID模型对高中化学教学的启示

4C/ID模型是四要素教学设计模型的简称,包含学习任务、支持性信息、程序性信息以及部分任务练习四大核心要素。该模型提倡教学中应创设基于真实情景的整体性学习任务,整合知识、技能和态度,并通过提供支持性信息和程序性信息降低认知负担来促进复杂问题的解决,契合当下“素养为本”的教学背景。鉴于此,通过分析4C/ID模型及其蕴含的问题解决机制,结合化学学科特点提出四点教学策略:创设真实情景下的整体任务,选择和呈现恰当的支持性信息与程序性信息,多视角表征建立“横纵立体化”的知识结构,利用产生式和产生式系统帮助学生应用知识解决问题。为教师开展基于真实情景的化学教学及培养学生的化学学科核心素养提供一定指导。     

基于主题网络爬虫的网络学习资源收集平台的设计

收集现存于网络中的信息,对其进行加工、处理使其成为可用的学习资源是网络学习资源建设中一项重要工作,主题网络爬虫为在网络学习资源建设过程实现信息的自动收集提供了可能,本文以此为基础设计了一个能满足资源建设需要的网络学习资源收集平台并对设计过程中的关键问题进行了分析。     

分布式网络阅卷系统的设计与实施

随着信息技术的发展,网络阅卷系统在各类考试中逐渐得到应用,减少了人工阅卷方式在试卷处理、试卷评阅及成绩处理等环节的工作量。高考改     

导游英语网络课程教学设计的分析

开发建设全英文英语网络课程是目前我市高职院校课程改革的重要课题,而教学设计是保证英语网络课程质量的重要因素。本文通过分析网络英语课程建设现状,提出导游英语网络课程建设的必要性,从教学目标、设计思想、教学内容三方面分析基于任务型教学的导游英语网络课程教学设计。     

启发式搜索在网络爬虫中应用的分析

介绍了网络爬虫的工作原理,分析了传统的两种启发式算法——基于有限空间的A*搜索算法和局部搜索的爬山算法在网络爬虫中应用的可行性及局限性。并详细阐述了应用了模拟退火算法的网络爬虫网页搜索的过程,并结合一个搜索实验说明了基于模拟退火算法的网络爬虫搜索性能的优越性。     

基于任务驱动机制的教学进程设计及实践

教学进程设计,是研究教学活动的顺序,即解决先教什么后教什么以及如何教的问题,是属于教学策略设计的研究范畴,本文在分析高职教学特点的基础上,结合《主页与asp程序设计》课程教学实践,探讨基于任务驱动机制的教学进程的具体设计与实现方法,为实现高职教学的优化研究提供一种新的思路。     

科普学习任务在网络RPG游戏中的设计——基于网络科普RPG游戏设计模型的构建

教育游戏是游戏性和教育性的统一体,如何平衡二者,是教育游戏设计领域的重要课题。本文基于网络科普RPG游戏的设计模型的构建,分析了科普学习任务在网络RPG游戏中的设计要素,即言语信息、智慧技能、认知策略、动作技能和态度,以期为教育游戏研发人员提供新的且可操作的设计思路。     

英语学习的任务设计及其网络拓展

新的教学理念要求建立以学习者为中心的主题型、任务型的教学模式;英语学习任务的设计在基于现代信息技术的网络教学环境下呈现出与传统的课堂教学任务设计不同的特征.本文按照大学英语教学改革的要求,对在校学生网上学习任务进行了分类、解析,并对任务的内容、形式及师生于其中的新的角色、功能进行了深入探讨;通过分析网上任务设计的目的、实施的途径及效果,提出了新的任务设计及实践模式.     

多区域分布式网络互连的设计与实现

为解决某大型企业跨Internet的内部网络互连问题,本文在基于IPSec保证数据安全传输的基础上,为该企业提出了点到点的GRE隧道、DMVPN、DVPN三种解决方案及实现方法,可使其所使用的动态路由协议OSPF跨Internet安全地传输,并分析了这三种方案各自的优缺点及适用场合。