网络爬虫的设计与实现

搜索引擎技术随着互联网的日益壮大而飞速发展。作为搜索引擎不可或缺的组成部分,网络爬虫的作用显得尤为重要,它的性能直接决定了在庞大的互联网上进行网页信息采集的质量。设计并实现了通用爬虫和限定爬虫。     

基于时效性的爬虫调度

搜索引擎作为互联网信息获取的入口,实现高效、准确的信息获取非常重要,爬虫作为搜索引擎的上游,其重要性不言而喻,特别是大数据时代信息更新频繁,如何在第一时间获取新闻是实现爬虫时效性的重要因素。为了充分利用有限资源,提升带宽利用率,设计一种基于历史数据预测的爬虫调度算法。该算法通过抓取网站历史,更新频次积累数据,使用随机森林回归建立模型,并在系统中实现爬虫调度。实验结果表明,该策略在抓取新链的命中率上提升了46%,平均成本降低了11%,平均抓取延时降低了14%。     

主题网络爬虫研究综述

随着人们对信息资源的个性化需求不断加大,主题网络爬虫应时而生。阐述主题网络爬虫定义及工作原理;介绍了主题网络爬虫研究进展,对主题网络爬虫爬行策略、网页抓取优先级以及系统设计实现进行阐述;总结当前研究的不足,对未来研究方向进行了展望。     

基于相似度匹配的软件缺陷预测方法研究

针对跨项目缺陷预测（Cross-Project Defect Prediction,CPDP）中为目标项目选择合适的训练数据问题,在已有相似度匹配方法的基础上,引入项目情境信息,从而提出一种改进的CPDP预测模型。实验结果表明：引入项目的情境信息,有助于提高CPDP性能;所提方法的F-measure值比已有方法提高了15.04%和6.57%,但相比WPDP方法,仍有待提高。     

基于Heritrix的增量式网络爬虫研究

通过分析开源网络爬虫Heritrix的工作原理及架构,针对Heritrix开源爬虫只能对全网站进行通爬的特点,对Heritrix进行改进,增加了基于Hash算法的增量式抓取模块。实验表明,改进的Heritrix能够有效实现对网页的增量式抓取。     

基于Heritrix的主题网络爬虫设计与实现

通过介绍主题网络爬虫,以及使用Java开发的开源网络爬虫Heritrix的系统构架,设计基于遗传算法的主题网络爬虫算法,并使用Heritrix构造基于遗传算法的主题网络爬虫。实验结果表明,采用Heritrix实现的基于遗传算法的主题网络爬虫,能取得不错的效果。     

基于Python的招聘数据爬虫设计与实现

随着就业压力日渐增加,准确全面地获取数据可以帮助高校学生规避就业风险、正确认识自身价值,具有相当重要的研究价值。基于Python的网络动态招聘数据抓取方案利用requests库抓取Ajax异步请求多页数据源,抓取的内容更为全面;对抓取到的招聘数据进行统计分析,对多线程效率进行对比分析,显示爬虫具有良好的适应性。该方案抓取的网络资讯在科研、求职等方面具有一定实用价值。     

论网络爬虫搜索策略

以何种策略来访问web资源是搜索引擎研究的热点之一。通过比较通用搜索引擎和专业搜索引擎的搜索策略,针对"最好策略"的几种策略方案进行了优缺点的分析,总结了关于提高网络爬虫搜索效率的关键,旨在使人们对爬虫的搜索算法有一个全面大概的了解。     

基于Hadoop的分布式主题网络爬虫研究

主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的不同机器,运用MapReduce编程模型对数据进行抓取分析,使不同机器共同完成对指定任务的抓取工作。实验证明,采用分布式架构,通过动态调节分布式集群中的节点个数,能够明显改善主题网络爬虫的抓取效果。     

具有柔性悬架的履带式移动底盘设计及其越障机理分析

面向未知环境探测与侦查作业的机器人在执行任务时,将面对各种复杂的非结构化的障碍地形,因此,要求移动机器人具有较高的地形适应性与通过性。设计了1种采用柔性悬架的被动适应地形的履带行走机构,重点分析了柔性悬架的履带底盘的越障机理,并通过物理样机进行了攀越凸台与连续台阶地形的越障试验。试验结果表明:采用该柔性悬架的履带式移动底盘可被动地适应起伏地形,具有较强的地形通过性与运动平稳性;该底盘可以应用于对运动通过性与稳定性要求较高的移动机器人的设计。     

智能变电站控制系统多尺度失效性预测研究

通过系统失效度计算、难度指数与方差关系的计算、难度对信度与效度的影响分析、多尺度区域划分,构建了智能变电站控制系统多尺度失效性预测模型。以某220 kV智能变电站为例,对智能变电站的系统失效因素合集,进行多尺度几何分析方法正变换,对变换后系数采用不同的融合策略进行处理。实验结果表明,当被测器件出现较严重的故障,被控系统很可能出现严重故障,与实际相符。     

Improving teacher prediction of children at risk for reading failure

Whether screening tests or teacher ratings best predict children at risk for reading failure continues to be an area of disagreement in the early identification literature. Our early studies confirmed low positive identification rates (30%) when kindergarten teachers were asked to predict future reading achievement using a traditional rating scale, while a project-developed, theory-based screening battery correctly identified 81% of poor readers. Construction of a teacher rating scale of current skill levels on research-validated precursors to reading improved prediction in the current study, although results were still inferior to the screening test (64% and 80% valid positives, respectively). Combining test results and teacher ratings resulted in 88% identification of those who failed in first, second, or third grade, suggesting that both teacher ratings and screening tests should be used to identify the largest number of those who will later fail in reading. © 1998 John Wiley & Sons, Inc.     

煤层底板破坏深度预测的GRA-FOA-SVR模型

针对煤层底板破坏深度影响因素冗余、预测方法种类繁多且参数优化较为困难的问题,选取支持向量回归机来预测煤层底板破坏深度,引入灰色关联度分析法和近年来较为流行的果蝇优化算法以用于影响煤层底板破坏深度的主控因素的提取和对常规支持向量回归机的优化,提出了煤层底板破坏深度预测的GRA-FOA-SVR模型;选取开采深度、煤层倾角、开采厚度、工作面斜长、煤层底板损伤变量和煤层切穿型断层或破碎带数等6个影响煤层底板破坏深度的因素,采用灰色关联度分析法选出关联度在80%以上的因素组成煤层底板破坏深度的主控因素;用果蝇优化算法对支持向量回归机参数进行迭代寻优,将最优参数代入支持向量回归机模型中。将测试样本的模型预测值与实测值、规程公式计算值、常规支持向量回归机计算值对比分析,结果表明:GRAFOA-SVR模型比规程公式和常规支持向量回归机的预测误差更小,更能有效地预测煤层底板破坏深度。利用排序加权平均算子法将GRA-FOA-SVR模型同下四带理论公式、岩石力学试验和规程公式融合,提出了预测煤层底板破坏深度的多源信息融合的方法,并以良庄井田51302工作面为例,表明了该融合方式的实用性,最后据此方法预测出了肥城煤田6个工作面的煤层底板破坏深度。     

Software with the appeal of blocks

Daniel D. Shade is Assistant Professor, Department of Individual and Family Studies and Director of the Computers As Partners Project, University of Delaware, Newark, DE.     

用EWB软件仿真物理实验

以LRC电路的稳态特性研究实验为例，探讨用EWB5．0仿真软件模拟电磁学实验。     

软件工程的管理思想对多媒体课程开发的启示

科学的管理是大型软件工程项目成功的关键,多媒体课程的开发也可以看作是一项工程项目,如果在多媒体课程的开发过程中应用软件工程的管理思想进行管理,将会使开发工作有序进行,提高开发效率.