面向主题搜索的网络爬虫信息采集策略研究

基于主题搜索的主题网络爬虫,只抓取与用户主题相关的页面。在深入分析主题页面分布特征和主题相关性判别算法的基础上,提出了一个面向主题搜索的网络爬虫模型,它很好地克服了通用搜索引擎准确率偏低、信息内容相对陈旧、信息分布范围不均衡等不足。实验结果表明,尽管基于主题爬虫的搜索增加了内存使用率,但也成倍提升了搜索的准确性,提高了抓取效率以及抓取结果的利用率。     

论网络爬虫搜索策略

以何种策略来访问web资源是搜索引擎研究的热点之一。通过比较通用搜索引擎和专业搜索引擎的搜索策略,针对"最好策略"的几种策略方案进行了优缺点的分析,总结了关于提高网络爬虫搜索效率的关键,旨在使人们对爬虫的搜索算法有一个全面大概的了解。     

基于Heritrix的主题网络爬虫设计与实现

通过介绍主题网络爬虫,以及使用Java开发的开源网络爬虫Heritrix的系统构架,设计基于遗传算法的主题网络爬虫算法,并使用Heritrix构造基于遗传算法的主题网络爬虫。实验结果表明,采用Heritrix实现的基于遗传算法的主题网络爬虫,能取得不错的效果。     

网络多媒体主题搜索研究及其教学应用

网络多媒体教学资源搜索与利用是信息教育中不可忽视的工作。基于主题搜索技术在专业领域中的应用,建立教育主题词集、提取网络多媒体表征信息、改进主题搜索策略,在已有的主题搜索器的基础上设计并实现了一个网络多媒体主题搜索系统,用于搜索Web中与教学有关的视频、音频、动画等多媒体资源,为有效利用多媒体网络教学资源提供了一个良好平台。实验结果显示,该系统能有效提高多媒体教学资源的搜索效率,在教育教学中具有重要的意义。     

基于广度优先搜索的网络蜘蛛设计

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一,如何使搜索引擎快速准确地从庞大的网页数据中获取所需资源的需求是目前所面临的重要问题。重点阐述了搜索引擎的Web Spider(网络蜘蛛)的搜索策略和搜索优化措施,提出了一种简单的基于广度优先算法的网络蜘蛛设计方案,并分析了设计过程中的优化措施。     

基于最近邻域搜索的天线调谐器调谐算法

介绍了天线调谐器阻抗匹配网络的结构和调谐的本质,提出采用基于启发式算法的邻域搜索算法来解决这一个NP-hard问题;给出了基于固定步长的最近邻域搜索算法的迭代步骤,通过对邻域结构和搜索方式的改进,降低了搜索空间、加快了调谐速度;最后采用基于最近邻域搜索的4种算法对10 m短波鞭状天线进行匹配仿真,验证了改进算法的有效性。     

网络爬虫在搜索引擎应用中的问题及对策

本文以网络爬虫的分类以及其特点出发,探讨了当前网络爬虫在搜索引擎应用中的问题,比如搜索URL定位过程中的数据下载效率较低,出现下载过程中的CPU闲置,URL搜索策略不合理导致了URL重复等问题,并以此为依托,提出了相关策略,包括在数据传输过程中采用gzip/deflate压缩编码传输,异步非阻塞下载,提升CPU利用率以及规范化URL提取策略等,以此来提升网络爬虫在搜索引擎中的效率.     

求解多维0/1背包问题的Memetic算法

根据多维0/1背包问题的特点,结合遗传算法和模拟退火算法的优点,设计了一种Memetic算法。该算法以基于模式替换的改进遗传算法作为全局搜素算法,采用模拟退火算法进行局部搜索。全局搜索算法引入了模式替换,使每代种群中的最好基因个体保存下来形成模式,引导种群搜索方向,提高搜索性能,然后进行选择、均匀交叉和变异操作,最后采用最大化修复策略,对不可行解进行修复,并对可行解进行修正。模拟退火算法以一定概率接受较差的解,从而避免陷入局部最优解。通过实验仿真和算法比较验证了Memetic算法的优越性和有效性。     

基于转向的Logit网络分配算法实现与比较测试

为了评价基于转向的Logit网络分配算法(TALL)的实用性和高效性,在分析TALL算法过程的基础上,运用C++实现了TALL算法,并与传统的Dial算法+网络扩展法进行比较测试.TALL算法运用弧标号最短路径搜索、双向星形表和Deque结构,直接对道路网络进行流量分配,而不像Dial算法要在扩展后的路网上应用.在实际...     

一种基于Heritrix的网络定题爬虫算法——以渔业信息网络为例

以开源网络爬虫Heritrix为基础,阐述其工作原理和架构。根据渔业信息词库建立索引,提出一种基于Heritrix的定题爬虫算法,根据链接和内容对网页进行过滤,并构建了渔业信息网络爬虫FishInfoCrawler,经实验表明,本算法能完成渔业信息领域相关网页的抓取。     

基于时效性的爬虫调度

搜索引擎作为互联网信息获取的入口，实现高效、准确的信息获取非常重要，爬虫作为搜索引擎的上游，其重要性不言而喻，特别是大数据时代信息更新频繁，如何在第一时间获取新闻是实现爬虫时效性的重要因素。为了充分利用有限资源，提升带宽利用率，设计一种基于历史数据预测的爬虫调度算法。该算法通过抓取网站历史，更新频次积累数据，使用随机森林回归建立模型，并在系统中实现爬虫调度。实验结果表明，该策略在抓取新链的命中率上提升了46%，平均成本降低了11%，平均抓取延时降低了14%。     

基于语义的搜索算法研究

基于XML得出改进的语义表示法,能解决当前常用网络搜索引擎缺乏理解用户想法而导致查询结果不满意的问题。文档解析算法、模式匹配算法、生成XMLSE文档算法等几个基于语义搜索的核心算法,辅以人工标注和建立规则库,构成一个语义网络,能达到精确的搜索,提高搜索效率。     

如何利用搜索引擎检索网络信息

介绍了网络信息资源检索工具———搜索引擎的使用技巧及全球搜索引擎的主要站点     

主题网络爬虫研究综述

随着人们对信息资源的个性化需求不断加大,主题网络爬虫应时而生。阐述主题网络爬虫定义及工作原理;介绍了主题网络爬虫研究进展,对主题网络爬虫爬行策略、网页抓取优先级以及系统设计实现进行阐述;总结当前研究的不足,对未来研究方向进行了展望。     

边序列搜索算法在单源动态交通诱导中的应用

在实际的交通网络中,基于边序列搜索思想的最短路径搜索算法具有明显的优越性,因交通网络具有动态时变的特性,在满足交通流先进先出（FIFO）约束的前提条件下,对最短路径搜索算法的路权矩阵进行处理,根据路段上的交通流量,测算车辆通过路段所需的行程时间,最后将基于边序列搜索思想应用到单源的动态交通路径寻优算法中.     

八数码问题的搜索算法比较

搜索策略是人工智能研究的主攻方向之一,采用不同的搜索策略在求解问题的过程中也会存在差异.通过对于八数码的搜索求解分析,采用盲目搜索中的广度优先搜索算法和启发式搜索中的A*算法进行实现,将广度优先搜索算法与A*算法进行比较,从而评价这两种搜索算法的优劣性.     

互联网“人肉搜索”初探

随着Internet技术的发展和普及。人肉搜索作为一种新的互联网搜索技术在网民中受到追捧。这是一种快速的交互式信息传播方式,拥有广泛的参与主体,具有虚拟平等性,其初衷是助人为乐、还原真相、除恶扬善。虽然人肉搜索切实帮助许多老百姓解决了生活中的问题,也惩罚了某些社会不良行为,然而在现有相关法律相对滞后的情况下,由于网络及人内搜索自身的特性,它也带来了侵犯隐私、网络群体暴力等问题。     

基于遗传算法和神经网络的倒立摆控制系统

以单级倒立摆为对象,介绍了一种融合遗传算法的神经网络控制方法。该方法采用以多层前馈神经网络作为遗传搜索表示方法的思想,以神经网络为基础,用遗传算法来学习神经网络的权系数,既保留了遗传算法的强全局随机搜索能力,又具有神经网络的鲁棒性和自学习能力。仿真结果证明:遗传算法和神经网络的结合,可兼有神经网络广泛映射能力和遗传算法快速全局收敛等性能。