基于网页结构相似度的Web 信息抽取

本文重点探讨基于编辑距离的网页相似度算法在Web 抽取系统中的应用与实现.通过结合基于URL 及编辑距离的网页结构相似度的计算方法,抽取系统在抽取过程中能够检测网页结构的变化,从而主动做出判断,选择适应规则进行抽取或通过主动学习自动扩展规则库.结构相似度计算赋予系统感知网页结构变化的能力,系统通过主动自我更新与调整,能更好地适应面向实际应用的异构资源的获取.算法的可行性和效率在原型系统中得以验证.     

国外Web信息抽取研究综述

Web信息抽取旨在为人们提供获取网络知识单元的有力工具,以应对信息爆炸带来的严峻挑战。在回顾Web信息抽取基本理论的基础之上,评述了Web信息抽取主要研究内容的现状,并着重对Web信息抽取的评价研究和应用研究进行了介绍,以期有助于本研究继续向前发展。     

基于Web数据的信息抽取技术

针对目前Web信息的混乱的特点,本文提出了利用信息抽取技术来处理Web信息的方案。     

基于Web-Harvest的Web信息抽取系统的设计与应用

详细介绍信息抽取开源软件Web-Harvest,并在其基础之上进行功能扩展和改进,设计一个通用性强的Web信息抽取系统,重点阐述开发系统的设计思想和系统流程,并简单介绍系统的数据库表设计。最后,介绍该Web信息抽取系统的应用。     

Web抽取技术在数字图书馆中的应用

从Web页面中挖掘有价值的信息是数字图书馆技术应用的一个重要方式。目前Web页面信息描述大多教是用XML表示的,Web数据抽取技术是Web信息挖掘的关键,文章提出了一种面向HTML或XML描述的web页面的web数据抽取模型并阐述了实现过程。     

搜索引擎返回结果自动抽取

提出一种从搜索引擎返回结果页面上自动抽取结果记录及后续页面链接信息并生成Wrapper的方法:对于一个有效的结果页面，通过比较其HTML标签树上节点的相似度从而识别出潜在记录块，利用启发式规则从潜在记录块中将结果记录块和后续页面链接分别识别出来，然后利用其在标签树上的位置信息分别构造Wrapper。实验结论及与已有方法的比较表明，该方法简单可行且高效。     

基于领域本体的Web信息抽取方法的设计与实现——以网易汽车资讯网页信息抽取为例

以网易汽车资讯网页信息抽取为例,研究了基于领域本体的Web信息抽取技术的设计与实现.     

Web信息抽取技术在吹哨系统中的研究与应用

【目的】论述Web信息抽取技术在新闻舆情分析中的应用,为舆情虚假信息甄别、舆论引导提供新方法,从而避免对大众的思维、想法等造成不良影响。【方法】研究提出了基于行块分布函数和基于统计与网页结构两种不同的新闻正文信息抽取方法,使得在对Web新闻数据采集和存储的基础上,正文信息抽取更加高效和准确。【结果】两种Web信息抽取技术可以广泛应用于海量新闻数据分析、舆情监测等应用场景。【结论】通过基于行块分布函数的抽取方法和基于统计信息与网页结构的抽取方法,能够分别对轻量网页和大流量网页抽取信息时表现更优。     

采用最小DFS的Deep Web结构化数据抽取

通过分析动态数据在其Web 页面中的展示特点,提出一个新的自动化、结构化数据抽取方法。首先基于DOM利用算法实现快速定位数据区,从而避免处理大量噪音数据;其次引入最小DFS编码来表示DOM子树,通过聚类对记录数据区进行区分;最后对少量样本页面训练学习生成抽取规则用于数据抽取。利用原型系统针对实际网站中的页面进行数据抽取,实验结果显示其拥有较高的准确性和效率。     

基于Heritrix的Web信息抽取

针对现阶段Web信息抽取技术的不足,提出一种基于Heritrix的精确抽取方法,由三个分别独立的功能模块共同完成。与一般信息抽取不同,本方法注重于在精确抽取的前提下实现通用化,做到可以根据数据库表的字段来进行最小单位的信息抽取,并且较好地解决信息采集通用性和准确性之间的矛盾。     

基于主题描述模型的相关性判断在网页信息抽取中的应用

信息抽取是从海量网页获取有价值信息的重要方式,对目标网页内容进行主题相关性判断是提高信息抽取效率和准确性的关键环节。目前的相关性判断主要采用人工筛选和文档训练的方法,这其中存在效率低、重复训练等问题,而本文尝试针对抽取任务引入主题描述模型用于网页内容的主题相关性判断。从任务的主题描述模型的角度出发,计算模型中的关键词基于标记信息的加权频率,将网页内容进行量化表示,然后分析关键词加权频率关于任务主题描述模型的变化来判断网页内容的主题相关性。最后通过对比该方法在国防产品信息抽取中结果,实验证明该方法大大提高了网页信息抽取的效率和准确性。     

网络信息抽取技术及其在TBT预警中的应用*

研究了一种能够实现对数据型网页中信息实施实时采集的信息技术。该技术能够智能识别表格结构，自动分离数据项，在对数据项的分析判断过程中，采用从单词上分类（By Words）和从表格排列方式（By Structure）划分相结合的方法，以Ontology思想为支撑，融合支持向量机算法（SVM）和隐马尔可夫模型（HMM）等一系列成熟模型。最后通过测试并将该技术应用于TBT预警信息动态采集子系统中，收到良好效果。     

Deep Web信息抽取研究

针对Deep Web信息资源的利用问题，指出对其进行信息抽取的意义，分析对比在信息抽取过程中处理查询接口和抽取结构化数据这两个主要步骤所使用的技术，采用基于关键词查询和建立文档对象模型的方法对专利数据库进行抽取实验。通过分析实验结果，验证抽取方法的准确性，指出不足之处和解决的途径，以期达到充分利用Deep Web信息资源的目的。     

网络信息提取系统研究

阐述网络信息提取系统的研究现状。从信息提取技术和自动化程度两方面对现有网络信息提取系统进行对比,由此将网络信息提取系统分为非自动化、半自动化和全自动化三类。综合考虑标记方法、提取规则类型和特征、学习算法、用户参与度、适用性以及输出接口等因素,对三类系统的性能优劣进行评估。最后对网络信息提取系统进一步的研究工作进行了展望。     

信息构建在网络信息组织中的应用

信息构建的提出为解决信息爆炸带来的一系列问题提出了新的视角。通过对信息构建的核心思想和核心组件的概述，并利用信息构建所体现的思想对重庆维普、搜狐、国家科学数字图书馆的图书情报学科信息门户进行评析，最后讨论了网络信息资源组织的步骤。     

基于DOM的Web信息自动抽取

提出了Web页面信息的自动抽取思想，并使用WebBrowser和DOM技术实现了Web页面上网页元素查找、表单自动填写、表单自动提交、自动获得查询结果并自动抽取所需信息的技术，从而实现了Web页面信息的自动抽取。文中还给出了这一方法的实现细节和示例代码。