基于HTML5语义化标签的Web文本提取技术

本文通过研究新Web标准网页的数据结构,并在信息抽取技术的基础上,提出了一种基于HTML5语义化标签的网页正文提取技术.该技术能够有效的过滤掉与网页主题无关的噪音信息,从而能有效提取有价值文本信息.     

基于文本行特征的网页正文信息抽取方法研究

目前互联网上网页来源众多、结构各异,针对网页正文信息抽取精度及通用性问题,提出一种基于文本行特征的网页正文信息抽取方法。首先根据正文特征将明显不是正文内容的噪声去除,通过预处理将页面转换成文本和行号的集合,根据网页正文文本行信息字数较长这一特点,设定阈值并删除不符合阈值要求的文本行。正文信息行距一般相隔较近且含有中文标点符号,根据这一特征进一步删除不符合要求的文本行,最后整合出网页正文信息。将该方法与网页正文提取工具印象笔记（Evernote）、有道剪报工具（YNote）进行对比实验,实验结果表明该方法在平均准确率上高于YNote、Evernote,具有一定的通用性。     

网页分类中的数据预处理方法研究

讨论了网页分类过程中数据预处理的相关技术,提出一种网页预处理方法,将网页解析为DOM树结构,通过分析、整理,得到噪音信息的特征,并依据判定规则,找出噪音信息并删除处理。网页去噪后,提取页面中的文本信息和每个相关链接目标URL、源URL及锚文本并存入数据库。实验结果证明,该去噪方法可以有效去除网页噪音,利用所提取的超链接结构信息分类网页,可以有效提高分类精度。     

基于DOM和显示属性的网页信息除噪技术研究

提出了一种基于文档对象模型(DOM)和网页显示属性的信息除噪方法.通过对网页内容进行结构和特点分析,把一个网页信息内容划分为信息块和噪声块两个部分,利用解析器把网页转化成DOM模型并对网页信息噪声进行判断,根据网页的显示属性对DOM模型进行简化,最终实现对DOM模型噪声信息的有效去除.     

基于规则引擎的大规模网页信息抽取平台设计与实现

信息抽取是数据挖掘和知识发掘的重要方法,基于规则自动化或半自动化地从互联网中提取准确有效的数据是知识挖掘的关键.本文构建了一个通用文本信息抽取平台,采用多种信息匹配技术从网络数据源中抽取数据和信息,并采用规则处理方式对网页信息进行智能化抽取.该平台采用Eclipse RCP开发,对其功能可进行插件式扩充,在业务逻辑上采用规则引擎.该平台具有界面友好、易于扩展、使用方便等特点,并能够从大规模网页中自动地获取有效的数据和信息.     

基于文本标签属性的网页信息抽取方法研究

伴随着互联网的飞速发展,网络上的信息资源呈现出井喷态势,如何从海量的信息中抽取出自己需要的信息已经变得越发的困难。在分析现有Web信息抽取技术现状及面临的挑战的基础上,设计了一种基于文本标签属性的Web新闻信息抽取模型。主要介绍了基于标签的Web信息抽取技术的算法,给出了信息抽取的具体实现过程,对基于DOM树节点遍历的文本标签过滤算法进行了描述,并选取了主流的新闻网站进行了抽取实验,验证了算法的可行性。     

教育类网站文本信息提取技术分析

网络信息呈指数式发展,教育类网站更是蓬勃发展。开发一种教育类网站文本信息提取系统用于提取并分析网页中文本信息,实现通过文本对网页进行检索。     

一种校园网环境下的网页正文内容抽取算法

文章首先分析了目前几个比较典型且较为常用的网页正文内容抽取算法,指出了它们的优缺点,然后根据校园网应用环境,设计了一种基于统计和机器学习的网页正文内容抽取算法,给出了该算法的详细实现过程及实验结果分析。     

基于多中文搜索引擎的可扩展网络混合爬虫

由于现在Web上的信息量变得越来越大,单个的搜索引擎不可能包括整个网络的信息资源,网络爬虫的能力,索引数据库的大小,系统维护开销等,都限制了一个搜索引擎的查全率。因此,设计一个统一的搜索引擎查询界面,并能快速智能合并查询结果是一个挑战。针对现有单个引擎搜索的限制,提出了基于行块的正文摘要提取方法和基于词频的相似度模型实现了一个可扩展的多WEB源的网络爬虫,将现各搜索引擎上的网页信息进行抽取,过滤、去重、排序、信息重组,可以获得更全面更符合人们需要的、个性化的数据结果。系统的测试结果表明我们的方法是比较有效的。     

基于特征词统计的网页结构化信息抽取

作为垂直搜索的关键技术之一,网页结构化信息抽取近年来得到越来越多的关注.网页结构化信息抽取通过打碎网页,从中提取"精细化"、"条目化"的信息,存储在数据库中,通过对数据库的查询达到垂直搜索"精准"的目的.已有的方法大多是基于规则的模型和基于隐马尔可夫的模型,这些方法要么依赖特定网页结构,适用性差;要么依赖大量的训练样本,训练效率低.结合垂直搜索特定领域特征词数量有限的特点和统计方法,提出基于特征词统计的结构化信息抽取技术,解决了只能抽取特定HTML标记节点和单个信息块的问题,关键信息块的抽取平均准确率为97%.     

基于领域向量模型的新闻网页分类算法

随着互联网中网页数量的激增,网页自动分类已经成为互联网技术中亟待解决的问题。提出一种领域向量模型的设计与构建方法,设计并实现一种针对新闻网页的基于领域向量模型的网页分类TSC(Topic Sensitive Classify)算法,从新的角度解决网页自动分类问题。首先,对大量的新闻网页URL进行分析,提取新闻网页的URL特征;然后,设计一个领域向量模型,对特定领域的新闻网页内容特征进行提取;最后,结合新闻网页URL特征和内容特征对新闻网页进行自动分类。实验结果表明,TSC算法分类效果比传统SVM和ID3等文本分类算法更优。     

基于Web超链接结构信息的网页分类技术研究

充分利用相邻网页（包括链人和链出）的相关信息,提出一种基于Web超链接结构信息的网页分类改进方法．其方法分为5步：（1）预处理训练集,提取文本信息和超链接结构信息;（2）抽取特征向量和训练一个Web页面的全文本分类器;（3）根据网页的各个人口的锚点文本和扩展锚点文本创建虚文档,用虚文档代替Web页面全文本训练一个虚文档分类器;（4）利用Naive Bayes方法协调两个分类器得到初步分类结果;（5）利用链出网页对初步分类结果进行修正,得到最终分类结果．根据改进方法实现了网页自动分类原型系统,并进行分类实验,实验表明该方法有效提高了分类性能．     

Web站点结构及网页特征信息的抽取

www为用户提供了丰富的信息资源。然而，超文本的结构复杂且超链结构无方向性，因此很难将其用来Web可视化。本文就Web站点结构及网页特征信息的抽取技术进行了详细的阐述，其中包括网页内容读取算法、网页URL提取算法、超链路径转换算法等。     

基于MapReduce的网络信息提取方法

网络信息提取技术对于人们高速准确的从海量数据中提取所需要的信息变得非常重要,面临海量计算所带来的挑战,提出了基于MapReduce的网络信息提取方法,以淘宝网为数据源,提取用户对商品感兴趣程度,通过实验仿真,表明该方法对于海量网络信息提取具有较高的效率和很好的适应性。     

Internet智能信息检索技术研究

在Internet上大量的、分布的、动态的信息造成了“信息过载”，如何在传统信息检索技术的基础上开展针对Web的检索工作已经成为一项重要的研究课题．智能Agent利用人工智能领域中的机器学习方法，学习并刻录用户在查询时的信息反馈，建立用户框架，然后利用学到的主动查询用户感兴趣的网页资源,该算法在文章已被正确分词的基础上实现词的自动提取，具有覆盖领域广、抽取速度快、抽取信息准确率高的特点.     

一种基于语义的Web挖掘方法研究

在已有的基于Dom Tree的网页信息提取算法基础上,通过对Html标签进行分类,逐个分析各Html标签所包含的结构信息,设计了一种自底向上的网页分块方法,并在此基础上,实现了文本相似度比较的网页主题内容信息块识别算法,提高了主题内容信息块的识别精确度。     

基于Hadoop平台的人才发现与推荐系统研究

随着互联网和社交网络的发展,个人信息越来越多地暴露在网络空间中,有效收集和挖掘这些信息可发现所需要的人才信息。设计了一个人才发现与推荐系统,该系统基于Hadoop平台,利用网络爬虫程序寻找网页,通过信息抽取技术获取页面内容,利用lucene的分词器提取文本中的关键词,根据关联规则算法挖掘出关联关键词,采用基于相似项的策略推荐人才。系统为企业提供了一种基于网页数据的技术人才发现和推荐工具,节约了大量时间和成本。     

基于VIPS的职位信息抽取技术研究

随着网络招聘的普及,求职者需要浏览和筛选的数据越来越多,如何从大量的、非结构化的网络信息中快速而准确地抽取需要的信息非常重要。基于VIPS视觉分割算法,利用网页所呈现出来的布局结构和视觉特征,对招聘页面进行视觉分割处理,在页面分割的基础上,抽取特定块内的文本信息,实现了关键词查找抽取感兴趣的视觉块内信息。实验结果表明,基于VIPS的职位信息抽取技术能够有效抽取出招聘页面内重要的文本信息,优化了信息抽取结果。     

基于视觉特征的主题型网页信息抽取

互联网高速发展的多年积累,如今web已经成为我们每一个普通人日常的一部分.Web绝对是世界上最大的信息数据库.同时每一个web页面中也包含这个目标信息以外的各种广告链接.称之为噪声.如何有效的过滤噪声,提取想要的目标内容已经成为一个实用且重要的研究领域.传统的方法大多都是基于DOM树及网页源代码的.这里在基于网页视觉特征分块算法VIPS的基础上,通过观察归纳网页目标内容和噪声的视觉特征来进行噪声过滤和目标内容提取.并提出了基于噪声和目标内容的视觉特征区别算法NGFV(Based on noise and goal content visual feature algorithm).     

对网站设计的思考

网页设计是一门新兴的设计类和网络的交叉学科，近几年随着网络的发展而逐渐受到人们的重视．它本身以网络为载体，把各种信息以最快捷、方便的方式传达给观众．对于网页设计来讲．其信息内容的有效传达是通过将各种构成要素的设计编排来实现的。本文主要从网页的构成要素即文字、图形、图象、标志、色彩等造型要素方面，以及标题、信息菜单、信息正文等内容要素提出了网站设计的一些思考。