基于特征码的网页去重算法研究

本文探讨了数据挖掘和搜索引擎的理论框架,以去除内容重复的冗余网页为研究目标,分析了搜索引擎工作原理,讨论了现有的去重算法。给出了一种基于特征码的网页去重算法,并采用二叉排序树实现了算法。实验证明算法有着较高的去重准确率、召回率,达到了对算法的预期。     

基于MD5的网页去重算法的设计与研究

随着互联网的发展及网络信息的指数状增长,网络上出现了大量的重复网页,降低了检索的查全率和查准率,影响了检索效率。因此,网页去重的准确度直接影响着搜索引擎的质量。本文通过对结构化文本的描述,提出了一种基于MD5的改进的网页去重算法,并从算法内容、算法特征、算法设计进行了阐述,实验表明该方法对提高查全率和查准率具有很好的效果。     

基于专业搜索引擎的网页去重技术研究

针对专业搜索引擎的特点,对基于词频统计的网页去重算法进行了改进。改进后形成的基于专业搜索引擎的网页去重算法通过两步进行:首先,通过计算文档用词重叠度,判断文档中使用的专业关键词集合是否大致相同。第二步,在满足上一步判断基础上,进一步判断两篇文档在各专业关键词用词频率上是否相同。     

网页分类中的数据预处理方法研究

讨论了网页分类过程中数据预处理的相关技术,提出一种网页预处理方法,将网页解析为DOM树结构,通过分析、整理,得到噪音信息的特征,并依据判定规则,找出噪音信息并删除处理。网页去噪后,提取页面中的文本信息和每个相关链接目标URL、源URL及锚文本并存入数据库。实验结果证明,该去噪方法可以有效去除网页噪音,利用所提取的超链接结构信息分类网页,可以有效提高分类精度。     

基于领域向量模型的新闻网页分类算法

随着互联网中网页数量的激增,网页自动分类已经成为互联网技术中亟待解决的问题。提出一种领域向量模型的设计与构建方法,设计并实现一种针对新闻网页的基于领域向量模型的网页分类TSC(Topic Sensitive Classify)算法,从新的角度解决网页自动分类问题。首先,对大量的新闻网页URL进行分析,提取新闻网页的URL特征;然后,设计一个领域向量模型,对特定领域的新闻网页内容特征进行提取;最后,结合新闻网页URL特征和内容特征对新闻网页进行自动分类。实验结果表明,TSC算法分类效果比传统SVM和ID3等文本分类算法更优。     

基于文本行特征的网页正文信息抽取方法研究

目前互联网上网页来源众多、结构各异,针对网页正文信息抽取精度及通用性问题,提出一种基于文本行特征的网页正文信息抽取方法。首先根据正文特征将明显不是正文内容的噪声去除,通过预处理将页面转换成文本和行号的集合,根据网页正文文本行信息字数较长这一特点,设定阈值并删除不符合阈值要求的文本行。正文信息行距一般相隔较近且含有中文标点符号,根据这一特征进一步删除不符合要求的文本行,最后整合出网页正文信息。将该方法与网页正文提取工具印象笔记（Evernote）、有道剪报工具（YNote）进行对比实验,实验结果表明该方法在平均准确率上高于YNote、Evernote,具有一定的通用性。     

一种基于不完整数据集的网页分类技术

常用的网页分类技术大多基于普通文本分类方法,没有充分考虑到网页分类的特殊性--网页本身的半结构化特征以及网页中存在大量干扰分类的噪音信息,同时多数网页分类的测试集和训练集采源于同一个样本集而忽视了测试集中可能包含无类别样本的可能.基于向量空间模型,将样本集看成由有类别样本和无类别样本两部分组成,同时选择了样本集来自于相同的网站,在去除网页噪音基础上结合文本相似度算法和最优截尾法,提出了一种基于不完整数据集的网页分类技术LUD(Learning by Unlabeled Data)来改善分类效果,提高分类精度.实验证明:LUD算法与传统的分类方法相比较而言,不但可以提高已有类别样本的分类精度,更主要的是提供了一种发现新类别样本的方法.     

基于改进的TF-IDF特征权重算法的网页自动分类

TF-IDF是文档特征权重表示常用方法,但不能真正地反映特征词对区分每个类的贡献。故针对网页分类中特征选择方法存在的问题,加入网页标签特征权重改进TF-IDF公式,提出了一种比较有效的网页分类算法,实验结果表明该方法具有较好的特征选择效果,能够有效地提高分类精度。     

密码字典数据去重算法研究

对直接去重算法、Hash去重算法和Hadoop集群数据去重算法进行研究分析,得出各算法在密码字典数据去重中的适用场合。去重后的密码字典作为密码字符子集,为面向暴力破解的密码字典生成提供了有效方法。     

从认识的功能视角谈EST长句的分类及翻译

大量使用长句是科技英语的主要句法特点之一.科技英语中的长句的修辞功能分为五大类描述功能、陈述功能、定义功能、分类功能和指令功能.根据功能等值翻译理论,各类长句的译法应各不相同.     

基于VSM的中文网页自动分类模型

通过对文本分类的相关技术进行深入研究，提出了一种基于VSM的中文网页自动分类模型的构造方法。     

基于Web超链接结构信息的网页分类技术研究

充分利用相邻网页（包括链人和链出）的相关信息,提出一种基于Web超链接结构信息的网页分类改进方法．其方法分为5步：（1）预处理训练集,提取文本信息和超链接结构信息;（2）抽取特征向量和训练一个Web页面的全文本分类器;（3）根据网页的各个人口的锚点文本和扩展锚点文本创建虚文档,用虚文档代替Web页面全文本训练一个虚文档分类器;（4）利用Naive Bayes方法协调两个分类器得到初步分类结果;（5）利用链出网页对初步分类结果进行修正,得到最终分类结果．根据改进方法实现了网页自动分类原型系统,并进行分类实验,实验表明该方法有效提高了分类性能．     

K近邻算法在教学网页分类中的应用

针对教学网页这一特定领域,提出一个基于K近邻算法的教学网页自动分类模型。该模型采用向量空间模型对教学网页的特征进行量化,并采用基于K近邻的分类方法对新的网页进行自动归类。最后通过实验数据说明该算法在教学网页的分类中是有效。     

从认识的功能视角谈FST长句的分类及翻译

大量使用长句是科技英语的主要句法特点之一。科技英语中的长句的修辞功能分为五大类：描述功能，陈述功能，定义功能，分类功能和指令功能，根据功能等值翻译理论，各类长句的译法应各不相同。     

中文网页自动分类系统研究

给出了一个网页自动分类系统的设计,讨论了预处理、批量训练、特征选择等模块的设计过程。本系统采用空间向量模型作为分类模型,在分类开始前对网页信息进行了预处理。     

基于内容的中文网页自动分类系统

文章阐述了国内在基于内容的中文网页自动分类方面所做研究工作的发展现状,分析了已有工作的特点;在此基础上,结合自己的工作提出了一个基于内容的中文网页自动分类系统分析.给出了系统的总体结构设计思想和总体结构框架,以及组成系统的各个模块的功能和结构描述.按照该系统的设计思想和进一步的详细设计可以搭建一个系统化的、功能较为全面的、具有较高效率的中文网页自动分类系统平台.     

基于Viterbi算法的网页分类排序动态爬虫策略

Viterbi算法是一种基于图的动态规划算法,用于解决最短路径问题。针对当前网站排序算法对网站排名存在忽略网站主题、新站点排名无法超越旧站点等问题,提出了一种改进算法。改进算法利用网站入链数量以及网站内容与主题相关度两个参量,结合Viterbi算法思想,在逐层访问过程中选取综合条件最优的网站,优胜劣汰,形成Viterbi过程,提高分类网站排序的效率和准确性。实验验证了动态爬虫策略的有效性。     

基于模糊印刷分析的字符预分类方法

本文提出了一种用于字符预分类的模糊逻辑分析法,对文本字符作印刷结构的分析,给出了一个带有容差分析的文本行字符基精确测定算法,其它有效参考线则通过聚类分析获得,模糊逻辑用于确定各字符类的隶属值以保证字符的正确预分类。实验结果表明,我们的模糊印刷字符预分类法在ＳＵＮ ４／４９０工作站上每秒可有效处理１０＾４以上字符,并对不同大小的字符有满意的结果。     

基于增量的贝叶斯算法在网页文本中的应用

如今文本自动分类技术发展已较为成熟,中文网页的分类也是自动分类技术的应用之一.分类精度依赖于分类算法,贝叶斯算法在网页分类中有很广泛的使用,但它需要大量且已标记的训练集,而获得大量带有类别标注的样本代价很高.本文以中文网页信息增量式的学习作为研究对象,利用网页已验信息处理训练集增量问题,提出一种改进的增量式的贝叶斯分类算法,研究利用未标记的中文网页来提高分类器的性能,并进行相关实验对比和评价.     

云环境下数据去重存储安全研究

随着云计算的不断发展,云计算安全问题日益凸显。探讨了云环境下的数据去重存储安全问题,重点对云存储应用中加密数据的去重问题进行了研究。在云服务器不被用户信任的情况下,用户将文件上传到云存储服务器前需要加密,但是数据加密严重影响了去重复技术的使用。因此,云存储服务器必须实现数据加密和去重复技术结合使用,以实现高效存储。