基于Nutch的Web网站定向采集系统

在对目前具有代表性的开源网络抓取软件Nutch、Heritrix、WCT、Web-Harvest进行比较分析的基础上,提出基于Nutch的Web网站定向采集系统,并对种子站点的选取、抓取过程管理、网页去噪、新种子站点的发现等关键问题进行重点探讨。     

Web网页聚类系统研究与设计

对web文本聚类中的数据预处理、聚类算法及结果评估等进行了分析研究．在由lucene和nutch构建的搜索引擎的基础上,提出基于k—means聚类算法web页聚类系统设计方案,并论述了各模块的设计与实现方法．     

大数据环境下作业抄袭检测研究

作业是检验教学效果的一种重要手段,但是不可避免存在作业抄袭的现象。随着网络的进一步发展,学生作业的抄袭从简单的同学间抄袭延伸到从网络抄袭,如何从几十亿网页中找到抄袭的源头成了亟待解决的问题。文章结合Map Reduce及Nutch提出在大数据环境下作业抄袭检测的设计方案。