基于MapReduce的Canopy-Kmeans算法的并行化

数据挖掘的聚类算法Canopy-Kmeans是分析数据内在价值的常用工具之一,传统的基于集中控制的方式算法执行效率,在今天大数据环境下,有待改进.文章数据源为某省运营商在2014年7月经过脱敏后的话单信令数据,通过传统的集中控制方式和基于MapReduce的方式.通过实验,我们可以看出使用MapReduce方式具有良好的可行性,而且执行效率也得到明显改善[1].     

基于Hadoop的海量共现矩阵生成方法

海量数据的处理分析是当前信息处理技术的热点之一,介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架,并在Hadoop基础上提出一种通过多重MapReduce操作,实现海量共现矩阵的生成方法。     

云平台下大型矩阵乘法运算处理方案设计

本文在开源云计算平台Hadoop的基础上利用MapReduce和HDFS,针对大型矩阵相乘,并结合个人实际水平进行简单的开发应用。通过开发和研究,进一步探讨云计算关键技术MapReduce对于海量数据处理的意义。     

大数据环境下作业抄袭检测研究

作业是检验教学效果的一种重要手段,但是不可避免存在作业抄袭的现象。随着网络的进一步发展,学生作业的抄袭从简单的同学间抄袭延伸到从网络抄袭,如何从几十亿网页中找到抄袭的源头成了亟待解决的问题。文章结合Map Reduce及Nutch提出在大数据环境下作业抄袭检测的设计方案。     

基于云计算求解城市物流配送最短路径研究

物流配送是物流的核心环节之一,配送线路的优化选择决定着配送效率和运输成本。为了求解大规模城市路网中的物流配送最短路径问题,提出了基于Map Reduce的并行算法和GIS仿真结合的求解方法。在该求解方式中,构建Map Reduce并行化模型和算法流程;数字化城市路网,借助于mapin-fo分层管理道路和配送点,并对道路和配送点进行拓扑化处理,生成MID文件供Map Reduce使用;通过Hadoop平台实现最短路径计算并在Map X直观显示出计算结果。     

Hadoop集群部署实验的设计与实现

阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程。通过该实验能够让学生从理论和实践上掌握Hadoop有关的技术知识。     

一种改进的MapReduce并行编程模型

MapReduce是一种并行编程模型,它通常用于处理大型的数据集的程序设计中.基于这种功能的程序能够在大规模的普通机器上自动并发的执行.本文提出了一种改进型的MapReduce编程模型,该模型继承了传统的MapReduce模型对map函数和reduce函数的定义.对map和reduce过程进行了改进优化.实验表明,改进后的MapReduce模型具有更好的执行效率.     

基于任务属性的MapReduce任务调度算法改进

针对MapReduce任务调度中任务属性取默认值的不合理性以及人为指定值的不确定性,对调度算法实现动态调整任务优先级、计算合理的Reduce任务数、明确Reduce任务启动时机等改进,达到提升任务并行度、缩短作业执行时间的目的.Fair与LATE算法改进前后的实验结果表明,基于任务属性的改进能提高调度算法性能与作业整体执行效率.     

MapReduce原理及其主要实现平台分析

针对海量数据处理在处理速度、存储空间、容错性、访问时间等方面存在的问题,对Google MapReduce编程模型的原理、执行流程等进行分析研究,介绍4种主要的MapReduce实现平台Hadoop、Phoenix、Disco、Mars,从编程语言、构建平台、功能特点和应用领域4个方面对4种平台进行比较分析,以期对MapReduce编程模型原理及其应用平台有一个较全面的认识。