Hadoop集群中作业调度研究

Hadoop是目前应用最广泛的分布式框架,作业调度是其重要环节,它直接关系到集群的性能与资源利用率。研究了作业调度流程、作业调度策略模式,对Hadoop自带的3种调度器的设计要点与配置方法进行了探讨。     

基于Hadoop的分布式平台实现

互联网的迅速发展产生了各种海量数据,快速有效处理海量数据是云计算的目标。Hadoop作为典型的云计算平台可高效处理海量数据。介绍了Hadoop相关概念,包括HDFS、MapReduce等众多子项目;阐述了Hadoop完全分布式平台搭建,包括环境配置、搭建方法等;通过数据处理实验验证了Hadoop分布式平台的有效性。     

基于Hadoop的云计算辅助教学平台研究

云计算可以促进教育信息化的革新,云计算辅助教学利用“云计算”支持的教育“云服务”,能够高效简洁地提高教学的质量.文章比较了公有云与私有云平台,分析了高校建设私有云计算平台的可行性,研究了基于Hadoop的云计算辅助教学平台.该平台可以充分利用云计算的存储与计算能力.文章对校园私有云的体系架构进行了分析,详细介绍了基础设施层和基于Hadoop的云计算辅助教学平台.实验证明,该平台具有良好的实用性.     

Hadoop的负载均衡调度算法研究

不断增大的数据规模给Hadoop集群处理能力带来了挑战,而合理的作业调度方式与策略能够提高集群的运行效率。通过对Hadoop MapReduce的任务调度机制进行研究,设计了节点负载能力与动态优先级的计算方式,提出了一种动态优先级的负载均衡调度算法,并搭建小型Hadoop平台进行了实验分析。结果表明,该算法在集群负载均衡方面的效果要优于传统调度算法。     

基于Hadoop的英语辅助教学云平台的构建

目前传统网络英语教学方法互动性不足,无法同时满足学生不同的英语学习需求,传统网络英语教学平台采用的是单服务器模式,无法负荷大量学生对教学资源的同时访问。本文通过使用Hadoop平台软件,通过对该平台软件的配置,实现英语辅助教学云平台的搭建,在所搭建的辅助教学云平台中添加优质的英语教学资源,实现大量学生同时访问,有效提高学生的学习兴趣与自主学习能力。     

基于Hadoop的数据聚类算法研究

聚类算法一直备受研究者青睐。随着信息技术和数据技术的发展,数据的种类和数量急剧增长,云计算平台Hadoop成为这些数据存储和处理的新平台,基于云计算平台Hadoop的聚类算法逐渐成为热门。针对数据挖掘中的聚类问题,依托云计算模式及Hadoop平台,研究了K-means算法,有效改变了现有算法的局限性。     

基于Hadoop的云教学资源平台的研究

云计算的出现为海量教学资源的分布存储与管理提供了新的思路与技术.为满足教育教学资源共享建设的低成本、高可靠的弹性访问与服务需求,在现有Hadoop云实现技术的框架下,提出了分布式存储、访问与管理的云资源共享平台,并设计了相关的云平台资源存储结构和Web应用程序,为现代教育教学资源共享平台的构建提供了思路.     

Hadoop平台的关联挖掘算法研究

通过结合云平台的存储能力和并行处理能力,对数据挖掘的Apriori算法进行研究,把传统Apriori算法改进移植于Hadoop平台.改进后的算法在扫描一次数据库后用矩阵的形式表示事务,在生成频繁K项集的过程中只需要把满足条件的事务进行连接并统计支持度,从而减少大数据挖掘中大量无用数据的运算,提高了挖掘效率.     

蚁群动态调度算法在混流车间作业调度的应用

混流车间作业调度是实际生产环节中的一个重要问题,也是制造系统生产管理的核心,同时实际的生产系统是一个动态生产环境.文中提出蚁群动态调度算法,通过实例具体分析并且跟传统的启发式算法相比较,实验结果证明蚁群动态调度算法对混流车间作业调度问题有较优的加工路径.     

基于Hadoop的移动学习模型研究

随着网络技术和3G技术的不断发展,作为学校正规教育有益补充的移动学习模式受到越来越多学习者的关注。本文引入云计算概念,在分析了云计算对移动学习的影响后,提出了基于云计算平台Hadoop的移动学习模型,充分利用云计算的海量数据存储与高性能计算能力,将大量的计算和存储工作放在后台服务器中完成,解决了现有移动学习模式计算能力差、存储空间小、资源共享程度低等问题,降低了移动学习模式的进入门槛。最后在对其功能模块进行分析后,详细介绍了模型的实现方案应用流程,具有较强的可行性和良好的实用性。     

Eucalyptus中基于能量消耗的调度算法研究

能量消耗是云计算研究中一个十分重要的问题,介绍了开源云项目Eucalyptus,分析了其核心调度算法及在考虑能量消耗的应用场景中存在的问题,利用虚拟机在线迁移技术提出了基于能量消耗的调度算法。实验证明,基于能量消耗的调度算法性能优于Eucalyptus现有的核心调度算法。最后总结了需要进一步提高的方面。     

作业车间调度问题解的不可行性检测算法和快速修复算法

为了判别作业车间调度问题的解的可行性,提出了一种基于图论的启发式判别算法,并通过实例验证了方法的正确性.提出了普适于作业车间调度问题的快速修补新算法,可以对于作业车间调度问题的不可行解进行修正使之变成可行解.判别算法和修补算法在最不利情形下的计算复杂性均为O(n),判别算法在最有利情形下的计算复杂性为O(2 |J|+|...     

基于Hadoop生态系统的大数据解决方案

作为深受开发者青睐的主流大数据平台,Hadoop在数据的处理、分析及应用上拥有着其他平台不可比拟的优势。在介绍了大数据定义和Hadoop生态系统架构的基础上,分别对基于Hadoop提出的大数据存储、分析、管理、安全及应用等关键问题的解决方案进行了研究和综述。最后,对基于Hadoop的大数据平台的研究和应用发展方向进行了展望。     

基于Hadoop的教学质量管理平台研究

当前,高职教育正在实现由规模扩张向提高质量转变。教学质量管理是规模扩张向高质量转变的核心,信息化建设有助于高职院校提高教学质量管理的工作效率和管理水平。高职院校教学质量管理信息化工作开展得比较晚,在很多方面还是基于纸质存档的形式。为了提升高职院校教学质量管理效率和水平,构建了基于Hadoop的教学质量管理平台:使用SSM(Spring+Spring MVC+MyBatis)技术完成平台开发,使用Hadoop的核心组件HDFS存储教学质量管理文件,使用MySQL存储后台数据,使用Docker完成分布式部署。     

基于 Hadoop 的电商大数据平台性能调优

为了提升电商大数据平台复杂数据操作性能,通过分析电商业务特点,从数据重新组织与平台参数调优两个方面对数据平台进行优化。在数据重新组织方面,使用 ORC 数据格式存储数据,并对数据表进行合理的分区、分桶;在平台参数调优方面,对业务涉及到的主要组件参数进行针对性调节。最后,通过搭建具有 32个节点的 Hadoop 集群,并使用 TPC-DS 测试集进行仿真实验,验证调优思路及方法的有效性。结果表明,调优之后的平台性能大约是未进行任何优化平台的 7.5 倍,优化效果显著。     

基于云教育平台的自主移动学习模型研究

云教育平台比传统的网络教育平台更适用于移动学习。文章从"云教育"的内涵出发,通过与传统网络教育平台的对比研究,详细分析了云教育平台在移动学习中的优势以及它对移动学:习的改造。最后,基于云教育平台的优势,将移动学习和云平台相结合,构建了一种基于云教育平台的自主移动学习模型。     

Hadoop平台基准性能测试研究

Hadoop平台是apche下的一个开源大数据平台,具有分布性、虚拟化、高可靠性、高可伸缩性、通用性等特点。Hadoop平台发展至今,集成组件已从1.0发展到2.0。从Hadoop体系结构入手,分析了Hadoop 平台1.0和2.0平台的基准测试性能并进行了对比。研究了testdfsIO、yarn、hive的基准测试,通过对升级后平台的基准测试,分析了2.0的优势,为集成Hadoop平台提供参考。     

云计算技术基础上数字图书馆云服务平台的实现

简介了云计算的概念及有关技术,提出了在云计算技术背景下数字图书馆建设的需求,阐述了数字图书馆建设中云服务平台的概念及基本特点,介绍了两种数字图书馆云服务平台设计的实现流程,即基于谷歌公司Google APP Engine的实现流程和基于亚马逊公司AWS的实现流程,以期为构建新型数字图书馆服务提供实践参考。     

从教学平台到学习平台:以软件工程平台为例

针对教学平台普遍存在的缺乏群体交互支持、不能模拟真实学习环境等不足,通过借鉴云计算和社会性软件的设计理念,总结出教学平台向学习平台演进的几个主要方向;同时,以软件工程学习平台为案例,具体说明教学平台向学习平台转变所做的尝试。     

基于云计算的区域终身学习平台架构研究

终身学习平台如何构建是终身教育实践的重要内容,受到众多因素限制,云计算等信息技术的发展,为区域终身学习平台架设提供了新的技术支撑,本文提出了基于云计算的终身学习平台的架构方案。