Hadoop的负载均衡调度算法研究

不断增大的数据规模给Hadoop集群处理能力带来了挑战，而合理的作业调度方式与策略能够提高集群的运行效率。通过对Hadoop MapReduce的任务调度机制进行研究，设计了节点负载能力与动态优先级的计算方式，提出了一种动态优先级的负载均衡调度算法，并搭建小型Hadoop平台进行了实验分析。结果表明，该算法在集群负载均衡方面的效果要优于传统调度算法。