一种基于Hive数据仓库的调度优化研究

如何能够更好的通过数据仓库进行决策分析是云计算下的数据挖掘研究的重要组成部分,基于Hive的数据仓库是为了能够快速的查询数据,通过ETL任务资源与调度可以使得查询的消耗达到最小,但ETL是一种类似的NP问题,本文将萤火虫算法引入到ETL任务资源调度中,将萤火虫个体的最优与ETL最优任务调度进行对应。实验平台采用某地区的面料交易平台进行研究,实验说明本文算法能够有效的提高ETL访问效率,从而加快了Hive的访问速度。