基于GPU的Spark大数据技术在实验室的开发应用 |
| |
作者单位: | ;1.南京信息工程大学电子与信息工程学院 |
| |
摘 要: | 在大数据时代,兼顾大数据处理与高性能计算是目前对计算机系统的迫切需求。针对Spark大数据处理与基于GPU的高性能计算,分析了基于GPU的Spark技术。它主要通过构建CPU和GPU的异构并行,使计算机获得强大的计算能力,并在实验室环境下探讨了Spark-GPU技术的实现,阐述了算法实现的技术流程。在此基础上,通过仿真实验评估了Spark和Spark-GPU技术的性能。实验表明,Spark-GPU技术可以达到上百倍的加速比,这对图像处理以及信息检索等领域的发展都具有重要推动作用。
|
关 键 词: | 大数据处理 异构计算 图形处理器 |
Department and Application of the GPU-based Spark Big Data Technology in Laboratory |
| |
Abstract: | |
| |
Keywords: | |
本文献已被 CNKI 等数据库收录! |
|