基于预测的Spark动态资源分配策略

分布式内存计算平台Spark是海量数据处理领域的最新技术进展。动态资源分配下Spark可根据应用的负载情况动态地追增、关闭任务执行器。然而,关闭任务执行器会造成缓存数据丢失,导致不必要的重计算开销,该情况在Spark交互式数据查询应用中尤为常见。为尽量减少任务执行器关闭以提升查询效率,设计实现一种基于预测的Spark动态资源分配策略。该策略基于马尔科夫理论构建Spark交互式数据查询应用的非活跃期持续时间预测模型,并依据预测结果确定任务执行器的关闭时机。试验结果表明,相比既有的Spark动态资源分配策略,采用基于预测的资源分配策略可使Spark交互式数据查询效率平均提升59.34%。     

基于Spark平台的热点话题发现算法并行化研究

话题发现中最常用的方法是基于增量式的Single Pass聚类算法,但是其依赖于文档的输入顺序且效率低下。针对这两个问题,提出在多层次话题发现基础上,基于Spark平台的算法并行化,将传统的Kernel K means算法进行并行化处理,以并行化的方式对数据进行初步聚类,并对后续数据进行增量式聚类。实验表明,多层次处理提高了话题的准确性;同时,并行化方式相比传统的话题发现方法,其效率有较大提高。     

基于云平台的PXE技术在远程数据处理中的应用

在某些工程应用环境中,需要进行信息交互、数据清洗等远程数据处理工作.同时为了提高企业资源的利用率,需要具备良好扩展性、易于维护且更低成本的网络应用.本文提出了一种基于虚拟计算平台的PXE网络构建方案,与传统方法相比,该方案实现了数据中心的虚拟化,云模式的数据处理方式更具灵活性和安全性,降低了网络构造的复杂性和软硬件成本,提高了数据处理的运行效率和系统的整合能力,更容易实现管理和维护.     

高职院校教育资源云平台的数据存储研究

文章分析了高职院校教育资源的现状和面临的问题,介绍了云存储的结构模型和优势,提出了一种基于云存储的数据存储方案.该方案采用Hadoop云平台,将HDFS与现有高职院校教育云平台相结合,有效解决了教育资源云平台上海量数据的存储问题.     

基于云计算的教学资源平台研究

云计算机以其超大规模、通用性、高可靠性等技术特点与优势,为教育领域的技术应用开辟了广阔的发展前景,有利于解决教学资源建设和应用服务之间矛盾.探索云计算机的服务模型,从事云计算应用需求分析、系统构建、技术开发与实现等方面的科学研究,进而基于云计算技术构建一个开放、灵活的教学资源平台,对于教学资源的优化整合、共建共享具有重要的战略意义.     

基于云计算的计算机类实验教学平台搭建与应用

针对武汉理工大学计算机类实验教学中存在跨校区、教学资源分散、实验基础设施有限等问题,提出实验教学云平台框架,并阐述该框架构建过程。通过该平台实现计算机类实验环境快速自定义部署、高性能实验仿真开发、实验中心信息综合服务支撑等功能。给出包括跨区域和跨专业计算机开放式教学、Hadoop高性能实验平台、开放实验预约等方面的教学应用案例。     

基于OpenShift的实验室应用云平台设计与构建

随着云计算技术的发展,容器因其具有轻量化、易移植、简单易用等特点,受到越来越多的运维人员的青睐.为了满足高校实验室管理、实践课程和竞赛对实验平台的要求,基于OpenShift的应用云平台,设计了高校实验室应用云平台的整体架构,阐述了构建方案,为教学、创新实验、竞赛等提供了更安全便捷的环境.     

OpenStack开源云计算平台

OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。     

基于GPU的Spark大数据技术在实验室的开发应用

在大数据时代,兼顾大数据处理与高性能计算是目前对计算机系统的迫切需求。针对Spark大数据处理与基于GPU的高性能计算,分析了基于GPU的Spark技术。它主要通过构建CPU和GPU的异构并行,使计算机获得强大的计算能力,并在实验室环境下探讨了Spark-GPU技术的实现,阐述了算法实现的技术流程。在此基础上,通过仿真实验评估了Spark和Spark-GPU技术的性能。实验表明,Spark-GPU技术可以达到上百倍的加速比,这对图像处理以及信息检索等领域的发展都具有重要推动作用。     

基于云计算的超级BOM设计与实现

信息时代,及时掌握企业内部制造资源信息情况尤为重要。根据管理信息系统（MIS）设计方法,以云计算为基础,结合JavaWeb技术,对超级BOM系统进行了系统性分析,利用系统开发理论、虚拟化技术,结合E-R图和数据库设计模型,搭建了超级BOM系统云架构平台,设计了一个基于云计算的超级BOM系统。基于云计算的超级BOM系统开发,帮助企业实现了基本的BOM管理功能,缩短了产品BOM的设计周期,从而提高了企业竞争力。     

Hadoop和Spark在实验室中部署与性能评估

随着互联网技术的发展,数据量成爆炸性增长趋势,单机难以存储、组织和分析这些海量数据。面对单机难以处理海量数据的现状,建立分布式计算平台对于今后科研工作和实验教学具有重要的意义。就如何在实验室环境下搭建分布式计算平台做了详细说明并对hadoop和spark的性能进行比较,包括Hadoop和Spark集群的安装和部署,Spark集成开发环境的建立,同一组数据集在两个平台上进行Kmeans聚类的时间对比。对于建设分布式计算平台具有一定的指导意义。     

基于云计算的动漫渲染实验平台研究与实现

动漫渲染的硬件资源限制是目前高校动漫专业教学和科研的一个瓶颈,云计算具有高性能计算、海量存储、智能化部署等特征,架构于云计算平台的云渲染为这一问题提供了解决方案。虚拟化的渲染节点、渲染任务管理、云存储、服务接口是构成云渲染实验平台的核心,用户通过远程Web自助系统或桌面云端完成任务提交、资源预约、参数设置、场景检测、效果查看等渲染过程。实践证明,该平台具有先进性、经济性和易管理等优势。     

Spark 2.0平台在大数据处理中的应用研究

Spark分布式框架具有利用数据集内存缓存、启动任务的低迟延、迭代类运算、实时计算的支持和强大的函数式编程接口等特征。描述Spark 集群环境的搭建过程,将Spark 应用到预测森林植被中,对基于RDD和基于Data Frame接口的Spark随机森林算法的性能差异进行比较。实验结果表明,基于Dataset结构的随机森林法预测效果好、执行时间短,可以广泛使用。     

Hadoop云计算框架中的分布式数据库 HBase研究

云计算一直是产业界、学术界关注的焦点问题,目前它已从“概念期”逐渐走向“实践期”。文章选择云计算平台- Hadoop作为研究基础,通过对其结构特点的概述,从4个核心模块之一 HDFS为切入点,引入分布式数据库Hbase 。最后,重点论述了 HBase的数据模型和实现思想,为进一步探索互联网大数据处理奠定了理论基础。     

基于微软云计算平台的海量数据挖掘系统

科学技术在不断的进步,人们对数据挖掘服务也提出了更高的要求,微软云平台已经成为数据挖掘研究的重要研究方向,它能够较快的部署云应用程序。本文主要分析了基于微软云平台的海量数据挖掘,提出了云平台海量数据挖掘系统的设计,从而为数据挖掘提供一种新的服务机制。     

基于云平台的光纤路由规划算法研究

随着信息通信行业的快速发展,光纤网络日益复杂,为了实现更加快速高效的光纤路由规划,结合Dijkstra算法以起始点为中心向外层扩展的特点和广度优先搜索算法的遍历策略,提出一种最短路径计算算法,并完成算法的并行设计与实验分析。通过在Spark平台上对所提出的算法进行实验,并与传统的Dijkstra算法比较,结果表明该算法高效可行,达到了设计要求。     

K-means聚类算法在Spark平台上的应用

随着人类产生的数据量呈指数级增长,数据的海量、多样化等特征使传统的聚类算法无法处理这些数据,而近来较为流行的Hadoop平台在处理数据的速度上也达到瓶颈。因此,专家们想要研究一种更为适合的处理平台来处理遇到的海量数据,Spark平台应运而生。首先介绍了聚类算法定义与分类,随后提出了Spark平台,包括Spark核心技术(RDD)、Spark和Hadoop的对比,并介绍了K means在Spark平台上的实现,最后总结了Spark的应用现状并对其未来发展进行了展望。     

基于HDFS的教学资源云存储平台设计

基于HDFS技术,设计了教学资源云存储平台。提出了平台的总体架构,对HDFS提供的平台技术支撑进行了详细分析,给出了平台基础架构,分析了基础架构各层次的实现内容,用于解决分布、异构、海量、多模式的教学资源集成、整合及共享问题。     

基于Spark的Slope One算法优化与实现

传统Slope One算法未考虑用户相似性和项目相似性对评分效果的影响,从而导致推荐准确率不高,并且在当前大数据背景下,传统Slope One算法运行效率低下。针对以上问题,提出一种基于Spark的改进加权Slope One算法,该算法融入了相似性计算、活跃用户筛选和用户聚类等技术,并在Spark平台上实现了并行化。通过在MovieLens数据集上进行试验验证,并比较算法在Spark和Hadoop平台并行化的运行效率,证实了该算法可以有效降低MAE,且在Spark平台下运行效率更高,更适用于大数据处理场景。