Hadoop和Spark在实验室中部署与性能评估

随着互联网技术的发展,数据量成爆炸性增长趋势,单机难以存储、组织和分析这些海量数据。面对单机难以处理海量数据的现状,建立分布式计算平台对于今后科研工作和实验教学具有重要的意义。就如何在实验室环境下搭建分布式计算平台做了详细说明并对hadoop和spark的性能进行比较,包括Hadoop和Spark集群的安装和部署,Spark集成开发环境的建立,同一组数据集在两个平台上进行Kmeans聚类的时间对比。对于建设分布式计算平台具有一定的指导意义。     

大数据处理平台比较研究

大数据环境下,传统的数据处理方式不再适用,以云计算技术为支撑的大数据处理平台应运而生。比较了开源Hadoop和Spark平台各自的优缺点,发现各自的适用范围：Hadoop适用于数据密集型任务,并广泛应用于离线分析;Spark因其基于内存计算,在迭代计算和实时分析领域占据优势。二者在功能上有较强的互补性,协同使用可以发挥更大效益。     

基于Docker和OpenStack的高校大数据云实验室构建

该文设计了高校大数据云实验室的整体架构。该大数据云实验室以OpenStack云平台架构为基础,通过Docker容器虚拟化方式实现,重点阐述了OpenStack与Docker的集成方案以及Docker镜像制作方法,能为实验教学灵活定制Hadoop、Spark、TensorFlow、Caffe等不同的大数据实验环境。与传统大数据实验室相比,该方案具有部署快速、资源利用充分、投入成本低等特点,是一种有效的高校大数据实验室建设方案。     

利用Docker容器技术构建大数据实验室

目前大数据人才培养在国内外高校开始普及,但大数据实验室的几种常用建设方法都存在着诸多问题。针对大数据实验环境的特点,提出一种利用Docker容器技术在单台普通计算机上构建Hadoop集群的方法,并详述了Hadoop镜像制作、Docker环境部署、容器运行、Hadoop集群测试、Eclipse开发环境配置、镜像迁移等实验室建设细节。实践表明,新方法无需额外购置设备,节省实验室资金,同时未增加机房维护工作量,提高机房可复用性,新方法实验教学效果良好,为高校的大数据实验室建设提供参考。     

基于Spark的Slope One算法优化与实现

传统Slope One算法未考虑用户相似性和项目相似性对评分效果的影响,从而导致推荐准确率不高,并且在当前大数据背景下,传统Slope One算法运行效率低下。针对以上问题,提出一种基于Spark的改进加权Slope One算法,该算法融入了相似性计算、活跃用户筛选和用户聚类等技术,并在Spark平台上实现了并行化。通过在MovieLens数据集上进行试验验证,并比较算法在Spark和Hadoop平台并行化的运行效率,证实了该算法可以有效降低MAE,且在Spark平台下运行效率更高,更适用于大数据处理场景。     

基于GPU的Spark大数据技术在实验室的开发应用

在大数据时代,兼顾大数据处理与高性能计算是目前对计算机系统的迫切需求。针对Spark大数据处理与基于GPU的高性能计算,分析了基于GPU的Spark技术。它主要通过构建CPU和GPU的异构并行,使计算机获得强大的计算能力,并在实验室环境下探讨了Spark-GPU技术的实现,阐述了算法实现的技术流程。在此基础上,通过仿真实验评估了Spark和Spark-GPU技术的性能。实验表明,Spark-GPU技术可以达到上百倍的加速比,这对图像处理以及信息检索等领域的发展都具有重要推动作用。     

基于Spark流式计算的实时电影推荐研究

基于Hadoop平台的实时电影推荐系统在需要大量迭代计算时运行速度明显变慢,无法根据用户行为作出实时反馈。针对以上问题,设计基于Spark流式计算的实时电影推荐系统,可更好地满足用户实时需求。基于Spark流式计算的实时电影推荐系统将传统电影推荐算法与Spark流式计算方法相结合,在线部分使用Spark Streaming实时接收用户模拟评分,并使用Scoket编程模拟用户浏览商品时产生的实时日志数据。日志数据包括用户当前浏览电影、观看电影次数、停留时间与是否购买该商品,再使用Spark Streaming构建实时数据处理系统,计算出当前用户相关度最高的电影并进行推荐。实验结果表明,基于Spark 平台的电影实时推荐系统在离线推荐训练过程中,训练速度相对于Hadoop 平台有明显提高,能根据用户行为作出实时反馈,并向用户进行电影推荐。     

K-means聚类算法在Spark平台上的应用

随着人类产生的数据量呈指数级增长,数据的海量、多样化等特征使传统的聚类算法无法处理这些数据,而近来较为流行的Hadoop平台在处理数据的速度上也达到瓶颈。因此,专家们想要研究一种更为适合的处理平台来处理遇到的海量数据,Spark平台应运而生。首先介绍了聚类算法定义与分类,随后提出了Spark平台,包括Spark核心技术(RDD)、Spark和Hadoop的对比,并介绍了K means在Spark平台上的实现,最后总结了Spark的应用现状并对其未来发展进行了展望。     

物联网实验室环境监测教学实验平台研究

本文以构建物联网课程的实验教学平台为核心,探讨射频识别(RFID)技术和传感器网络(WSN)技术的实验教学系统的解决方案,研究和设计了面向实验室环境舒适度监测的物联网实时数据监控和处理的实验平台,运用该平台可实现传感器节点感知和采集、RFID读写、物联网组网和通信、信息查询及报警等实验过程,实验平台有助于学生理解面向具体应用的物联网系统,且具有扩展性便于扩展实验。     

基于虚拟仿真教学平台的云计算技术实验教学

基于物联网虚拟仿真实验教学中心的虚拟仿真教学平台,开展了云计算技术实验课程的建设工作,完成了从传统实验教学平台向虚拟仿真实验教学平台的迁移。目前开设了包括虚拟化技术、集群技术和Hadoop平台3方面共12门虚拟仿真实验课程,并对实验教学效果进行了分析。结果表明:学生实验实际用时有所减少、实验效率有很大提高;学生的实验地点不再集中在软件实验室,而且学习效果显著提升。     

基于HDFS的大数据文件传输实验设计

随着云计算应用技术及相关研究的发展,云编程模式也有了新的技术革新。在高校校园网实验教学体系中,云平台的相关实验已经成为大数据分析等课程配套实验的主要内容。使用HDFS架构,搭建稳定、实用、符合实验课程体系的大数据实验平台,成为高校校园网实验研究的新课题。选用开源云计算平台Hadoop,作为基础平台进行大数据分析实验,搭建基本的实验平台,进行数据处理平台的优化处理。通过HDFS为分布式计算存储提供底层应用支持,实现NameNode和DataNode的通信,将用户通过数据块的方式将文件存储到节点中,及时处理客户端的读写请求,并在NameNode的统一调度下进行数据块的创建、删除、复制和映射。根据具体的实验方法,有针对性的制定实验流程。     

超融合架构的大数据虚拟仿真实验平台建设研究

为了更好地开展大数据实验教学与研究,提高大数据实验课程质量,克服传统大数据实验建设弊端,基 于 KVM 技术与超融合架构设计一种新的大数据虚拟仿真实验平台建设方案。该方案将计算和存储融合在X86 单一物理节点中,分布式存储成本低,提高了 IO 性能,具有开放兼容、易于扩展,方便维护、高可用等特点。该大数据虚拟仿真实验平台能够简化大数据实验平台环境搭建,提高教学实验效率。基于该平台可以定制各种实验环境,通过弹性分配计算资源,保障实验教学环境稳定运行。     

浅谈大数据背景下的高中化学实验教学

大数据技术在化学实验教学中的应用,可有效提高化学实验的教学效率,促进高中化学教学质量的提升。基于此,本文结合大数据技术的应用优势,以高中化学实验教学中的应用价值为切入点,阐述了高中化学实验教学中利用大数据技术的必要性,并对大数据背景下高中化学实验教学的应用策略进行了分析。旨在利用大数据技术促进高中化学实验教学质量的提升,从而为广大教师提供参考借鉴,促使其更好地开展高中化学实验教学工作。     

基于Hadoop的压力管道数据存储系统

为提高压力管道数据存储性能，改善数据存储效率，增强压力管道后期的可维护性，构建一种基于Hadoop的压力管道数据存储系统.该系统利用HDFS分布式存储框架建立压力管道数据的存储模型，采用MapReduce对压力管道海量数据进行分析和处理，从而完成数据写入HBase数据库的低延迟响应.在实验中，采用压力管道数据对MySQL、Oracle、Spark SQL、MongoDB和Rasdaman进行性能对比.结果表明，在相同数据量的情况下，系统运行时间更短，占用内存更少，其在存储压力管道海量数据方面具有较好的优越性.     

基于Spark云计算技术的Linux实验教学研究

在云计算背景下,一方面,大多数云计算服务器都采用Linux系统,另一方面,Spark、Docker等与云计算相关的技术也高度依赖Linux,这使得Linux课程的重要性越来越突出。传统的Linux课程主要的教学对象是计算机科学与技术专业学生和网络工程专业学生,虽然目前这两个专业教学侧重点不同,但都不是针对云计算。为解决该问题,作者对基于Spark云计算技术的Linux实验教学从实验内容和方法等方面进行了初步的探索,提出了以实际问题为导向的实验教学模式。从实际出发融合云计算技术特点和学生就业所需技能,设计教学实验,激发学生学习热情,使学生的学习能力得到提升。     

基于技术创新的医学机能学实验改革

针对医学机能学实验教学改革,新开了具有融合性、创新性实验内容的《机能学融合实验》课,并在药理学、生理学、病理生理学实验课中开展了大量研究性、创新性实验项目。随着改革的深入,无论是实验技术、实验教学环境还是融合性、创新性实验教材建设都远远跟不上实验教学改革的步伐。为此,从实验技术创新、实验教材建设和构建全新实验教学环境三方面入手对实验教学方法、手段和实验教学环境进行了大力度的创造性改革。构建了一个全新的、资源丰富与共享的、互动的实验教学环境;形成了医学机能实验技术大面积优化和系列化改革;建设了与新开课程同步建设、同步发展的立体化机能学创新性融合性实验教材和系列化多媒体视频教材。通过改革,不仅实验教学效果、教学质量、教学效益得到了显著提高,实验教学管理得到了规范,还在实验室形成了一支重视实验教学,热心实验教学改革的创新团队。     

基于嵌入式系统Matlab代码生成的电机控制技术课程教学改革

现阶段的电机控制课程实验教学内容单一,难以达到实验教学目标。基于自动代码生成和硬件封装技术,构建了电机智能控制嵌入式系统实验开发平台,并将其应用到电机控制课程的实验教学中,丰富了实验教学内容,提高了实验效率,为实验教学提供了便利,符合新工科建设的要求,有助于培养出具有自主创新能力的高等教育人才。     

基于云计算的计算机实验教学研究

介绍云计算的技术特点,基于云计算技术构建学院公共机房实验环境,探讨其在《计算机应用技术基础》课程实验中的具体应用,总结优点和对《计算机应用技术基础》课程的实验教学意义。     

网络安全教学中开展基于SNORT的入侵检测实验研究

在计算机网络安全课程教学中,入侵检测技术实验因为条件限制,难以进行有效的实验教学。根据教学中的实际,在Windows环境下,利用开源软件SNORT和BASE,构建实际的入侵检测系统;并设置相应的实验环节,解决了这个问题,促进了入侵检测系统实验教学的开展。     

一种计算机硬件类课程实验教学方法

在分析计算机硬件类课程的实验教学现状和教学需求基础上,结合先进的计算机技术和教学手段,提出了一种普适于计算机硬件类课程实验的RSIE-SPOC教学方法。该方法基于SPOC教学理念,采用远程可交互式硬件实验板卡为学生提供"充分实践"的机会,采用经典"四步法"设计实验课堂教学,借助于实验教学管理云平台和PBL方法开展课堂教学活动并进行成绩评定。该方法能够有效预防抄袭,促进课堂讨论,使成绩与学习效果呈现更好的一致性,从而获得更好的教学效果,该方法也有助于采集和积累实验过程中产生的数据,为大数据平台处理实验数据打下基础。