基于Spark的云计算平台在实验室的应用与实现

随着数据挖掘逐渐被应用到金融、娱乐、商业和医疗等多个行业,近年来涌现出各种用于处理海量数据的数据处理引擎,如MapReduce、Spark等。为了使高校实验室更深入地进行数据挖掘领域的理论研究,简要阐述分析了Spark技术及HDFS的概念与基本原理,详细介绍了基于Spark的云计算平台配置方法和实现过程,并对平台搭建过程中遇到的问题进行总结。实验结果证明,该平台能够有效完成分布式数据处理任务。     

大数据技术在电力系统负荷预测中的应用进展

介绍了大数据技术在电力系统负荷预测中的应用,研究了电力负荷预测的方法、大数据在电力系统负荷预测的应用领域及其关键技术。通过阐述电力系统负荷预测的2种常见方式,对比了现有的3种电力负荷预测的方法,体现了智能预测方法在非线性处理领域的优势。在电力系统负荷预测的应用领域,电力大数据涉及集成管理、数据分析、数据处理与数据展示等关键技术。引入大数据技术来完成电力系统负荷预测,能够有效增加预测精度与速度,有助于稳定性与经济性的提升。     

面向流计算的GPU存储资源动态分配技术

针对流处理计算模式中的任务分配不平衡问题,提出一种资源动态分配的硬件调度机制。该机制通过实时监测各个任务的计算量,动态地调节分配各个任务的计算资源,提髙不规则任务的计算资源利用率,并且利用任务间数据流动的特性优化了缓存设计。与现有GPU的成熟调度算法相比,该调度算法能使系统性能获得明显提升。     

大数据时代高校云资源应用

大数据是近年来IT界广泛关注的焦点,在数据量庞大、种类繁多、信息多样化的大数据背景下,高校教学服务和数据利用方式将发生显著的变化,并因此带来新的机会。云计算和大数据技术的完美结合,使得高校可以对其数据资源采取完全数据筛选的方式来进行分析、挖掘隐藏在数据背后的规律,对未来进行预测,以便教师、学生和管理者改变自己的教学、学习和管理决策,最终真正实现学生做到心中有数的学习。     

面向GPU应用的自适应采样距离场快速计算方法

针对加速GPU处理大规模三角网络模型,提出一种新颖的自适应采样距离场算法。基于多层Hash表处理体素化过程中生成的Voxel/Triangle二元组,简化通用八叉树结构提高距离场采样点生成效率,获得了很好的显存存取和采样性能。通过在NVIDIA GTX480 GPU中针对8类图形进行实验数据验证,根据交互式性能要求,所提出的新型算法可以应对几十万级的三角网格模型和5123分辨率的处理要求。     

大数据时代数学知识的全面应用探索

数学知识在大数据中,在数据的处理以及挖掘上是十分重要的。本文将分析大数据与数学知识的关联性与在大数据时代实现数学知识全面应用的重要性,来探讨在大数据时代中数学知识的应用,以此充分发挥数学知识在大数据时代的作用。     

基于预测的Spark动态资源分配策略

分布式内存计算平台Spark是海量数据处理领域的最新技术进展。动态资源分配下Spark可根据应用的负载情况动态地追增、关闭任务执行器。然而,关闭任务执行器会造成缓存数据丢失,导致不必要的重计算开销,该情况在Spark交互式数据查询应用中尤为常见。为尽量减少任务执行器关闭以提升查询效率,设计实现一种基于预测的Spark动态资源分配策略。该策略基于马尔科夫理论构建Spark交互式数据查询应用的非活跃期持续时间预测模型,并依据预测结果确定任务执行器的关闭时机。试验结果表明,相比既有的Spark动态资源分配策略,采用基于预测的资源分配策略可使Spark交互式数据查询效率平均提升59.34%。     

论大数据的现状及其发展研究

随着大数据时代的降临,计算、物联网、社交网络等新型服务促使人类社会的数据种类和规模逐渐扩大,数据量随之也愈来愈大。数据从简单的对象处理开始转变为一种基础性资源。大数据的存储和管理以及大数据的分析是一个很大的问题。本文主要针对大数据的现状、基本概念、关键技术、面临的困难和挑战、如何适应好"大数据"时代做了探讨以及大数据在毕业生就业的应用。     

基于城市大数据的城乡规划专业课程思考

精细化和理性化设计已成为城乡规划设计的趋势,大数据分析技术是城乡规划专业学生量化分析能力的重要构成和体现。城市大数据主要包括环境大数据和行为大数据。按照研究尺度,城市大数据的应用分为区域、总规、控规和街道设计4个层面。依据各类城市大数据特征和应用场景,城市大数据课程划分为理论教学、数据处理和综合实践训练3个模块,分别对应原理背景、软件技术、实践操作的能力提升。理论教学模块主要介绍最新前沿理念以及大数据原理、模式、类型等;数据处理模块主要培养学生的数据挖掘技术、数据处理和清洗校验技术、数据分析能力、数据可视化能力;综合实践训练模块指选取不同的研究课题和应用场景,进行大数据技术的应用实践。     

CPU与GPU的前世今生

GPU。即Graphic Processing Unit（图形处理器）,也就是我们平常说的显卡核心,它与CPU可以说是电脑中非常重要的核心部件。不过,在微型电脑刚出现的时候．是并没有“显卡”这个概念的。     

利用Docker容器技术构建大数据实验室

目前大数据人才培养在国内外高校开始普及,但大数据实验室的几种常用建设方法都存在着诸多问题。针对大数据实验环境的特点,提出一种利用Docker容器技术在单台普通计算机上构建Hadoop集群的方法,并详述了Hadoop镜像制作、Docker环境部署、容器运行、Hadoop集群测试、Eclipse开发环境配置、镜像迁移等实验室建设细节。实践表明,新方法无需额外购置设备,节省实验室资金,同时未增加机房维护工作量,提高机房可复用性,新方法实验教学效果良好,为高校的大数据实验室建设提供参考。     

大数据技术在邮政企业中的应用

物联网、云计算、移动互联网等信息技术促使数据类型和规模以前所未有的速度增长,大数据时代已经到来。如何更好地管理和利用大数据成为关注热点。介绍了大数据的基本概念及特点,对大数据处理的关键技术进行了分析研究,讨论了大数据技术在邮政企业中的应用前景。     

大数据融合技术的研究及典型应用

随着信息技术的迅猛发展,数据具有规模大、来源形式多样,跨平台、跨语言、跨结构等特征,如何使这些数据互相理解,实现数据的可利用价值面临着重大挑战.为解决这个问题,关键在于数据的融合.文章研究了资源组成与构建,数据通信的网络架构以及数据的抽取和集成,实现有价值的数据及大数据平台可以提供多种应用.     

大数据技术在高校英语教学中的应用研究

信息时代背景下,高校英语教育呈现出多元化特征,大数据技术能够在英语教育中发挥显著作用.文章分析大数据技术在高校英语教育中融合的可行性,探讨大数据技术在高校远程英语教育、英语课堂教学以及具体的英语教材、写作、考试中的应用效果,以改变传统的英语教育模式,推进英语信息化教学的快速发展,使高校英语教育在大数据技术的支持下,融入...     

大数据挖掘技术在计算机基础课程教学中的应用

应用数据挖掘技术对参加计算机基础课程的学生常规期末考试成绩进行挖掘分析,提取有价值的信息,寻找出教学中存在的问题,并利用粗糙集理论各个条件属性对决策属性影响力的不同,计算出各种题型对考试结果的重要性,进而确定影响学生考试成绩的重要知识点,从而指导教师有重点地研究分析下一步教学活动。应用实践表明,在计算机基础课程的常规考试中,利用大数据粗糙集理论属性重要性来分析判断学生所学的不同知识点对成绩影响的程度,结果与实际情况是吻合的。     

基于大数据的高校学生工作危机预警研究

凡事预则立,不预则废。大数据先天具有未来预测能力,可通过对学生信息的监测与汇集、征兆指标的识别与处理,从而预判危机发生的概率和危害程度,便于高校学工部门采取有效措施,防患于未然。为此,在高校数字化校园建设的基础上,建立基于大数据技术的科学、高效的学生工作危机预警系统具有重要的现实意义。     

基于 Spark 的分布式健康大数据分析系统设计与实现

随着各类医疗健康信息数量的增长,如何利用医疗健康大数据辅助临床诊疗和科研,已经成为各医疗科研机构普遍关注的问题。针对该问题,设计并实现了一种基于 Spark 的分布式健康大数据分析系统。系统采用大数据分析技术并基于随机森林模型,应用多个弱分类器将多个决策树获得的结果进行集成,基于该模型实现了睡眠质量预测,同时还研究了权重较高的影响因子。最终实验预测准确率达 96.84%。实验结果对于睡眠质量分析具有一定参考意义,且系统能够较好地满足健康大数据的分析处理需求。     

教育大数据的来源与采集技术

教育数据的全面、自然、动态、持续采集是构建教育大数据的基础性和先导性工作。业务的差异性直接导致教育数据来源更加多元、数据采集更加复杂。文章探讨了教育大数据的来源,认为教育大数据产生于各种教育实践活动,核心数据源头是"人"和"物";介绍了4大类、13种常见数据采集技术,包括物联感知类技术、视频录制类技术、图像识别类技术以及平台采集类技术,指出每类技术采集的数据范围和重点有所不同;总结了教育数据采集的注意事项:要提前规划设计,要有清晰的边界,要保持连续性和规范性,采集粒度要尽可能小,采集过程要符合伦理道德。     

大数据教育应用的限度

大数据助推教育变革,前景广阔,但并非万能,而是具有一定的边界和限度。对大数据教育应用的限度进行必要的反省,有利于大数据在教育领域的合理运用和发展。本体限度、认识限度、价值限度和伦理限度构成了大数据教育应用中的几个最基本的限度。本体限度是指教育大数据从本体意义上讲并不能等同于真实完整的教育世界;认识限度是指大数据作为认识教育的新视角存在一定的缺陷;价值限度是指教育大数据的工具性价值并不能涵盖教育自身的育人价值;伦理限度是指大数据应用于教育除了受制于技术自身的逻辑外,还必然受到伦理的规限。