智慧校园环境下——云架构与大数据处理模式的研究

本文介绍了云架构与大数据处理模式在大学校园的运用与研究.以福州外语外贸学院智慧校园建设为例,应用云架构和大数据关键技术,建设智慧校园的服务平台.研究校园网中云架构服务模式的建设及大数据处理模式,应用大数据服务平台为教师、学生和管理者实现真正的智慧化校园环境,提升高校服务能力.     

大数据的时代背景、系统实现及关键技术解析

从IT基本常识出发对大数据的时代背景、系统实现及关键技术做一简单梳理与解析.大数据是超出了传统数据库管理工具抓取、存储、管理和分析能力的数据群.大数据存储与处理的危机推动着大数据处理技术的飞速发展,大数据采集、处理、存储、分析的系统实现方案日渐成熟. MapReduce应用于大数据处理的各个环节,是大数据处理的关键技术.     

基于Hadoop平台的大数据可视化分析实现与应用

针对大数据可视化需求,基于网络公开的用户行为大数据(部分数据可以借助网络爬虫等算法自主抓取),依托Hadoop开源大数据处理平台,利用JavaWeb中的编程框架,辅助以各种可视化工具,设计实现了大数据的可视化分析及应用.在完成大数据可视化处理操作的同时,实现了多源多类大数据的可视化分析与展示.通过实验分析,能够实现不同大数据应用领域的可视化数据分析,为用户提供便捷、有效的大数据处理与应用业务.     

大数据处理框架现状分析

目前主流的数据处理框架有:批处理框架、流式处理和多框架混合处理系统.批处理框架擅长处理数据量大的静态数据,流式处理框架适合实时数据的处理,而多框架混合处理系统可以兼顾两者.批处理框架较其他数据处理框架成熟,选择也固定,但流式处理框架和多框架混合处理系统的种类都较多,需要根据应用场景以及自身特点对比进行选择.随着时代的发展,最终大数据处理框架的发展趋势为多框架混合处理系统.     

利用Gnuplot处理红外测温实验数据

近代物理实验的数据处理是一个学生感觉比较困难的问题,特别是对于数据量比较大、又需要曲线拟合的实验项目.结合近代物理实验中的红外测温实验的数据处理问题,利用开源软件Gnuplot进行了数据的分析和绘图.相对于其他的数据处理工具,Gnuplot具有免费、小巧便捷、功能强大等特点,在近代物理实验教学中做适当推广具有一定的实际意义.     

基于Hadoop技术的数字化校园海量数据存储系统研究与设计

基于Hadoop技术开发了数字化校园海量数据存储系统,提出了基于Hadoop的大数据存储模型。将整个系统设计为系统管理、业务应用、数据处理、数据采集等4个大模块,采用开源分布式数据处理框架,高效处理海量数据。系统具有可伸缩性、高可靠性、低成本和高效性等优点,解决了传统数据处理成本高、数据管理困难、可靠性低、效率低、并行处理程序编写困难等诸多问题。     

高校学生思想及行为测量预测理论模型研究

为掌握学生思想和行为特点,通过文献评阅和专家咨询明确了相关影响因素和关键流程要素,借鉴大数据处理技术,形成了可用于测量和预测高校学生思想特点和行为规律的理论模型.     

云平台动态弹性扩展关键技术研究

根据实时交通大数据处理的具体需求,提出实时交通大数据处理云平台的逻辑体系结构,分别从IaaS层、中间件层以及应用层探讨实现云平台动态弹性扩展的关键技术以及仍有待解决的关键问题。并搭建实时交通大数据处理云平台的原型系统,提出实时交通大数据处理云平台资源调度策略。实验结果表明云平台的动态弹性扩展特性可满足实时交通大数据处理的性能需求。     

大数据算法库教学实验平台设计与实现

为使学生能够亲身体验大数据研究及实践流程,并改进传统数据分析课程相对陈旧的实验内容,文章以该校大数据研究所的研究成果为基础,为学生构建了基于Hadoop的大数据算法库教学实验平台。该平台适用于数据高并发场景,能够适应复杂大数据处理及计算需求。并在平台基础上实现了土地大数据教学案例,通过友好的界面化操作,为学生提供了一套全生命周期的大数据处理解决方案。     

利用VB编程实现弦的振动实验的数据处理

物理实验的数据处理是实验教学中的重要一环,但有些实验的数据数学计算公式繁杂,数据处理计算量大,耗费了学生大量的时间。为此,利用Visual Basic编制了大学物理实验的数据处理软件,弦的振动实验是其中之一。     

解析大数据

随着云计算、物联网、社交网络的快速发展,数据呈爆炸式增长,数据量的规模巨大、数据间关系更加复杂,数据从原来简单的处理对象提升为一种基础性资源.同时,大数据也在一定程度上打破了传统的数据处理过程,促使现代数据管理方式发生了相当大的变化.大数据技术也为我们在分析和解决问题的过程中提供了新的解题思路和方法,逐渐成为当下研究的热点.在阐述大数据的一些概念、特征和应用后,研究了大数据与云计算之间的内在关系以及大数据的基本架构,最后重点归纳了大数据时代所面临的挑战.     

MATLAB语言在高分子化学教学实践中的应用

以数据处理、曲线绘制和直线拟合为例,讨论了MATLAB语言在高分子化学教学实践中的应用.结果表明,MATLAB语言简化了数据处理计算过程,提高了准确率,使曲线绘制和直线拟合更加方便快捷.     

基于移动通信大数据的流动人口统计中Hadoop的应用研究

根据移动通信客户的来话与去话等话务信息,结合客户身份证件资料,可以对特定区域人口的流入、流出情况以及流动类型进行分析及统计,为当地政府决策提供信息服务。鉴于移动通信数据源多样化、数据量大、数据增长快速等大数据处理问题,采用并行分布处理大数据的Hadoop技术,构建基于Hadoop的移动通信大数据处理框架,并通过设计ODS DWD DW三层数据处理、并行ETL和冗余删除以及分布式MySQL集群的查询代理层,满足移动通信大数据的数据载入、分布式存储和查询等用途的高效处理要求。     

基于OpenStack Sahara集群的高可用性的设计与实现

针对目前大数据处理环境成本高,存在点单故障等问题,使用Open Stack Sahara可以将云计算与大数据结合起来.设计出一种基于Open Stack Sahara集群的高可用性方案,验证结果显示,该方案解决了单点故障问题,实现了自动故障切换,保证了集群的高可用性,从而提高了Sahara集群的性能.     

基于CATIA数字编辑器实现逆向工程的数据处理

介绍了基于CATIA数字编辑器的逆向工程数据处理方法.以产品为例,对工业造型领域中从实体零件三维扫描测量输出点位数据,利用软件对数据处理过滤,最后建立曲面曲线以供CAD软件调用建模等一整套方法进行了探讨.     

浅析大数据背景下大学英语教师专业发展路径

大数据的概念最初起源于计算机互联网领域,大数据的产生背景就是由于人们对于网络日渐了解,从各种网络行为中生成的一种全新网络概念,大数据的概念在现阶段受到相关部门、企业的集中采集,也能够包含数据生产者其中的真实意图、喜好以及各种资料信息,并不是单纯地进行结构以及意义的数据模式.这样的数据处理形式需要全新的数据处理方法,在这样的前提下将数据内容既定的决策力、洞察力以及流程力进行更加广泛地展现,是一种全新的多样性数据信息资产.在现有的英语教学专业发展中,大数据的内容也有针对性的内容融合,从大数据的角度对大学英语教师以团队为核心的角度进行更好的发展推进,基于大学英语教学的大数据整体环境、主体以及培养对象来说进行发展思维的全面落实,为大学英语教师专业构建一个稳定的发展前景.该文就大数据背景下大学英语教师专业发展路径进行分析和讨论.     

高中生数据处理能力现状调查及教学启示

“数据处理能力”是《普通高中数学课程标准(实验)》要求的七大能力之一,也是高中统计教学的首要目标.为了了解高中生数据处理能力现状,利用自编的“数据处理能力”测试卷对高中生进行测试,得出如下结论:大部分高中生的数据处理能力已达到了课标的要求;水平较高中学与水平一般中学学生的数据处理能力不存在显著性差异,但文、理科学生数据处理能力存在显著性差异;高中生数据处理能力与其数学成绩之间存在显著正相关.     

大数据时代数据处理规范研究

大数据时代,每一个行为每一个事件都可以量化为数据信息,这些数据信息聚合在一起形成大数据,当前大数据已经应用于社会生活的方方面面,但是大数据在为人们的生活提供便利服务的同时也暴露出了诸多社会问题甚至是法律问题,如何对大数据进行规范成为当前的重点和难点。大数据的内涵和特征能够表明,大数据的生命力在于集中数据信息之后的数据分析,也正是在这一过程中容易滋生法律问题,在此基础上找出大数据时代在数据处理过程中容易发生的法律问题是什么,并分析背后的原因,以期找到规范数据处理过程的路径。     

基于城市大数据的城乡规划专业课程思考

精细化和理性化设计已成为城乡规划设计的趋势,大数据分析技术是城乡规划专业学生量化分析能力的重要构成和体现。城市大数据主要包括环境大数据和行为大数据。按照研究尺度,城市大数据的应用分为区域、总规、控规和街道设计4个层面。依据各类城市大数据特征和应用场景,城市大数据课程划分为理论教学、数据处理和综合实践训练3个模块,分别对应原理背景、软件技术、实践操作的能力提升。理论教学模块主要介绍最新前沿理念以及大数据原理、模式、类型等;数据处理模块主要培养学生的数据挖掘技术、数据处理和清洗校验技术、数据分析能力、数据可视化能力;综合实践训练模块指选取不同的研究课题和应用场景,进行大数据技术的应用实践。     

标准击实试验数据处理方法研究

传统的击实试验数据处理采用作图法,难于定量对比分析,以残差最小为标准,结合Excel和Matlab软件,找到了最佳含水率与最大干密度的合理的拟合多项式的解析式.通过分析几种击实试验数据处理方法的优劣,在此基础上提出了用Matlab实现数据处理的方法,并用实例说明用Matlab实现数据处理的方法简便,易操作,精度高适宜推广应用.