海量数据处理方法研究

采用传统分布式数据库架构存储和管理海量数据,效率不高且系统的存储能力受制于所依赖的数据库管理系统的能力.Hadoop作为一种开源的架构,适合在廉价机器上对各种资源数据进行分布式存储和分布式管理,具有可伸缩性和高容错性.本文在研究开源框架Hadoop的基础上,提出了基于Hadoop的海量数据处理模型,并在不同数量的Datanode的情况下对副本系数与块大小对HDFS的I/O性能的影响进行测试,试验结果表明,提供的模型较高效率地实现了对大数据量的日志的快速预处理.     

基于HDFS的教学资源云存储平台设计

基于HDFS技术,设计了教学资源云存储平台。提出了平台的总体架构,对HDFS提供的平台技术支撑进行了详细分析,给出了平台基础架构,分析了基础架构各层次的实现内容,用于解决分布、异构、海量、多模式的教学资源集成、整合及共享问题。     

基于 Hadoop 平台的海量文件存储策略研究

针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性.     

物联网海量异构传感器采样数据存储与查询处理

物联网中的数据具有海量、异构性的特点,数据存储关系到数据共享、数据查询等后续工作,对存储方式的研究一直备受关注。在介绍存储策略和查询技术的基础上,着重探讨查询算法,为海量异构传感采样数据存储提供可参考的解决方案。     

基于Hadoop的压力管道数据存储系统

为提高压力管道数据存储性能，改善数据存储效率，增强压力管道后期的可维护性，构建一种基于Hadoop的压力管道数据存储系统.该系统利用HDFS分布式存储框架建立压力管道数据的存储模型，采用MapReduce对压力管道海量数据进行分析和处理，从而完成数据写入HBase数据库的低延迟响应.在实验中，采用压力管道数据对MySQL、Oracle、Spark SQL、MongoDB和Rasdaman进行性能对比.结果表明，在相同数据量的情况下，系统运行时间更短，占用内存更少，其在存储压力管道海量数据方面具有较好的优越性.     

大数据时代网络学习环境的数据融合

当前各网络学习系统和资源库之间存在着信息孤岛现象.文章以大数据时代为背景,首先认为造成这种现象的原因主要包括数据的多源异构性和新兴网络技术的应用,如系统的异构,模式的异构和物联网技术等.为了解决这个问题,必须构建异构数据共享系统,该系统包括应用层、数据服务层和数据层.与此相关的关键技术应该具备完成海量数据的存储和海量数据运算的功能.其主要解决策略是从非结构化数据库入手解决异构数据融合问题,其中具有代表性的就是noSQL技术,它具有易扩展、高性能、数据模型灵活等特点.在此基础上,通过数据的表示及格式转换、数据互操作和直接数据访问模式等方式,完成异构数据的集成,最终实现网络学习环境之间“直通车”目的.总之,该论文对网络学习环境中的异构数据和集成进行初步的探讨,希望对今后的相关研究起到抛砖引玉的作用.     

数字化教学资源存储方案设计

教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件和小文件资源的存储方案,并在教学实践中分别分析了其文件传输速率,证实了存储方案设计的可用性。     

Hadoop分布式文件系统原理

Hadoop分布式文件系统在大规模存储和访问中具有广阔的应用空间。从基本概念、基本结构、元数据管理、数据存储、文件管理、数据容错6个方面对HDFS的实现原理进行了探究,可为HDFS应用研究奠定基础。     

教育资源服务下海量云存储优化机制的研究

目前教育资源的数据量以爆发式增长,导致教育资源服务面临着海量数据管理困难、数据存储成本高、响应速度慢等难题。本文尝试从教育资源数据访问特性的角度出发,采用基于模糊c均值的聚类算法,建构相应的教育云存储的副本管理策略,以此来优化云存储的存储机制,从而提高教育资源的服务效率与质量。     

高职院校教育资源云平台的数据存储研究

文章分析了高职院校教育资源的现状和面临的问题,介绍了云存储的结构模型和优势,提出了一种基于云存储的数据存储方案.该方案采用Hadoop云平台,将HDFS与现有高职院校教育云平台相结合,有效解决了教育资源云平台上海量数据的存储问题.     

教育资源服务下海量云存储优化机制的研究

目前教育资源的数据量以爆发式增长,导致教育资源服务面临着海量数据管理困难、数据存储成本高、响应速度慢等难题.本文尝试从教育资源数据访问特性的角度出发,采用基于模糊c均值的聚类算法,建构相应的教育云存储的副本管理策略,以此来优化云存储的存储机制,从而提高教育资源的服务效率与质量.     

网上评卷海量图像数据云存储技术应用探析

针对目前国家教育考试网上评卷海量图像文件的存储管理问题,本文提出基于Hadoop的No Sq L云存储方案,提高评卷海量数据安全性和存储可靠性,构建分布式、可扩展、高可用性和可靠性的云存储平台。通过分析基于Hadoop平台云计算体系和基于HDFS/HBase的云存储技术,结合网上评卷海量图像文件的存储需求和实际,规划基于Hadoop/HDFS/HBase的国家教育考试云存储中心的数据交换平台,并对在国家教育考试中深入应用此平台给出设计方案,提出发展愿景。     

基于Hadoop的WEB日志分析系统设计

针对Apache web服务器集群产生的海量日志记录进行数据分析,使用Flume-ng从web服务器集群收集日志文件,利用Hadoop云平台的HDFS进行分布式日志数据存储,以MapReduce为日志数据分析编程框架,设计实现了一个web日志分析系统,论文阐述了系统的结构、设计思想和实现方法。     

基于多主机集群方式和SAN的“高考网上评卷系统”的实现

本文以多主机集群方式和存储区域网SAN为基础,探索多并发用户大数据传输量、大容量文件系统共享存储的应用,提出网上评卷系统的网络应用与数据库存储方案。这一方案能有效地管理存储开销,整合储存设备资源,全面增强数据访问的效率和数据访问的安全性能,适应网上评卷系统等大并发访问与海量存储的需要。     

基于多主机集群方式和SAN的“高考网上评卷系统”的实现

本文以多主机集群方式和存储区域网SAN为基础。探索多并发用户大数据传输量、大容量文件系统共享存储的应用，提出网上评卷系统的网络应用与数据库存储方案。这一方案能有效地管理存储开销，整合储存设备资源，全面增强数据访问的效率和数据访问的安全性能。适应网上评卷系统等大并发访问与海量存储的需要。     

工业物联网大数据服务平台的研究与应用——以机械制造行业为例

随着工业物联网技术的快速发展,工业生产中数据呈现重要变化,传统的数据处理和存储方法不再适用.以机械制造行业为例,通过传感器和数控系统的通信协议等采集机械生产数据,针对这些数据具有海量异构多源等特性,进行了工业物联网大数据服务平台的研究和设计.该服务平台实现了对机械生产数据的监测、处理、存储和可视化,以及设备能效分析和数...     

综合论文训练管理系统中海量数据上载的设计与实现

清华大学综合论文训练管理系统面向本科生教学,通过基于B/S的海量数据上载方法实现了电子论文的提交和审核.海量数据上载采用Hibernate的大数据字段访问、文件缓存的海量数据传输、大文件传输的并发访问控制和Oracle数据库的海量数据存储等关键技术,解决了传统海量数据上载在存储、断点续传、网络传输、并发控制等多方面的不足,在清华大学的实践中获得了良好的应用.     

基于GT4的网格文件系统的设计与实现

针对异构网格环境下文件共享的需求,基于网格中间件Globus Toolkit,建立异构网格环境下文件传输与副本定位模型．制定副本的创建及选择策略。使用Globus的副本定位服务、可靠文件传输服务对模型进行基于WEB的Portal实现,能够显示网格中的共享／私有文件列表,实现资源的上传、下载、检索、删除等操作。     

基于本体论的多源异构数据集成方法研究

大数据时代信息呈指数级爆炸式增长,不同的数据采集、处理和存储方式使得这些海量数据具有来源复杂、结构异构的特点,难以共享和互操作。传统的数据集成方式已经不能适应企业获取信息、使用信息需求。为解决多源异构的数据集成效率和质量问题,基于本体论概念和语言,借鉴本体识别和表达方式,设计了一种领域内表达数据属性与关系的元模型。基于该元模型,对领域内数据建立相应的模型并形成规则,规范和约束了多源异构数据集成过程和质量,提高了数据集成的效率和数据利用率。     

基于稀疏度均衡调度的数据库优化访问技术

通过对Web大数据库的访问,提高数据库的查询和信息调度能力。传统方法采用基于信息流减法聚类和模糊C均值调度的数据库访问算法,对数据库访问过程中的稀疏度均衡能力不好。提出一种基于稀疏度均衡调度的数据库优化访问算法,分析了数据库中海量数据存储结构模型,进行数据融合和冗余信息滤除处理。采用稀疏度均衡调度方法进行特征提取和数据库访问过程中的均衡调度,提高数据查准率。仿真结果表明,利用该算法进行数据库访问的均衡性能较好,数据的查准率和查全率较高。