基于Hadoop平台的高职数字图书馆云存储系统探析

分析了高职图书馆存储现状并介绍了Hadoop技术,针对高职图书馆的海量数据存储问题和投入少的矛盾,设计了基于Hadoop平台的高职数字图书馆云存储的结构模型,并通过实验验证了设计方案的可行性。     

基于Hadoop的图书馆复合大数据存储系统研究

Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。     

高校网络日志大数据分析平台的研究

为解决海量日志数据的存储分析问题,提出采用主流大数据Hadoop生态平台组件来进行解决以上问题;将大数据技术与高校网络日志数据存储与分析相融合,构建了一个基于大数据技术—Hadoop的校园网络日志分析平台,来进行实时监控高校学生的上网行为信息,进而辅助高校的教学管理,对高校的信息化改革具有重要意义。     

基于大数据分析的文本智能识别系统的研究

根据软件工程的基本原理在Ubuntu操作系统环境下使用Eclipse开发工具,设计并实现了基于Hadoop系统架构的NaiveBayes算法文本分类系统。系统将大量中文文本数据集存储在分布式文件系统HDFS上,通过MapReduce并行计算模型和Ansj中文分词库对中文数据集进行分词,采用TF-IDF算法进行文本特征抽取,最后基于Spark并行计算框架和NaiveBayes算法对特征数据集进行模型训练,得到文本分类模型,将文本分类服务集成到Web页面。系统基本实现了文本的正确分类。     

基于最大熵功率谱估计的Hadoop高速数据访问

提出一种基于最大熵功率谱估计的Hadoop云平台下网络音视频数据特征挖掘方法,实现对数据信息的高速访问。构建数据挖掘Hadoop云平台和数据挖掘访问模型,设计最大熵功率谱特征提取算法,采用分段思想将同一时间段的视音频数据进行群体分割,分段提取最大熵功率谱特征。将提取的特征信息进行维度匹配分箱和溯源处理,实现信息恢复,最终完成高速数据访问。仿真测试表明,该算法能有效地实现对网络音视频数据的特征挖掘,提高访问效率,访问响应时间较当前方法缩短明显。     

Petri网下基于结构进化的电商虚拟机数据访问

在Petri网下构建电商虚拟机离散并行系统,海量的电子商务信息数据以云存储方式寄存在虚拟机离散并行系统中,需要对数据进行准确访问,提高电商数据调度能力。提出一种基于结构进化的Petri网下电商虚拟机数据访问方法,构建Petri网下电商虚拟机数据库模型,进行电商虚拟机数据的信号模型构建的特征信息分析,设计基于结构进化的改进的遗传算法,采用多窗谱特征提取分析电商虚拟机数据访问过程中的数据偏移,通过结构进化控制数据访问过程中的指向性分布差异,实现对电商虚拟机数据访问算法改进。仿真结果表明,采用该算法能有效实现电商虚拟机数据访问幅度特征提取,在不同虚警干扰下对Petri网下的电商虚拟机数据进行访问的数据准确检测概率较高,数据访问抗干扰能力强。     

大数据在危废运输车辆GPS监控中的应用

本文提出了将HBase应用于存储危废运输车辆监控大数据的方案,本文通过将该技术应用在危废运输车辆监控系统中的实现过程,并对系统做了测试分析方法,论证了基于HBase构建在Hadoop的HDFS之上,实现对海量数据随机、实时的访问;基于HDFS分布式文件系统,数据库不用再去考虑分布式的问题,能够存储(压缩与扩展)和管理海量数据。得出了HBase应用于车辆监控系统有很高的吞吐率,并且具有很好的扩展性。     

公共安全大数据平台的研究与设计

本文主要针对公共安全领域快速增长的海量数据处理需求,介绍了当前主流的大数据应用平台Hadoop框架,结合公安业务分析了Hadoop框架优势与应用场景,提出了公安大数据平台的建设思路以及RDBMS与Hadoop框架相结合的混合软件体系架构,从而兼顾海量数据的存储处理与OLTP的高实时性需求。     

基于Hadoop的海量电能质量监测数据分析平台研究

随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。     

基于云计算架构的西藏生态数据聚类分析算法研究

文章通过分析传统的空间聚类算法以及新发展的聚类分析方法,最终选K-means算法进行研究。基于Hadoop平台,采用HDFS(分布式文件系统)存储数据,结合MapReduce编程模式,对K-means算法进行设计以及编程实现,最后实现了该算法在Hadoop平台上的并行化。通过实验,验证了K-means算法部署在Hadoop集群上并行化运行,在处理空间数据时,该算法有效地减少了时间复杂度,大大提高了实施效率和结果的准确性。     

云计算数据中心虚拟化资源的访问权限控制方法

面对云计算环境中海量数据资源,文中提出基于分类分级数据的属性访问权限控制改进方法。根据分类分级特性描述数据从属类别,将大类别划分为多个子类别集合,形成层层分类的树形拓扑分类关系结构,依据数据分类范畴集和安全级别确定数据资源访问模式。基于分类分层访问控制方式,在数据属主提供隐私数据时,将数据资源进行加密并设定密文长度上传至云端存储,在域权威提供给用户授权私钥中含有属性集符合上述访问模式时可解密文件,从而实现数据访问权限控制过程。实验表明,运用文中方法可实现云环境下数据资源安全访问目的。     

大数据下基于MapReduce的Dirichlet朴素贝叶斯文本分类算法

针对当前大数据环境下朴素贝叶斯文本分类算法在处理文本分类时存在的数据稀疏、分类不准及效率低的问题,本文提出了一种基于MapReduce的Dirichlet朴素贝叶斯文本分类算法。算法首先根据体征词语义因素以及类内分布情况对权重进行加权调整,以此对的计算公式进行修正;引入了统计语言建模技术中的Dirichlet数据平滑方法来降低数据稀疏对分类性能的影响,并在Hadoop云计算平台采用MapReduce编程模型实现本文算法的并行化。通过测试实验对比分析可知,本文算法显著提高了传统朴素贝叶斯文本分类算法的准确率、召回率,并具有优良的可扩展性和大数据处理能力。     

面向Hadoop的自适应权限控制方案

Hadoop是Apache旗下的开源云计算平台,它通过普通计算机集群的分布式计算实现了对海量数据可靠和高效地处理。随着Hadoop成为当今大数据时代不可缺少的重要工具,更多的企业将机密信息部署在Hadoop云平台上以便完成业务需求,导致Hadoop安全成为了不可忽视的问题。在诸多信息安全新兴技术中,访问控制是最基本也是最核心的一部分,本文通过构建基于用户历史行为和系统安全属性规则的用户画像,并设计相应的属性规则映射算法及用户状态动态评价模型,提出了一种面向Hadoop的自适应权限控制方案,能够实现用户权限的动态调控,从而更加有效保证用户在大数据时代下的信息安全。     

基于Hadoop计算平台的研究与应用

随着科技的不断发展,科研的不断深入,科研实验的流程日异复杂,实验产生的数据巨大,对实验数据如何进行处理,获得正确的分析结果,成为亟待解决的问题。基于Hadoop的计算平台不但可以解决海量实验数据的存储处理问题,还具有较高的效率与准确性。     

基于分布式B树编译的高效并发访问控制算法

在云计算环境中,根据数据的海量性和分布性特点,需要对云存储数据库进行访问控制。传统的访问控制算法采用散点信任评估的访问控制算法,融合云存储安全评估图进行均匀分布,当云存储节点分裂时导致数据访问性能不好。提出一种基于分布式B树编译的高效并发访问控制算法,根据访问服务器的数量,计算B树的高度和精度边界,查找缓冲的内部节点构成的B树,具有相同属性个数的边缘概念处于同一层,由此进行并发控制数据分类,对于包含有多个属性的类别,将其中的多个属性合并成一个属性,实现对云存储系统的高效并发访问控制。仿真实验表明,采用该算法,具有较小的CPU负载,明显提高了分布式B树的访问效率,并发访问控制精度较高,减轻服务器开销,提高数据访问能力,优化存储性能。     

基于二叉树偏码匿名乱序的云平台协同计算研究

针对传统的云平台协同计算中,顺序数据存取过程安全性差的问题。提出一种基于二叉树偏码匿名乱序的云平台协同计算方法。建立匿名乱序的云平台访问模型,对用户数据进行加密,构建访问权限控制系统,将用户数据与用户信息分离;利用二叉树偏码匿名乱序的方法对用户数据进行存储,在云平台中,用户通过签名密钥实现用数据的控制,云平台只负责数据的存储,从而保证了用户隐私的安全。仿真实验结果表明,改进算法能够保证用户的信息安全,从而提高了云平台计算的服务质量。     

基于模糊核递归计算的海量Web数据访问优化算法

Web数据的访问一直是当前研究的热门话题。随着网络规模的扩大,海量Web数据访问受到了很大限制,高纬度的数据会大幅的打乱数据知识模式规则,数据可视化结构不能满足算法知识发展的要求,导致海量Web数据访问耗时。为此提出一种基于模糊核递归计算的海量Web数据访问优化算法。计算数据模糊核特征,利用隶属度函数表示模糊特征的归属,利用模糊核递归判别从这些海量数据中发现有用知识包括模式规则、可视化结构。实验表明,该方法能够较好地完成海量Web数据的优化方法,时间复杂度大幅降低。     

基于Hadoop的数字化校园设计与实现

高校是进行教学与科研的场所,随着云计算技术的发展,如何管理和利用产生的海量数据已成为当前研究的热点。设计了一个基于Hadoop云计算平台的数字化校园,其由4层体系构建,对该系统从结构、功能等方面进行了设计与分析。     

远程教育中云存储机制下图像数据分类模型优化设计

远程教育中云存储机制下存有海量图像数据,在海量数据中存在大量与需要检索的特定图像特征相近的冗余图像,传统的基于图像特征的分类方法,由于关键帧准确性较低,造成图像分类不准确,导致远程教育中图像数据的检索准确性较低。为此,提出基于关联规则挖掘算法的图像数据优化分类方法。对可能是冗余的图像数据进行微调,使待检索图像关键帧处于准确的变化区间内,利用图像校验方法,消除冗余图像,对校验结果进行二次检验,降低了建立图像数据特征关联的偏差,实现了对图像数据的准确分类。实验结果表明,利用该方法能够对远程教育中云存储机制下的图像数据进行准确检索。     

大数据环境下网络主动入侵海量数据的检测方法研究

提出基于半监督混合模型的海量入侵数据检测方法。利用蚁群算法进行入侵数据的特征选择,在结合半监督的混合模型分类方法进行入侵数据的分类,利用混合模型对数据样本空间的聚类分布进行描述,利用数据函数将聚类的信息与分类算法相结合,进行数据分类时对没有标示的数据样本进行考虑,对入侵数据进行检测。克服传统方法存在的弊端,提高了分类器的泛化能力,保证数据分类的效果,提高了入侵数据检测的准确性,完成对大数据环境下网络主动入侵海量数据检测的研究。实验的结果表明,利用本文方法能有效地提高入侵数据检测的准确性。