云计算关键技术及基于Hadoop的云计算模型研究

云计算是在网格计算基础上新兴的计算模型,是互联网公司争相追逐的新技术。云计算作为一种商业计算模型,可以把任务分布在大量的计算机构成的资源池上。介绍了云计算的关键技术,这些技术包含虚拟机和计算模型等,还基于Hadoop对云计算模型进行了研究。     

云计算下Hadoop平台的搭建与实践

在这个信息飞速发展的时代,海量数据的增长过快,用户查询数据时对软硬件要求高,系统资源占用率高。采用云计算模式,SaaS(Software-as-a-Service,软件即服务),通过互联网的应用模式让多个用户来访问,云计算中心会统一管理数据。SaaS这种模式统一管理数据,成本低,效率高。本文采用SaaS(Software-as-a-Service,软件即服务)模式来搭建和测试云计算平台。     

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

基于Hadoop的数字化校园设计与实现

高校是进行教学与科研的场所,随着云计算技术的发展,如何管理和利用产生的海量数据已成为当前研究的热点。设计了一个基于Hadoop云计算平台的数字化校园,其由4层体系构建,对该系统从结构、功能等方面进行了设计与分析。     

基于Hadoop云计算技术的农业信息服务平台构建

目前,我国高度重视农业农村信息化发展,但现有的农业信息服务平台存在时效性弱、区域发展不平衡、服务水平低等问题。文章结合Hadoop云计算技术优势,设计了基于Hadoop云计算技术的农业信息服务平台的基础设施层、数据层、管理层及应用层4层平台架构,分别对各层架构功能进行了描述,总结平台所需功能服务,为农业信息服务平台的构建提供整体思路。     

近年来Hadoop国内研究进展

Hadoop作为著名开源云计算技术近年来得到广泛应用,研究成果快速增长。理论研究主要集中在任务调度、小文件优化、中间数据管理、功能扩展和安全性优化;应用研究主要涉及数据存储、数据分析、数据挖掘、搜索引擎以及信息安全领域。通过分析相关研究成果明确Hadoop近年来国内研究现状。     

云平台下大型矩阵乘法运算处理方案设计

本文在开源云计算平台Hadoop的基础上利用MapReduce和HDFS,针对大型矩阵相乘,并结合个人实际水平进行简单的开发应用。通过开发和研究,进一步探讨云计算关键技术MapReduce对于海量数据处理的意义。     

Hadoop的核心技术研究或概述

HDFS;肯容错性好、传输效率高等优点。MapReduce对数据采用海量处理的方式。文章根据笔者对HDFS和MapReduce的理解发表一些自己的看法。     

云计算架构在银行批处理流程优化中的应用研究

银行业在实现业务和数据集中处理的信息化架构后,随着业务的发展,面对数量越来越多、规模越来越大的批处理需求,如何提高计算资源的使用效率和灵活配置资源是银行信息中心不断面对的挑战。以资源和应用虚拟化为核心的云计算架构和技术正在不断发展和成熟,它可以有效地提高信息中心的资源使用,为批处理业务动态配置有效资源。针对以批处理中按照业务类型和处理流程进行资源配置的传统方法,提出了一种将业务流程进行优化分解成为可以进行独立并行处理任务的方法,可以在云计算环境下分组处理具有共同特征的计算和操作任务,实现优化资源调配。通过HadoopMapReduce并行计算架构进行模拟验证,初步实验结果表明了该方法在批处理执行效率、资源使用和灵活性方面的优势,在大量批处理业务领域（金融、证券、电子商务）具有一定的应用和研究价值。     

基于Hadoop和HBase的Nutch网页排序算法研究

针对Nutch网页排序算法和中文分词的不足以及单机运行的效率问题,在Nutch综合网页排序中添加用户点击率、网页发布时间以及主题内容相关度3个影响因子,同时添加JE中文分词器,最后利用基于HDFS的HBase技术使Nutch能够实时高效地索引和检索海量数据。通过对实验结果数据的分析发现,Nutch的爬取和索引效率提高了7.93%,用户检索效率与查询准确度分别提高了11.11%与19.51%。     

基于Hadoop的海量电能质量监测数据分析平台研究

随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。     

基于Hadoop的移动用户行为模式挖掘平台设计

伴随移动社交网络的快速发展,如何为用户提供贴心和个性化的服务是电信运营商密切关注的问题,要实现个性化服务的核心工作之一就是通过移动用户的消费信息有效发现用户的行为模式,但传统的单机模式下的分析平台已无法有效处理当前的移动大数据,本文针对传统粗糙集理论属性约简方法进行了并行化改造,提出基于Map Reduce的移动数据粗糙集并行约简方法,同时以Hadoop开源平台为基础,构建了移动用户行为模式分析平台,最后通过实验验证了平台的有效性与可用性。     

试论云计算环境下的安全建设

云计算是基于互联网、通过虚拟化方式共享信息资源的新型计算模式,可以按照用户需要动态地提供计算、存储、网络带宽、软件等资源,具有极大的市场潜力,已经成为各IT巨头当前重点建设的项目。然而,同其他的新生事物一样,云计算也存在着缺陷和漏洞,需要在今后的发展过程中不断改进和提高。本文从云计算服务发展过程中的安全事故入手,分析云计算服务的潜在安全风险,进而提出云计算环境下的安全建设的思路。     

Hadoop平台在图书推荐应用中的性能分析

构建基于分布式平台及大量借阅数据的图书推荐算法,是实现图书馆个性化信息推送服务的关键环节.本文从搭建Hadoop分布式平台和运用Mahout的MapReduce实现算法入手,针对读者借阅记录的分类号进行频数统计和借阅时间统计,依据借阅次数和借阅时间获得偏好值.并使用Mahout基于图书的推荐器,测试伪分布式单节点模式和完全分布式MapReduce计算框架下的推荐效果.测试表明:在MapReduce运算中增加DataNode的数量同时优化BlockSize参数能显著缩短运算时间,是实现个性化荐书服务自动推送的可行方法.     

云计算环境下数字档案馆建设的安全风险

云计算是当前IT 领域的一个热点,也必将成为计算机技术的发展趋势.自云计算问世以来,它以超强的计算能力和低成本、高安全性等特点给整个IT 界带来了强烈的影响和冲击.而数字档案馆则把计算机技术与档案信息资源有机结合起来,具有强大的生命力,为档案馆工作注入了新鲜的血液.本文从云计算及数字档案馆的含义和特点出发,分析了云计算对数字档案馆建设及相关工作的影响.在此基础上,本文对云计算环境下数字档案馆的安全风险进行了阐释,并从多个角度提出了相应的安全策略     

云计算安全框架的分析

云计算的广泛应用,在给用户提供便利的同时也带来了安全隐患。本文从云计算安全的概念入手,分析了云计算安全体系架构,重点介绍了云计算安全的几项关键技术。     

"云计算"环境下电子商务发展模式研究

通过云计算概述、电子商务发展瓶颈、机遇、新模式构建、实例分析、问题探索等六个方面,剖析论证了基于"云计算"的电子商务发展模式的相关问题.旨在提出基于"云计算"的新型电子商务模式构建的基本思想、相关问题的探究以及相应解决思想,系统阐述如何利用"云计算"的强大功能来发展开辟电子商务的全新格局.     

Hadoop平台的分布式数据平台系统研究

随着web2.0、云计算、物联网等概念和技术的提出与快速发展,信息时代越来越体现出它的"大数据"特征。为了发挥大数据的价值,数据仓库、数据挖掘技术在商业、军事、经济、学术等众多领域越来越收到重视,正发挥着越来越大的作用。与此同时,庞大的数据规模也向传统的数据挖掘工作提出了重大的挑战。依靠云计算等分布式计算平台所提供的强劲处理能力,将数据挖掘与云计算相结合正在成为行业的趋势,正不断地显现出其强大的优势和潜力。     

云计算环境下的加密方式探索分析

云计算服务给人们带来极大方便的同时,人们考虑得最多的就是数据在云服务器上的安全问题。由于云存储器中存储了大量用户的私密信息,或者重要的文件,数据的私密性就必须得到保证。本课题提出一种基于全同态加密的检索方案。该方案可以提供一种安全、高效的数据存取服务。     

基于Hadoop的图书馆复合大数据存储系统研究

Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。