基于Hadoop/Hive的气象数据分布式处理研究

分布全球的气象传感器每隔一段时间就会收集大量的气象数据,历史气象数据更为庞大,如何存储和处理这些数据已成为一个难题。Hadoop的出现给人们提供了存储和分析大数据的一个利器,它利用HDFS分布式文件系统进行大数据存储,用户通过编写MapReduce程序完成大数据的分析处理。然而,对于很多用户而言,熟练掌握Java语言并编写MapReduce程序并不容易。鉴于此,利用Hive来存储和处理气象数据集。Hive是构建在Hadoop上的数据仓库框架,它支持SQL接口,可以让精通SQL技能的分析师对存放在HDFS中的大规模数据集进行查询分析。     

云计算环境下基于Apriori算法的智能推荐模型

介绍了Apriori算法和智能推荐的基本思想,针对当前互联网应用中智能推荐复杂性问题,提出了云计算环境下基于Apriori的聚类算法模型。该模型根据用户访问网站的行为特征数据,分析和挖掘出用户期望的浏览对象,动态调整云计算系统的智能推荐内容。实验结果表明,该算法模型有效提高了智能推荐的准确性和效率。     

基于MapReduce的网络信息提取方法

网络信息提取技术对于人们高速准确的从海量数据中提取所需要的信息变得非常重要,面临海量计算所带来的挑战,提出了基于MapReduce的网络信息提取方法,以淘宝网为数据源,提取用户对商品感兴趣程度,通过实验仿真,表明该方法对于海量网络信息提取具有较高的效率和很好的适应性。     

基于云计算的测试平台

作品介绍 随着软件开发技术的不断成熟,软件的测试变得日益重要。不过,测试是一项具有风险的工作,主要体现在以下方面：首先,测试需要大量的资源,     

基于Hadoop的云计算辅助教学平台研究

云计算可以促进教育信息化的革新,云计算辅助教学利用“云计算”支持的教育“云服务”,能够高效简洁地提高教学的质量.文章比较了公有云与私有云平台,分析了高校建设私有云计算平台的可行性,研究了基于Hadoop的云计算辅助教学平台.该平台可以充分利用云计算的存储与计算能力.文章对校园私有云的体系架构进行了分析,详细介绍了基础设施层和基于Hadoop的云计算辅助教学平台.实验证明,该平台具有良好的实用性.     

基于Hadoop的数据聚类算法研究

聚类算法一直备受研究者青睐。随着信息技术和数据技术的发展,数据的种类和数量急剧增长,云计算平台Hadoop成为这些数据存储和处理的新平台,基于云计算平台Hadoop的聚类算法逐渐成为热门。针对数据挖掘中的聚类问题,依托云计算模式及Hadoop平台,研究了K-means算法,有效改变了现有算法的局限性。     

Hadoop性能测试自动化研究

目前,越来越多的行业认识到大数据会带来新一轮的革命,而Apache Hadoop项目则是目前大数据平台应用的事实标准。各行业在建设大数据平台时,除功能外,性能指标也是考虑的重要因素。目前大数据平台性能评测工具多样,测试过程耗时、繁琐。鉴于此,讨论建设基于BigDataBench的Hadoop2.5大数据平台性能测试自动化系统,既提高工作效率,又减少人为操作差异化化,实现版本间性能数据自动对比,保证了测试质量和数据准确性。同时对自动化测试工具的演进方向进行了规划。     

基于Hadoop的云教学资源平台的研究

云计算的出现为海量教学资源的分布存储与管理提供了新的思路与技术.为满足教育教学资源共享建设的低成本、高可靠的弹性访问与服务需求,在现有Hadoop云实现技术的框架下,提出了分布式存储、访问与管理的云资源共享平台,并设计了相关的云平台资源存储结构和Web应用程序,为现代教育教学资源共享平台的构建提供了思路.     

基于云计算的Apriori算法设计

对云计算技术和数据挖掘进行研究,分析Apriori算法,针对其局限性,提出优化方案,引入云计算中MapReduce模型,实现并行化。提出一种基于MapReduce的频繁项集挖掘方法,以提高算法的运行效率,降低算法执行所需的开销。     

基于Hadoop的分布式主题网络爬虫研究

主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的不同机器,运用MapReduce编程模型对数据进行抓取分析,使不同机器共同完成对指定任务的抓取工作。实验证明,采用分布式架构,通过动态调节分布式集群中的节点个数,能够明显改善主题网络爬虫的抓取效果。     

基于Hadoop的数字化校园设计与实现

高校是进行教学与科研的场所,随着云计算技术的发展,如何管理和利用产生的海量数据已成为当前研究的热点。设计了一个基于Hadoop云计算平台的数字化校园,其由4层体系构建,对该系统从结构、功能等方面进行了设计与分析。     

基于云计算的软件测试技术的研究

随着云计算应用的不断扩大,云测试技术的研究逐渐成为热点。本文通过分析当前云计算环境下对软件测试面临的挑战,就云测试的特征、优势、模型和关键技术作具体探析,这对基于云计算的软件测试技术的研究具有一定的价值。     

基于Hadoop云计算平台的新浪微博数据聚类分析算法研究

近年来,随着Web2.0的兴起,互联网信息更加丰富,数据规模日益增加,传统数据挖掘技术难以满足需要.云计算为解决这一问题提出了一种新方法.本文首先对开源的云计算技术Hadoop进行介绍,然后,对分布式进行了设计.本文将聚类过程分为三个步骤,分别对TF-IDF关键词提取、LDA 模型训练和K －means 聚类过程进行MapReduce 的实现,并使用公共微博数据集进行了聚类实验,并与传统聚类方法进行对比,结果表明,本文所使用LDA 建模的分布式算法对中文微博数据聚类效果较好.     

云计算——开启云的时代

近年来,一个新名词逐渐进入了人们的生活。细心的人可能会发现。在电脑中安装的各种服务类软件,已有不少贴上了“连接至云中心”的提示标语。不少报纸、网络也宣称：我们已经跨入了“云时代”。在感叹技术飞速发展的同时,不少人对此其实并不是很了解,更不用提去理解引领了这一切的“云计算”了。那么到底何谓云计算？它的魔力何在？     

基于虚拟仪器的压气机性能测试系统

为了提高压气机性能试验的测试精度,提高工作效率,建立了一套虚拟仪器测试系统,取代传统的人工测试方法.该系统采用高精度压差变送器测量双扭线流量计的压差,不再使用U型管测量压气机进出口压力,而是采用压力传感器将压力信号输送到计算机,并对各测量点的流量、温度、压力等参数进行实时监控.两套方法测试结果的分析表明,虚拟仪器测试系统不仅大大提高了测试精度,节约了测试时间,还可精确控制测量点的选取.     

基于分布式云计算的地铁监控系统研究

为了解决地铁监控中站点多、视频量大和数据共享的问题,本文设计了基于分布式云计算的地铁监控系统.首先,设计了分布式地铁监控系统的总体架构.然后,给出了视频云平台模型,采用星形拓扑结构将地铁监控服务迁移到云端实现,采用分布式资源管理的资源调度机制实现云节点之间的通信.最后建立统计模型并对云节点进行资源分析,实现分布式云服务器的总体监控.分布式云计算的地铁监控系统可靠性高,系统资源需求小,对智能化地铁监控有重要的应用价值.     

一种适用于云计算环境的关联规则算法

结合云计算平台提出了基于子集统计的关联规则算法,该算法能充分利用云计算的并行性特点,只需要扫描一次数据库,比传统的Apriori算法提高了效率,适用于大规模数据的关联规则挖掘.     

基于云计算的数据处理及数据挖掘方法

介绍云计算的概念及应用,探讨传统数据挖掘方法——分类和聚集方法的基本原理、特点、优缺点及应用范围。根据云计算的并行分布式计算特点,提出与之适应的数据处理方法。借助Google云计算中的分布式数据处理平台,评价云计算下复杂数据形式的数据挖掘方法。     

基于Hadoop的分布式平台实现

互联网的迅速发展产生了各种海量数据,快速有效处理海量数据是云计算的目标。Hadoop作为典型的云计算平台可高效处理海量数据。介绍了Hadoop相关概念,包括HDFS、MapReduce等众多子项目;阐述了Hadoop完全分布式平台搭建,包括环境配置、搭建方法等;通过数据处理实验验证了Hadoop分布式平台的有效性。