基于Hadoop生态系统的大数据解决方案

作为深受开发者青睐的主流大数据平台,Hadoop在数据的处理、分析及应用上拥有着其他平台不可比拟的优势。在介绍了大数据定义和Hadoop生态系统架构的基础上,分别对基于Hadoop提出的大数据存储、分析、管理、安全及应用等关键问题的解决方案进行了研究和综述。最后,对基于Hadoop的大数据平台的研究和应用发展方向进行了展望。     

基于Hadoop平台的大数据可视化分析实现与应用

针对大数据可视化需求,基于网络公开的用户行为大数据(部分数据可以借助网络爬虫等算法自主抓取),依托Hadoop开源大数据处理平台,利用JavaWeb中的编程框架,辅助以各种可视化工具,设计实现了大数据的可视化分析及应用.在完成大数据可视化处理操作的同时,实现了多源多类大数据的可视化分析与展示.通过实验分析,能够实现不同大数据应用领域的可视化数据分析,为用户提供便捷、有效的大数据处理与应用业务.     

基于Hadoop协同过滤的电商数据推荐研究

随着电子商务的快速发展,数据推荐技术在电子商务系统中作用越来越重要。提出了一种新型的基于Hadoop协同过滤的电商数据推荐算法,并采用这个算法开发了商品数据处理系统。系统可根据用户的兴趣、对商品的偏爱程度以及对价格的接受范围,进行优化选择后推送用户感兴趣的商品。实验证明,该算法在Hadoop平台上能够有效提高商品数据推荐的准确率和计算效率,从而提高用户购买量。     

Hadoop性能测试自动化研究

目前,越来越多的行业认识到大数据会带来新一轮的革命,而Apache Hadoop项目则是目前大数据平台应用的事实标准。各行业在建设大数据平台时,除功能外,性能指标也是考虑的重要因素。目前大数据平台性能评测工具多样,测试过程耗时、繁琐。鉴于此,讨论建设基于BigDataBench的Hadoop2.5大数据平台性能测试自动化系统,既提高工作效率,又减少人为操作差异化化,实现版本间性能数据自动对比,保证了测试质量和数据准确性。同时对自动化测试工具的演进方向进行了规划。     

Hadoop平台基准性能测试研究

Hadoop平台是apche下的一个开源大数据平台,具有分布性、虚拟化、高可靠性、高可伸缩性、通用性等特点。Hadoop平台发展至今,集成组件已从1.0发展到2.0。从Hadoop体系结构入手,分析了Hadoop 平台1.0和2.0平台的基准测试性能并进行了对比。研究了testdfsIO、yarn、hive的基准测试,通过对升级后平台的基准测试,分析了2.0的优势,为集成Hadoop平台提供参考。     

基于数值统计方法进行数据库系统性能调优

研究开发了一个数据库系统性能调优的数学模型,并指出:通过数学模型指导调优过程,可以对数据库系统作出整体的性能分析,加快调整度量决定的速度,减少调优过程反复尝试的次数,从而降低性能调优过程对业务应用的影响,提高数据库系统性能调优效率。通过数学建模还有利于开发出相关的性能调优辅助工具,用于指导非专业的数据库系统管理员进行性能调优工作。     

基于Hadoop的大数据处理策略研究

大数据为数据挖掘提供了丰富的数据源,从中挖掘出的信息更加具有商业价值.以Hadoop的大数据处理为核心,通过查找相关文献资料,实证分析了大数据处理的策略,从而为未来大数据处理路径提出更好的指导.     

基于移动通信大数据的流动人口统计中Hadoop的应用研究

根据移动通信客户的来话与去话等话务信息,结合客户身份证件资料,可以对特定区域人口的流入、流出情况以及流动类型进行分析及统计,为当地政府决策提供信息服务。鉴于移动通信数据源多样化、数据量大、数据增长快速等大数据处理问题,采用并行分布处理大数据的Hadoop技术,构建基于Hadoop的移动通信大数据处理框架,并通过设计ODS DWD DW三层数据处理、并行ETL和冗余删除以及分布式MySQL集群的查询代理层,满足移动通信大数据的数据载入、分布式存储和查询等用途的高效处理要求。     

Hadoop平台的关联挖掘算法研究

通过结合云平台的存储能力和并行处理能力,对数据挖掘的Apriori算法进行研究,把传统Apriori算法改进移植于Hadoop平台.改进后的算法在扫描一次数据库后用矩阵的形式表示事务,在生成频繁K项集的过程中只需要把满足条件的事务进行连接并统计支持度,从而减少大数据挖掘中大量无用数据的运算,提高了挖掘效率.     

基于Hadoop的大数据工程实践多层次教学设计

面对众多的大数据技术与研究领域,需要设计合理的学习路径和线索。通过在教学过程中划分多层次(基础层、提高层、综合层),让学生可以有针对性地由浅入深学习,掌握诸如安装维护、基本操作、应用开发、平台调优、架构设计等不同层面的知识。针对大数据工程实践中的常用技术方向,设计了不同层次的实践教学内容,并以工程中常用技术HDFS知识点为例进行阐述。在课程实施过程中该设计内容满足教学需要,使学生能够更加清晰地了解大数据技术在实际中所面对的不同业务需求。     

基于Hadoop的教学质量管理平台研究

当前,高职教育正在实现由规模扩张向提高质量转变。教学质量管理是规模扩张向高质量转变的核心,信息化建设有助于高职院校提高教学质量管理的工作效率和管理水平。高职院校教学质量管理信息化工作开展得比较晚,在很多方面还是基于纸质存档的形式。为了提升高职院校教学质量管理效率和水平,构建了基于Hadoop的教学质量管理平台:使用SSM(Spring+Spring MVC+MyBatis)技术完成平台开发,使用Hadoop的核心组件HDFS存储教学质量管理文件,使用MySQL存储后台数据,使用Docker完成分布式部署。     

大数据背景下基于云技术的高校移动学习平台构建研究

随着用户、应用服务、教育内容和资源需求的爆炸式增长,传统的移动学习平台已无法满足高等学校教育的需要。文中提出了一种大数据背景下基于扩展云计算环境的高校移动学习系统构建方法,为拥有不同需求的高等学校提供可靠的、可定制的动态资源管理、分配平台,拟解决网络时代下学习者的多样化需求问题。     

基于大数据云平台的深度学习预测模型研究

近年来,随着云计算、大数据等技术的迅猛发展,如何快速、有效地从纷繁复杂的数据中获取有价值的信息成为当前大数据应用的关键问题。为此,对基于大数据云平台的深度学习预测模型进行研究,以对未来序列数据走势进行有效预测。首先对几种基于深度学习的长短序列预测模型进行对比分析,分析其与传统预测模型的区别及优势,提出一种加入 dropout 的轻量级 GRU 预测模型。采用代表性天气数据作为实验对象,实验结果表明,该方法的实验预测指标 MAE（平均绝对误差）的平均值相比传统预测方法有所提高,从而有效验证了轻量级 GRU 预测方法的正确性与有效性。     

基于大数据的电能质量监测分析系统设计与实现

为解决传统电能质量监测系统数据接入可靠性不高,海量数据存储和统计分析能力不足的缺点,采用类数据库的事务处理机制设计数据调度采集过程,搭建基于 Cloudera 大数据平台的电能质量监测分析系统,对数据进行分布式存储、计算分析,实现对 TB 级电能质量数据的监测点指标与运行状态统计,以及对暂态事件的统计聚合分析等功能。实验证明该系统可靠、海量数据统计处理能力强,提高了数据存储可拓展性,为供电方提供了解决海量电能质量数据存储与分析的有效方案。     

基于Hadoop平台的作业调度算法研究

爆炸式增长的数据要求高效率地使用计算资源,Hadoop是解决大数据处理的一个方向,不过Ha-doop平台还处于发展中,很多地方还有待完善。对Hadoop自带的三种调度器的优缺点进行分析,针对希望区分和动态改变作业服务质量的情况提出了动态优先调度算法。实验结果表明动态优先调度算法能够在作业的运行中动态改变作业的优先级,在效率上也有所提升。     

基于 ELK+Kafka 的智慧运维大数据分析平台研究与实现

基于 ELK 在智慧运维大数据分析平台实现海量数据分析,对 ELK 的部署结构进行优化,并在日志采集和日志处理中间增加 Kafka 消息处理队列,减轻 Logstash 压力,增加集群高可用性。通过 Logstash 的 Filter 插件利用正则表达式实现日志数据拆分,将拆分后的字段在 Elasticsearch 中存储,最终利用 Kibana 对日志数据进行搜索、绘图和展示。使用基于 ELK 的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近 1s的延迟搜索。     

基于大数据平台下高职信息素养教育研究

信息技术的飞速发展,互联网大数据在人们的日常生活中扮演着越来越重要的角色,信息的需求也变得多元化。传统方式的信息素养教育问题由于其自身的局限性,已难以满足高职院校学生的学习与发展。因此,基于目前大数据平台,高职图书馆信息素养教育问题急需不断发展与改进。本文通过对陕西省高职院校信息素养教育的发展现状以及面临问题进行分析,有效结合互联网大数据发展以及信息素养教育,提出大数据平台下的高职院校图书馆信息素养教育的多重研究策略。