基于 Hadoop 平台的海量文件存储策略研究

针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性.     

基于Hadoop生态系统的大数据解决方案

作为深受开发者青睐的主流大数据平台,Hadoop在数据的处理、分析及应用上拥有着其他平台不可比拟的优势。在介绍了大数据定义和Hadoop生态系统架构的基础上,分别对基于Hadoop提出的大数据存储、分析、管理、安全及应用等关键问题的解决方案进行了研究和综述。最后,对基于Hadoop的大数据平台的研究和应用发展方向进行了展望。     

基于Hadoop平台的作业调度算法研究

爆炸式增长的数据要求高效率地使用计算资源,Hadoop是解决大数据处理的一个方向,不过Ha-doop平台还处于发展中,很多地方还有待完善。对Hadoop自带的三种调度器的优缺点进行分析,针对希望区分和动态改变作业服务质量的情况提出了动态优先调度算法。实验结果表明动态优先调度算法能够在作业的运行中动态改变作业的优先级,在效率上也有所提升。     

基于FreeBSD系统的云计算平台搭建

选用FreeBSD操作系统,配置Java环境,并在此基础上搭建了Hadoop云计算平台.介绍云计算平台的搭建步骤,阐述云计算平台的工作原理,为进一步研究云计算的应用技术打下了基础.     

测震波形数据存储和管理系统设计与实现

为了解决日益增长的海量测震波形数据在存储和管理方面存在的性能瓶颈问题,基于测震波形数据管理的 业务需求,选取基于Hadoop大数据技术的分布式文件系统HDFS 和分布式计算Spark架构进行数据的存储和计算,并开 发基于Web 的测震波形数据存储和管理系统,实现对海量测震波形数据的可视化管理和数据运行率检索。     

云计算架构在银行批处理流程优化中的应用研究

银行业在实现业务和数据集中处理的信息化架构后,随着业务的发展,面对数量越来越多、规模越来越大的批处理需求,如何提高计算资源的使用效率和灵活配置资源是银行信息中心不断面对的挑战。以资源和应用虚拟化为核心的云计算架构和技术正在不断发展和成熟,它可以有效地提高信息中心的资源使用,为批处理业务动态配置有效资源。针对以批处理中按照业务类型和处理流程进行资源配置的传统方法,提出了一种将业务流程进行优化分解成为可以进行独立并行处理任务的方法,可以在云计算环境下分组处理具有共同特征的计算和操作任务,实现优化资源调配。通过HadoopMapReduce并行计算架构进行模拟验证,初步实验结果表明了该方法在批处理执行效率、资源使用和灵活性方面的优势,在大量批处理业务领域（金融、证券、电子商务）具有一定的应用和研究价值。     

A big data analytics model for customer churn prediction in the retiree segment

Undoubtedly, the change in consumers’ choices and expectations, stemming from the emerging technology and also significant availability of different products and services, created a highly competitive landscape in various customer service sectors, including the financial industry. Accordingly, the Canadian banking industry has also become highly competitive due to the threats and disruptions caused by not only direct competitors, but also new entrants to the market.The primary objective of this paper is to construct a predictive churn model by utilizing big data, including the structured archival data, integrated with unstructured data from sources such as online web pages, the number of website visits and phone conversation logs, for the first time in the financial industry. It also examines the effect of different aspects of customers’ behavior on churning decisions. The Datameer big data analytics tool on the Hadoop platform and predictive techniques using the SAS business intelligence system were applied to study the client retirement journey path and to create a churn prediction model. By deploying the above systems, we were able to uncover a wealth of data and information associated with over 3 million customers’ records within the retiree segment of the target bank, from 2011 to 2015.     

大数据及海量数据处理架构：Hadoop vs MPP

开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Hadoop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP 则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。     

近年来Hadoop国内研究进展

Hadoop作为著名开源云计算技术近年来得到广泛应用,研究成果快速增长。理论研究主要集中在任务调度、小文件优化、中间数据管理、功能扩展和安全性优化;应用研究主要涉及数据存储、数据分析、数据挖掘、搜索引擎以及信息安全领域。通过分析相关研究成果明确Hadoop近年来国内研究现状。     

基于Hadoop的大数据工程实践多层次教学设计

面对众多的大数据技术与研究领域,需要设计合理的学习路径和线索。通过在教学过程中划分多层次(基础层、提高层、综合层),让学生可以有针对性地由浅入深学习,掌握诸如安装维护、基本操作、应用开发、平台调优、架构设计等不同层面的知识。针对大数据工程实践中的常用技术方向,设计了不同层次的实践教学内容,并以工程中常用技术HDFS知识点为例进行阐述。在课程实施过程中该设计内容满足教学需要,使学生能够更加清晰地了解大数据技术在实际中所面对的不同业务需求。