基于HBase的位置数据区域查询研究

随着位置服务的广泛应用,如何对海量位置数据进行高效的空间查询成为研究热点.结合对分布式数据库HBase存储机制与Geohash编码原理的研究,基于Geo Hash构建空间索引,设计位置数据存储模型,并在此基础上探讨一种多边形区域查询算法.通过与传统My SQL数据库的试验对比,验证了该算法具有较高的查询效率和良好的可扩展性.     

基于Hadoop和HBase的Nutch网页排序算法研究

针对Nutch网页排序算法和中文分词的不足以及单机运行的效率问题,在Nutch综合网页排序中添加用户点击率、网页发布时间以及主题内容相关度3个影响因子,同时添加JE中文分词器,最后利用基于HDFS的HBase技术使Nutch能够实时高效地索引和检索海量数据。通过对实验结果数据的分析发现,Nutch的爬取和索引效率提高了7.93%,用户检索效率与查询准确度分别提高了11.11%与19.51%。     

基于HBase的大数据平台负载均衡算法分析与优化

HBase原有负载均衡算法策略是保证每个Region Server的Region数目相同。但每个Region的访问并不均等,可能造成负载不均衡情况,产生热点数据,影响请求响应效率。部分Region会成为热点,导致一些Region Server负载过重。为提高HBase数据库整体性能,将数据热度因素考虑在内,使用预测方法设计HBase负载均衡算法,把预测数据的热度作为Region Server负载。实验表明,优化后的负载均衡算法可在一定程度上提高HBase数据库性能。     

基于Hadoop的压力管道数据存储系统

为提高压力管道数据存储性能,改善数据存储效率,增强压力管道后期的可维护性,构建一种基于Hadoop的压力管道数据存储系统.该系统利用HDFS分布式存储框架建立压力管道数据的存储模型,采用MapReduce对压力管道海量数据进行分析和处理,从而完成数据写入HBase数据库的低延迟响应.在实验中,采用压力管道数据对MySQL、Oracle、Spark SQL、MongoDB和Rasdaman进行性能对比.结果表明,在相同数据量的情况下,系统运行时间更短,占用内存更少,其在存储压力管道海量数据方面具有较好的优越性.     

基于HBase的健康大数据平台性能优化及应用

健康大数据已被纳入国家大数据战略布局,如何能够收集有效的健康数据,构建高性能、高可靠性、低成本和具有良好可扩展性的健康大数据平台至关重要。传统的单纯利用Hadoop、HBase无法满足复杂的业务需求和实时查询的要求,同时性能方面也存在一些问题。分析了HBase的底层原理,对HBase的读写性能进行优化。借助Phoenix提供的SQL接口来操控HBase,可方便对集群和数据进行管理。Phoenix针对HBase也提出了一系列优化方案。利用HBase和Phoenix的特性构建高性能的健康大数据平台。实验结果表明,优化后的健康大数据系统具有更好的读写性能,能够更好地满足大数据发展需求。     

基于数据半衰期的数据仓库分级存储研究

在大数据时代,数据高速增长,对数据仓库管理方法和技术提出了全新挑战,为实现仓储资源优化配置,提高资源使用效率,首次把数据半衰期运用于数据仓库分级存储。传统固定阈值转存策略存在存储资源配置不合理的问题,利用半衰期分级存储策略,对每个数据对象进行计算分析后转存,采用MPP数据仓库和Hadoop构建混合数据仓库存储架构,解决了大数据背景下的数据存储与分析,实现了数据仓库管理方法和数据存储架构的创新。实际验证发现,数据半衰期转存策略优于固定阈值转存策略,证明数据半衰期在数据仓库的管理中有显著应用价值。     

一种基于校园物联网实验平台的大数据存储模型

针对物联网传感数据具有的多样性、时空性及大数据特性等特征,在校园物联网实验平台环境下,提出一种基于HBase和My SQL的物联网大数据存储模型。根据平台实际应用的特点,该模型首先通过传统关系数据库接收并存储物联网传感数据,然后通过Sqoop数据转存,实现物联网数据在HBase和HDFS存储架构下的分布式存储,最后在物联网实验平台中应用该模型,并取得了较好的效果。     

一种基于HBase的交通旅行时间计算方法

旅行时间计算是智能交通系统研究的重要内容,准确的旅行时间计算结果可以为交通管控部门提供决策支持,缓解交通拥堵情况。近年来,随着监测水平的提高,交通监测数据呈现海量增长趋势。传统的关系型数据库应对海量数据时存在高并发读写和扩展性不足等瓶颈。为解决智能交通因数据规模过大带来的存储和查询问题,提出了一种基于HBase的交通旅行时间计算方法,设计了面向查询优化的行键策略,并在此基础上提出了单时段及多时段旅行时间计算方法。实验表明,该计算方法与传统的基于Oracle的算法相比,时间效率提高2~3倍,并且有较高的读写性能及良好的可扩展性。     

Hadoop云计算框架中的分布式数据库 HBase研究

云计算一直是产业界、学术界关注的焦点问题,目前它已从“概念期”逐渐走向“实践期”。文章选择云计算平台- Hadoop作为研究基础,通过对其结构特点的概述,从4个核心模块之一 HDFS为切入点,引入分布式数据库Hbase 。最后,重点论述了 HBase的数据模型和实现思想,为进一步探索互联网大数据处理奠定了理论基础。     

基于Hadoop平台的交通数据处理系统设计与实现

随着城市的发展,传统方式存储与处理不断增多的交通数据暴露出诸多问题。为此,设计并实现了一套基于Hadoop的交通数据存储和处理平台。该平台采用HBase数据库存储数据,Mapreduce实现数据并行处理,Web端展示数据。实验结果证实,该平台在数据存取和数据处理性能方面都优于传统处理方式。     

基于Hadoop的远程教育海量资源存储方法研究

远程教育资源具有数据量大,增长迅速的特点,对这些海量数据资源进行低成本存储和基于内容的高效检索,是远程教育云平台建设面临的一大难题。本文基于Hadoop设计了一套对远程教育海量资源进行存储和检索的方法,解决了这个难题。     

基于HBase的车联网传感数据管理系统设计

关系型数据库由于面向行存储以及无法扩展等原因,已很难满足大规模车联网传感数据的存储与查询要求。针对该问题,设计了一个基于非关系型数据库HBase存储的车联网传感数据管理系统。该系统采用Hadoop与HBase搭建分布式实验平台,采用C#语言开发Web网页端。通过与传统关系型数据库SQL Server的存储与查询效率进行对比分析,表明HBase在处理大规模车联网传感数据方面具有明显优势。     

基于HBase的彩虹表MD5哈希密码解密

基于时间-内存平衡(Time-Memory Trade-Off)技术的彩虹表已经成为破解MD5哈希(HASH)密码的有效手段,但由于彩虹表文件庞大,彩虹表的生成、存储和分析使用都十分复杂和耗时.本文提出使用HBase作为彩虹表存储和分析使用的技术方案,实验验证了该方案的可行性和有效性.     

基于Hbase的健康监测大数据平台隐私保护研究

随着手机和可穿戴设备的蓬勃发展,越来越多的人运用健康平台记录运动数据,在方便应用的同时也带来了安全和隐私问题。为解决健康平台存在的各种隐患,采用以下应对措施：在数据采集端,有统一的健康监测数据接入协议,采用不同的规则对用户数据进行安全处理;在数据发布端,按照发布规则,对共享的健康信息进行保护,对平台不同用户给予不同权限;在存储端,对各种健康数据,都有查询和使用的详细记载。通过以上措施,极大改善了用户的个人隐私问题。     

基于HBase的金融时序数据存储系统

设计并实现了1个基于HBase的金融时序数据的存储系统。设计了基于金融时序数据的HBase预分区策略,可解决HBase存储热点的问题;采用了行键优化策略和基于时序数据的表设计策略,可解决数据存储分散的问题;使用了提供异步处理机制的事件驱动的Netty框架所编写的中间件接收采集器发送的请求,可解决高并发事务的处理问题。实验结果表明,与HBase原生方法相比,该系统的性能在处理高并发事务时更好。     

基于云计算的智能卡口系统研究

在分析智能卡口关键技术的基础上,提出“云化”将是卡口系统的发展趋势,具体表现为智能化、大数据化、服务化、互联网化、运营化。通过云计算技术解决卡口系统遇到的问题,并给出了基于云计算的卡口系统组成：卡口抓拍识别系统和车辆管理云服务平台。重点对基于“Hadoop+HBase”的车辆管理云服务平台关键技术进行了分析,给出了系统架构组成和针对海量车辆通行记录的HBase表结构的详细设计。     

基于PB的数据存储

结合PB中的数据窗口控件,对数据存储作了深入的介绍,通过举例,说明了数据存储在实际应用程序设计中的重要性。     

基于HBase的证券交易数据实时采集系统的应用研究

随着大数据时代的到来,数据逐步上升为一种战略资源,在大数据产业链中,数据采集作为整个产业链的源头,直接影响着后续各个环节的发展。试提出一种数据采集方案,专门用来采集WEB网页中通过Ajax动态产生的JSON数据,同时利用Quartz和TimerTask双重定时机制,实现在指定的时点,在指定的周期内,按照指定的频率进行数据采集,以适应证券交易数据实时动态产生的应用场景,动态产生的实时JSON数据被采集后,系统再对其进行解析处理,并存储到分布式数据库HBase中,为后续的大数据实时统计分析和挖掘提供数据源。     

太阳风信息云存储及访问控制研究

太阳风是从恒星上层大气射出的超声速等离子体带电粒子流。为了正确高效地存储太阳风粒子海量数据,使之结构化并为后续研究所用,本文通过研究云存储架构模型及其关键技术,构建太阳风数据私有云存储模型,设计出一种基于云存储的太阳风数据资源管理系统SWDCS。基于云存储模型的SWDCS系统能够较好地解决太阳风粒子海量数据的高效存储问题,为进一步研究和建立太阳风粒子系统仿真体系提供了物质基础。     

基于Hadoop生态系统的大数据解决方案

作为深受开发者青睐的主流大数据平台,Hadoop在数据的处理、分析及应用上拥有着其他平台不可比拟的优势。在介绍了大数据定义和Hadoop生态系统架构的基础上,分别对基于Hadoop提出的大数据存储、分析、管理、安全及应用等关键问题的解决方案进行了研究和综述。最后,对基于Hadoop的大数据平台的研究和应用发展方向进行了展望。