基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

利用海量数据的最新策略

研究人员怎样才能应对现代方法所产生的大量数据流？在本期的“Big data special”专题中,Nature记者对目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。     

基于遗传迭代优化的云计算下海量数据分类查询

由于传统的数据分类查询方法查询失效所承担的额外操作代价不同,无法有效实现优化分类查询,提出一种基于变异遗传散布的云计算环境下海量数据优化分类查询方法,对于含有云计算环境下海量数据的数据库,给出遗传迭代查询散布及数据间的查询响应函数,获取云计算环境下海量数据灰度散布值,融入遗传执行算子数据,获取遗传变异散布分类查询系数,在充分宽的尺度和平移区域中获取最大类别之间的匹配值,得到数据查询响应函数,将其转换成变异遗传散布控制量,从而实现云计算环境下海量数据的优化分类查询。仿真实验结果表明,所提方法具有很高的精度。     

基于模糊核递归计算的海量Web数据访问优化算法

Web数据的访问一直是当前研究的热门话题。随着网络规模的扩大,海量Web数据访问受到了很大限制,高纬度的数据会大幅的打乱数据知识模式规则,数据可视化结构不能满足算法知识发展的要求,导致海量Web数据访问耗时。为此提出一种基于模糊核递归计算的海量Web数据访问优化算法。计算数据模糊核特征,利用隶属度函数表示模糊特征的归属,利用模糊核递归判别从这些海量数据中发现有用知识包括模式规则、可视化结构。实验表明,该方法能够较好地完成海量Web数据的优化方法,时间复杂度大幅降低。     

基于位置敏感哈希的海量文本数据查询算法研究

提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数集把文本的特征向量映射至哈希桶;接下来,利用哈希表为给定的文本计算出与之对应的直方图,通过直方图距离计算文本的相似度;最后,通过计算目标文本集中的文本与待查询文本的相似度进行文本排序,排序分值高的文本作为相关文本返回给用户。实验结果表明,对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。     

基于海量数据自动计算装载、分配的方法与装置

随着移动互联网的快速发展,以及电信行业自身业务的不断增长,企业数据存量已达到PB级,海量数据模式对存储系统的性能及可靠性提出了更高层次的要求.当存储数据增加到一定规模时,会导致系统中某一个或多个存储设备性能降低、I/O响应时间较长、无法满足海量数据的存储需求.提供一种基于海量数据的数据分配方法、装置的方案,能够有效解决现有技术中无法根据数据的重要程度及当前存储设备的性能进行自动分级存储等问题,从而降低存储设备I/O响应时间,提升设备存储利用率.     

应用先进管理技术实现海量数据统一管理

文章通过分析柳工计算机网络环境下的海量数据管理的现状,阐述了在复合网络环境下的海量数据管理的管理思想和实务。提出应用分布式文件系统的模式来实现对海量文件型数据的统一管理,并给出了应用实例,为相似的网络环境和需求提供了新的思考方向和解决办法。     

基于Redis与WebSocket的图书馆海量数据推送系统设计与实现

为了更好地向图书馆读者推送图书馆的各种纷繁复杂的业务信息,图书馆需要一个推送到达率高、并发性强、安全性有保障的海量数据推送系统,设计了基于Redis与WebSocket的图书馆海量数据推送系统,用来实现向读者推送图书馆海量业务数据,让读者更好地了解图书馆最新通知和最新信息,推动图书馆的服务向前发展。     

基于Hadoop的海量电能质量监测数据分析平台研究

随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。     

地学中海量数据的并行可视化研究进展

地球科学中观测和数值模拟结果数据爆炸式的增长,给可视化和分析这些海量数据带来了极大的挑战,将海量数据并行可视化技术应用到地球科学中是解决这一问题的有效手段。地球科学中海量数据可视化是目前国际科学可视化研究的一个新方向。本文首先介绍海量数据并行可视化的几个步骤,然后总结了地球科学中海量数据的特点,重点讨论了海量数据并行可视化在地幔对流、地震波传播以及海啸数值模拟等可视化研究中的应用实例。     

金融系统海量数据备份方案

一、备份技术与备份策略对于企业信息系统中数据的安全问题,无论是由于意外事件或事故而引起的数据丢失,还是因恶意攻击而造成的数据破坏,要恢复数据都需要制定相应的数据安全方案和恢复计划。在一般的数据安全方案中,往往通过适当的备份措施来保证数据不致丢失。常见的技术措施有:1、介质备份与脱机存放。2、采用具有磁盘阵列RAID(Redundant Arrays of independent Disks)技术的存储系统。RAID技术可以增强系统的读写效率和可靠性,防止因硬件意外出现单点失效而造成的数据丢失。考虑时间与空间     

海量数据库查询优化研究

随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。     

数字图书馆的"书库"--海量数据存储系统

本文主要从海量数据存储系统的关键技术、结构模式、发展方向、选择要注意的问题等方面进行论述，为在实施数字图书馆过程中，选择海量数据存储系统提供有益的参考。     

海量的数据保险箱

关系你一生的重要资料都在一块小小的硬盘上：音乐、邮件、照片．个人资料……如果这个硬盘突然损坏，你该怎么办？     

基于大数据的网络竞争情报服务系统构建研究

结合大数据时代网络信息资源成为竞争情报新型信息源的背景,分析构建网络竞争情报服务系统的动因与可行性,构建网络竞争情报服务系统,提出网络竞争情报服务系统的技术实现条件,探讨网络竞争情报服务系统的应用前景,拟为情报工作者和战略管理者提供决策参考。     

基于B/S模式的海量数据报表的实现

本文基于海量数据和网络打印速度之间的矛盾问题,通过几种报表实施方案的对比,提出了利用操纵Excel引擎方式解决网络打印海量数据报表问题的方法。以某煤矿企业考勤综合管理系统的考勤报表为应用背景,研究了基于B/S模式的海量数据报表的实现过程,讨论了客户端与服务器端的设置方式。应用证明该方法切实可行,可以有效地解决网络打印海量数据报表效率低的问题。     

异构数据汇交及挖掘共享平台的研究

越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。     

基于关联规则的海量图书信息数据扩散研究

针对当前只关注对数字图书馆网络功能的提高,忽略了对信息扩散的问题。为此,通过关联规则方法对海量图书信息数据扩散进行研究,给出关联规则的基本概念,并介绍了数字图书馆网络的特征,将API与编写抓取程序、开放数据等技术结合在一起;利用Apriori算法通过层次顺序搜索的循环方法对图书信息数据频繁项集进行挖掘,采集数字图书馆网络中某用户粉丝、关注者、转发以及评论信息扩散数据;将关联规则作为研究海量图书信息数据扩散方法,通过关联规则衡量节点度和出入度;在此基础上通过关联规则对海量图书信息数据扩散情况进行研究,发现海量图书信息扩散有高低谷期;转发量和评论量呈一定的正相关性;数字图书馆网络中海量图书信息数据扩散的广度和用户影响力相关。     

高维数据下基于云平台的随机森林算法的研究与实现

随机森林算法在数据挖掘领域中得到了广泛的应用,该算法通过构建多个不同的决策树可以获得更高的分类结果。但是,随着数据规模的增大,人们开始接触到各大规模的数据以及更高维度的数据属性。传统的随机森林构建算法不能有效、快速地处理海量高维数据,严重影响了数据的分类效率,从而影响预测效率。本文针对高维、海量数据下随机森林构建算法,改进并提高了该算法的效率,提出了基于云计算平台的随机森林构建算法。该算法可以快速的完成数据分类预测,并通过实验结果进一步展示了该算法的效率以及可扩展性。     

WEB文本海量数据挖掘应用中的多点数据采集及处理问题研究

对海量数据采集与挖掘技术的问题,提出如何利用WEB文本进行多断点控制、并发采集、网上清洗等新技术方法进行海量数据采集及处理,构建了基于WEB文本海量数据挖掘的应用统计系统,实现了三千多万条原始数据的采集、转换、统计.