基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

数字图书馆的"书库"--海量数据存储系统

本文主要从海量数据存储系统的关键技术、结构模式、发展方向、选择要注意的问题等方面进行论述，为在实施数字图书馆过程中，选择海量数据存储系统提供有益的参考。     

基于Mobilink的海量数据并行传输的研究

随着信息化技术的不断发展,行业内部和行业间的业务数据量呈几何级数递增,海量数据的传输与处理难题成为制约信息化产业扩大的瓶颈,本文研究了MobiLink技术的传输机制以及基于MobiLink技术的移动数据库的同步技术,以期解决海量数据传输处理上的瓶颈问题。     

利用海量数据的最新策略

研究人员怎样才能应对现代方法所产生的大量数据流？在本期的“Big data special”专题中,Nature记者对目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。     

基于遗传迭代优化的云计算下海量数据分类查询

由于传统的数据分类查询方法查询失效所承担的额外操作代价不同,无法有效实现优化分类查询,提出一种基于变异遗传散布的云计算环境下海量数据优化分类查询方法,对于含有云计算环境下海量数据的数据库,给出遗传迭代查询散布及数据间的查询响应函数,获取云计算环境下海量数据灰度散布值,融入遗传执行算子数据,获取遗传变异散布分类查询系数,在充分宽的尺度和平移区域中获取最大类别之间的匹配值,得到数据查询响应函数,将其转换成变异遗传散布控制量,从而实现云计算环境下海量数据的优化分类查询。仿真实验结果表明,所提方法具有很高的精度。     

基于模糊核递归计算的海量Web数据访问优化算法

Web数据的访问一直是当前研究的热门话题。随着网络规模的扩大,海量Web数据访问受到了很大限制,高纬度的数据会大幅的打乱数据知识模式规则,数据可视化结构不能满足算法知识发展的要求,导致海量Web数据访问耗时。为此提出一种基于模糊核递归计算的海量Web数据访问优化算法。计算数据模糊核特征,利用隶属度函数表示模糊特征的归属,利用模糊核递归判别从这些海量数据中发现有用知识包括模式规则、可视化结构。实验表明,该方法能够较好地完成海量Web数据的优化方法,时间复杂度大幅降低。     

基于Redis与WebSocket的图书馆海量数据推送系统设计与实现

为了更好地向图书馆读者推送图书馆的各种纷繁复杂的业务信息,图书馆需要一个推送到达率高、并发性强、安全性有保障的海量数据推送系统,设计了基于Redis与WebSocket的图书馆海量数据推送系统,用来实现向读者推送图书馆海量业务数据,让读者更好地了解图书馆最新通知和最新信息,推动图书馆的服务向前发展。     

基于网格的数字图书馆信息存贮关键技术研究

针对数字图书馆资源存储的3个主要问题,即海量存储问题、异构存储问题和动态存储问题,探讨网格存储方案在解决这些问题时所涉及的关键技术.     

异构数据汇交及挖掘共享平台的研究

越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。     

基于位置敏感哈希的海量文本数据查询算法研究

提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数集把文本的特征向量映射至哈希桶;接下来,利用哈希表为给定的文本计算出与之对应的直方图,通过直方图距离计算文本的相似度;最后,通过计算目标文本集中的文本与待查询文本的相似度进行文本排序,排序分值高的文本作为相关文本返回给用户。实验结果表明,对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。     

在E-learning中基于海量情感数据资源库的解决方案

针对基于情感计算的e-learning系统模型所引出的数据存储问题,给出了一些解决方案,并对方案存在的困难和挑战进行了简单的分析。     

数据迁移技术在新闻数据库数据分级存储与备份中的应用

数据迁移技术不断发展,为新闻数据库关键数据信息的分级存储与备份提供了技术上的保障,并使得系统整体容灾能力得以提高.     

地学中海量数据的并行可视化研究进展

地球科学中观测和数值模拟结果数据爆炸式的增长,给可视化和分析这些海量数据带来了极大的挑战,将海量数据并行可视化技术应用到地球科学中是解决这一问题的有效手段。地球科学中海量数据可视化是目前国际科学可视化研究的一个新方向。本文首先介绍海量数据并行可视化的几个步骤,然后总结了地球科学中海量数据的特点,重点讨论了海量数据并行可视化在地幔对流、地震波传播以及海啸数值模拟等可视化研究中的应用实例。     

一种基于频度的自适应数据分级策略

数据分级策略是实现分级存储的关键环节,该论文分析了现行常用的两种基于数据访问频度的分级策略,并提出了一种新的自适应分级策略.通过实际对比,新策略在分级效果和速度上都有所提高.     

基于Hadoop的海量电能质量监测数据分析平台研究

随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。     

一种基于Oracle的数据存储优化方法

介绍了Oracle的应用程序接口OCI,分析了SQL的执行过程。针对常规数据存储方法在海量数据存储和系统并发用户较多时效率低下的问题,定义一种简洁的数据结构,创建存储过程并完成对SQL信息的压缩。对比优化前后的实验数据,可以发现此方法能显著提高Oracle的数据存储效率。     

大数据时代的数字图书馆异构数据集成研究

在大数据时代,数字图书馆的数据处理及服务将会发生明显的变化,将从传统的信息查询、推送等服务转向在海量的数据中分析和挖掘出潜在有价值的信息,而关系型数据库的结构和机制不能很好地适应这种变化。针对数字图书馆在大数据背景下异构数据的集成问题,提出了基于NoSQL的中间件模型的数据集成方法。该方法有利于数字图书馆存储各种结构的数据,同时能够很好地适应海量数据分布式存储。     

基于本体的语义异构XBRL数据集成方法

XBRL作为财务信息电子交换标准,能提高数据交换效率和精度。XBRL数据交换存在语义冲突问题,即语义转换困难和单一关键词匹配功能缺陷。分析XBRL语义异构性,提出一种基于本体的集成方法,研究XBRL本体转换模型,通过RDF数据查询解析技术实现对XBRL报告的单一关键词匹配,并利用Jena API实现RDF到SQL的查询转换。     

基于XML的数据集成研究

为了实现来自不同数据源、不同数据格式的数据的集成,利用XML可扩展性、结构性以及平台无关性的优点,以XML作为数据中介,实现了异构数据的集成。     

海量DEM数据的实时漫游方法研究

在地形绘制时,依据地形与视点的不同距离对地形进行动态调整重采样,并将采样的结果与三角带绘制之间的对应关系保存成模式文件,在预处理时将文件读入内存,实现对地形的实时绘制和显示。