海量的数据保险箱

关系你一生的重要资料都在一块小小的硬盘上：音乐、邮件、照片．个人资料……如果这个硬盘突然损坏，你该怎么办？     

基于Mobilink的海量数据并行传输的研究

随着信息化技术的不断发展,行业内部和行业间的业务数据量呈几何级数递增,海量数据的传输与处理难题成为制约信息化产业扩大的瓶颈,本文研究了MobiLink技术的传输机制以及基于MobiLink技术的移动数据库的同步技术,以期解决海量数据传输处理上的瓶颈问题。     

海量管线数据自动建模技术研究

<正>本文结合传统的三维建模方法和软件建模方法,利用Skyline软件,提出了一种新的海量三维管线建模方法,经验证,本文提出的方法能够快速、高效的实现海量城市管线数据的三维建模。目前,三维可视化技术很多,大体可以分为数学类技术和组件类技术两大类。其中,数学类技术主要有Direct3D、OpenG L、Java3D等,然而此类技术对开发者而言要求甚高,除了具备计算机图形学知识及扎实的数学功底外,还必须具备     

海量DEM数据的实时漫游方法研究

在地形绘制时,依据地形与视点的不同距离对地形进行动态调整重采样,并将采样的结果与三角带绘制之间的对应关系保存成模式文件,在预处理时将文件读入内存,实现对地形的实时绘制和显示。     

海量的数据“保险箱”

把一台旧的台式机变成一个容量1.2TB的文件服务器，安全地存贮你几乎所有的数据资料。[编者按]     

利用海量数据的最新策略

研究人员怎样才能应对现代方法所产生的大量数据流？在本期的“Big data special”专题中,Nature记者对目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。     

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

信息的载体——海量数据存储系统

本文介绍了目前主要的存储体系结构。分析了各种体系结构的主要特点和适用环境，并对数字图书馆的存储发展趋势作了一些探讨。     

大数据环境下网络主动入侵海量数据的检测方法研究

提出基于半监督混合模型的海量入侵数据检测方法。利用蚁群算法进行入侵数据的特征选择,在结合半监督的混合模型分类方法进行入侵数据的分类,利用混合模型对数据样本空间的聚类分布进行描述,利用数据函数将聚类的信息与分类算法相结合,进行数据分类时对没有标示的数据样本进行考虑,对入侵数据进行检测。克服传统方法存在的弊端,提高了分类器的泛化能力,保证数据分类的效果,提高了入侵数据检测的准确性,完成对大数据环境下网络主动入侵海量数据检测的研究。实验的结果表明,利用本文方法能有效地提高入侵数据检测的准确性。     

物联网海量异构数据存储与共享策略研究

随着时代的不断发展进步,我国的物联网行业也得到了更好的发展,虽然物联网行业当中所涉及到的范围较广,但是整个行业发展仍然处于初级阶段,因此,需要重点解决物联网发展过程当中信息存储发展智能化的问题。在我国目前互联网发展的过程当中,需要重点解决的就是物联网在异构数据存储共享方面所存在的问题,只有更好地对这一问题进行解决,才能有效的保证物联网的发展质量。因此,本文将重点对物联网海量异构数据存储与共享策略进行研究。     

海量数据中心信息组织问题与对策研究

文章在梳理海量数据中心信息组织技术发展现状的基础上,归纳出海量数据中心信息组织中存在的5个主要矛盾,并提出了海量数据中心信息组织对策建议。     

基于视点运动的海量数据快速显示方法研究

为了海量数据实时准确的显示,提出一种基于视点运动模型的可视化算法。该算法首先采用Hilbert-R树对海量数据建立快速索引,然后根据视点运动模型将数据块分为可视域、潜在域、卸载域。最后按照索引将相应数据块导入内存,可视域数据块会被进一步载入GPU进行绘制。当视点位置发生变化时,GPU直接加载位于内存的潜在域数据块。实验结果表明,在保证渲染质量的前提下,该算法能够快速显示海量数据体并实现实时交互,显示速度提升36%~78%。     

基于关联规则的海量图书信息数据扩散研究

针对当前只关注对数字图书馆网络功能的提高,忽略了对信息扩散的问题。为此,通过关联规则方法对海量图书信息数据扩散进行研究,给出关联规则的基本概念,并介绍了数字图书馆网络的特征,将API与编写抓取程序、开放数据等技术结合在一起;利用Apriori算法通过层次顺序搜索的循环方法对图书信息数据频繁项集进行挖掘,采集数字图书馆网络中某用户粉丝、关注者、转发以及评论信息扩散数据;将关联规则作为研究海量图书信息数据扩散方法,通过关联规则衡量节点度和出入度;在此基础上通过关联规则对海量图书信息数据扩散情况进行研究,发现海量图书信息扩散有高低谷期;转发量和评论量呈一定的正相关性;数字图书馆网络中海量图书信息数据扩散的广度和用户影响力相关。     

海量有噪声Web数据优化挖掘方法研究

Web页面包含复杂的、无结构的、动态的数据信息,包含大量的、不完全的、有噪声的、模糊的、随机的数据,干扰了正常的提取过程.为此提出一种改进Apriori算法的海量Web数据高效挖掘方法.在自然连接产生候选集以前先进行一个修剪过程,减少参加连接的项集数量,因而减小生成的候选项集规模,减少了循环迭代次数和运行时间,同时在连接判断步骤中减少多余的判断次数.实验表明,该方法能够迅速排除冗余数据干扰,提高了挖掘的准确性.     

基于Spark的海量数据冗余检测方法

单机计算资源难以满足海量数据的冗余检测,提出基于Spark的海量数据冗余检测方法。先基于Simhash算法实现待测数据与对应指纹间的映射(二进制串),再设计指纹检索树并提出基于指纹检索树的数据冗余检测算法ROFA;最后,设计了基于Spark和ROFA的海量数据的冗余检测策略,实现了海量数据的冗余检测;利用UCI提供的数据进行实例分析,证明了该方法的有效性。     

地学中海量数据的并行可视化研究进展

地球科学中观测和数值模拟结果数据爆炸式的增长,给可视化和分析这些海量数据带来了极大的挑战,将海量数据并行可视化技术应用到地球科学中是解决这一问题的有效手段。地球科学中海量数据可视化是目前国际科学可视化研究的一个新方向。本文首先介绍海量数据并行可视化的几个步骤,然后总结了地球科学中海量数据的特点,重点讨论了海量数据并行可视化在地幔对流、地震波传播以及海啸数值模拟等可视化研究中的应用实例。     

海量数据,一秒传完

今天的信息社会对数据传输的速度要求越来越高,有人恨不得把一个G(千兆字节)的数据一秒钟从网络下载下来,不过目前来说,这想法有点奢望,把这么多数据从电脑D盘转移到E盘,所用的时间都不止这么多吧。从2000年开始,科学家就在研究如何大大提高数据传输速度,当然一条数据传输的速度不可能高于每秒30万千米,但是如果有更多条数据同时传输的话,数据传输不也能更快了吗?研究者早就发现,光     

海量数据信息中的迭代聚类过程的改进研究

对海量数据信息进行迭代聚类能够为数据挖掘提供准确的依据,具有重要的应用价值。传统算法对于初始参数的选取过于敏感,从而降低了迭代聚类的准确率。提出基于并归聚类的海量数据信息中的迭代聚类方法。采用离差隶属度进行数据信息聚类中心的计算,确定数据信息的聚类中心;采用类间距离作为并归聚类判别的标准,用于判定数据信息特征与聚类中心的距离;对海量数据信息特征与聚类中心的计算结果进行归类处理,直至所有的数据信息的聚类中心都结束并归,从而获得准确的迭代聚类结果。仿真实验结果表明,改进算法能够提高海量数据信息中的迭代聚类结果,效果令人满意。     

基于位置敏感哈希的海量文本数据查询算法研究

提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数集把文本的特征向量映射至哈希桶;接下来,利用哈希表为给定的文本计算出与之对应的直方图,通过直方图距离计算文本的相似度;最后,通过计算目标文本集中的文本与待查询文本的相似度进行文本排序,排序分值高的文本作为相关文本返回给用户。实验结果表明,对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。     

海量数据平台下多小车联动巡逻系统研究

设计基于Wi Fi智能视频小车和Hadoop平台,该系统通过智能小车采集视频图像信息,利用大数据分析平台,对小车搜集到的图像数据和视频数据进行计算,进行人物识别和行为分析,并将分析结果以指令形式传给智能小车,进而控制小车进行下一步的指令。多个智能小车互相连接并与服务端通信,通过视频、图片识别等手段,完成对外界环境的探测,实现一个人工智能的小车巡逻系统。