刘汉中:大数据时代的“新力量”

<正>随着科学技术的发展和大数据时代的到来,人们可以较容易地获得海量数据,比如基因芯片数据、卫星传感数据、文本数据、互联网数据(百度、谷歌、脸书、推特等)。"这些数据的最大特点就是海量、高维。"刘汉中说道。海量可以理解,高维又是什么概念呢?"高维数据是指数据的维度远远大于样本量,例如基本芯片数据、大脑核磁共振成像数据、传感数据、社交网络数据等。"刘汉中给出了解释。如何利用统计学的模型和方法有效地分析和处     

云计算技术在计算机大数据分析中的运用——评《云计算与大数据》

正云计算本质上是一种分布式计算,即通过将需要处理的海量数据信息分割成大量"小块",再交给无数个小程序分别处理后合并结果,最后反馈给用户。其优点在于计算速度快、计算量大。而大数据则刚好相反,大数据并不直接对数据信息进行处理,而是从近乎没有确切边界定义的"泛化"海量数据中发掘或者说"提纯"目标信息,这对网络架构和数据处理能力有着相当高的要求。就目前而言,大数据无法仅靠单台计算机完成海量数据处理,它还需要借助分布式体系架构来实现,于是云计算与计算机大数据处理的融合"联动"顺理成章。     

基于云计算平台的主题网络爬虫设计与实现

随着互联网的发展,当今网络的规模变得十分庞大,网络数据呈现海量发展趋势,获取互联网中各类型的信息数据,来作为当前互联网舆情信息监测和分析的原始依据,已经成为该领域的热点话题.因此本文设计一种基于云计算平台的主题网络爬虫,来对庞大互联网海量数据的采集、主题识别有着重要的意义.     

地学中海量数据的并行可视化研究进展

地球科学中观测和数值模拟结果数据爆炸式的增长,给可视化和分析这些海量数据带来了极大的挑战,将海量数据并行可视化技术应用到地球科学中是解决这一问题的有效手段。地球科学中海量数据可视化是目前国际科学可视化研究的一个新方向。本文首先介绍海量数据并行可视化的几个步骤,然后总结了地球科学中海量数据的特点,重点讨论了海量数据并行可视化在地幔对流、地震波传播以及海啸数值模拟等可视化研究中的应用实例。     

大数据及其挑战

"大数据"是继云计算、物联网之后IT产业又一次颠覆性的技术变革。文章描述了信息从海量数据到大数据的质变,介绍了大数据的定义和大数据特点,从数据的存储、数据的处理技术和数据的安全几个方面探讨了大数据带来的挑战。     

基于RAID的卷管理器的研究与实现

1引言随着因特网的迅猛发展,各行业对于数据存储的需求不断增长,传统的存储机制已经不能满足当今的海量信息存储以及数据的容错性和安全性的需求,因此,各行业迫切需要建立高速、高安全性的网络存储系统。     

分布式云计算环境下的海量数据有效查询方法

在对分布式云环境下的海量数据进行查询的过程中,容易出现带宽有限、能量有限、链路频繁断接的特点,导致传统的查询方法由于采用自适应分发数据机制来减少数据的通信量,不能有效实现海量数据查询,提出一种基于查询节点动态轮换的分布式环境下海量数据有效查询方法,将分布式云计算环境下的网络看作是一个带权的无向图,给出分布式云计算环境下单位数据传输时延计算公式,分析了系统模型及海量数据查询的问题描述。将每次剩余能量最高的节点作为查询节点,当接收到一个查询请求时,各节点需感应同时采集该节点所覆盖区域的数据源,对其进行计算、处理等操作,获取趋于请求的结果集,每个节点沿各自路径将数据传输至查询节点,在传输的过程中,各节点将接收到的数据进行融合处理。仿真实验结果表明,所提方法具有很高的查询命中率。     

基于Kalman滤波的Web数据流抗干扰挖掘算法

提出一种基于变维Kalman滤波的Web海量数据流抗干扰挖掘算法。构建Web环境下的海量数据挖掘数据流信息模型和噪声干扰模型,结合现代信号处理方法,设计变维Kalman滤波算法进行海量数据流信号滤波预处理,把Web海量数据流映射为一组非线性宽带调频信号模型,采用信号检测算法实现Web海量数据的抗干扰挖掘。仿真结果表明,采用该算法进行Web海量数据信息的抗干扰挖掘,具有较高的数据检测精度和准确挖掘性能,具有较高的抗干扰性和鲁棒性。     

大数据背景下广电网络的客户关系管理方法分析

借助海量数据的收集、处理和分析,广电网络的客户关系管理也发生了巨大变化。笔者明确了"大数据"这一新兴概念,对其在广电网络用户关系管理中的应用机制进行分析,并对大数据背景下广电网络客户关系管理方法提出几点对策。     

海量数据库查询优化研究

随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。     

基于Spark的海量数据冗余检测方法

单机计算资源难以满足海量数据的冗余检测,提出基于Spark的海量数据冗余检测方法。先基于Simhash算法实现待测数据与对应指纹间的映射(二进制串),再设计指纹检索树并提出基于指纹检索树的数据冗余检测算法ROFA;最后,设计了基于Spark和ROFA的海量数据的冗余检测策略,实现了海量数据的冗余检测;利用UCI提供的数据进行实例分析,证明了该方法的有效性。     

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

大数据的“豆形”可视化及其在资本市场中的应用

"大数据"时代催发了可视化技术的再创新。"豆形图"以其处理海量数据的超强能力可以直观地展现大数据的结构特征,并为大数据的可视化分析奠定基础。本文首先引入"豆形图"及其可视化大数据的特征,并将其应用于资本市场中典型的金融大数据——超高频数据,构造用于可视化分析的豆形时间序列,分析数据的日内模式和动态特征,为大数据的可视化技术开辟新的方向。     

输变电场景下AI芯片与视频分析系统关键技术及应用

输变电作业视频分析能够有效保障运维、检修等作业安全,减少人员伤亡与电网事故损失,提高作业效率,破解"站多人少"困境.然而,当前所用人工智能芯片自主化程度低、功耗高,海量视频数据带来的分析处理压力影响系统稳定运行,纯数据驱动的深度学习算法缺乏对各类场景业务逻辑的深度辨识能力,各子系统间协同联动能力不足,影响预警及时性、准...     

浅谈“智慧公安”建设中的大数据应用

在新一轮公安信息改革与发展的潮流中,以海量信息和数据挖掘为特征的大数据处理及应用起到了重要作用。文章介绍了大数据在"智慧公安"建设中重要性及其应用,同时指出了目前"智慧公安"大数据建设中面临的问题,进一步展望大数据在"智慧公安"中的应用前景,并提出相关建议。     

海量数据中心信息组织问题与对策研究

文章在梳理海量数据中心信息组织技术发展现状的基础上,归纳出海量数据中心信息组织中存在的5个主要矛盾,并提出了海量数据中心信息组织对策建议。     

构建基于多源数据聚合的企业级系统实用化监控软件的需求模型

电网的安全稳定运行需要各业务部门的共同保障,多业务部门间业务均存在明显的差异,在信息系统推进过程中所需支撑本业务的数据各不相同。目前云南电网信息系统缺乏基于岗位的数据运行统计。经过长期的信息化建设,各大业务数据均已进去信息化系统,从海量数据中固化出满足各业务人员的有用数据需求并加以归纳整理,将对各岗位的业务人员提供较大的帮助。     

基于模糊核递归计算的海量Web数据访问优化算法

Web数据的访问一直是当前研究的热门话题。随着网络规模的扩大,海量Web数据访问受到了很大限制,高纬度的数据会大幅的打乱数据知识模式规则,数据可视化结构不能满足算法知识发展的要求,导致海量Web数据访问耗时。为此提出一种基于模糊核递归计算的海量Web数据访问优化算法。计算数据模糊核特征,利用隶属度函数表示模糊特征的归属,利用模糊核递归判别从这些海量数据中发现有用知识包括模式规则、可视化结构。实验表明,该方法能够较好地完成海量Web数据的优化方法,时间复杂度大幅降低。     

应用先进管理技术实现海量数据统一管理

文章通过分析柳工计算机网络环境下的海量数据管理的现状,阐述了在复合网络环境下的海量数据管理的管理思想和实务。提出应用分布式文件系统的模式来实现对海量文件型数据的统一管理,并给出了应用实例,为相似的网络环境和需求提供了新的思考方向和解决办法。     

城市规划信息管理与开发系统的研究与开发

本文首先介绍了系统的体系结构与功能.给出了多源、多尺度空间数据的整合方法和表现形式.提出了将海量数据通过ARCSDE用SOLServer受理系统进行管理.并创建基于"地图服务"的应用模型.给出了各种数据的组织和入库方法,并对ARCSDE软件的应用开发和技术特点进行了叙述.