海量数据的分析研究

随着互联网的不断发展,网络信息量迅猛增加,面对海量杂乱无章的信息,用户很难从中快速搜寻到所关注的有用信息。将海量信息进行数据采集、预处理、清洗、分析,最后将分析结果以图表展示,使用户可以获得直观的信息分布十分必要。基于以上需求,本文以新闻数据为研究对象,通过采集器采集数据,数据预处理,并行框架的数据清洗,对数据结果进行分析,并将处理分析的结果以可视化形式来展示新闻信息热点分布状况,使用户高效快捷地了解社会信息焦点状况。     

Hadoop平台的分布式数据平台系统研究

随着web2.0、云计算、物联网等概念和技术的提出与快速发展,信息时代越来越体现出它的"大数据"特征。为了发挥大数据的价值,数据仓库、数据挖掘技术在商业、军事、经济、学术等众多领域越来越收到重视,正发挥着越来越大的作用。与此同时,庞大的数据规模也向传统的数据挖掘工作提出了重大的挑战。依靠云计算等分布式计算平台所提供的强劲处理能力,将数据挖掘与云计算相结合正在成为行业的趋势,正不断地显现出其强大的优势和潜力。     

多源卫星遥感海量数据精化处理关键技术

近年来,我国资源陆地卫星遥感技术取得很大进步,但卫星遥感应用在各方面、各层级还存在一定的提升空间.其中,传感器校正产品质量的稳定性和精细化处理能力一直是制约遥感卫星数据高水平应用的瓶颈.在国家重点研发计划项目、国家自然科学基金项目及横向课题的支持下,自然资源部国土卫星遥感应用中心等单位以提高遥感卫星应用效能为目标,突...     

大数据环境下网络主动入侵海量数据的检测方法研究

提出基于半监督混合模型的海量入侵数据检测方法。利用蚁群算法进行入侵数据的特征选择,在结合半监督的混合模型分类方法进行入侵数据的分类,利用混合模型对数据样本空间的聚类分布进行描述,利用数据函数将聚类的信息与分类算法相结合,进行数据分类时对没有标示的数据样本进行考虑,对入侵数据进行检测。克服传统方法存在的弊端,提高了分类器的泛化能力,保证数据分类的效果,提高了入侵数据检测的准确性,完成对大数据环境下网络主动入侵海量数据检测的研究。实验的结果表明,利用本文方法能有效地提高入侵数据检测的准确性。     

云计算下海量激光雷达数据动态存储系统设计

伴随网络技术迅速发展与广泛应用,云计算逐渐成为对海量数据计算主要运算形式。由于数据通过高维形式储存,造成严重存储开销。文中以海量激光雷达数据为研究对象,在云计算下对存储系统进行优化设计。对于海量激光雷达数据,采用New-blocking分块策略,设定分块阈值包括最小分块因子值和最大分块因子值,利用阈值判定是否对文件分块,通过定义文件均匀度获得文件分块大小数据值;运用增加副本策略,根据文件热度判断其被访问情况,增加此文件block副本缓解负载。为进一步解决负载问题,运用数据动态平衡模型对激光数据进行监控、合并、拆分及数据移动等步骤处理,使物理节点通过迁移虚拟节点完成资源重分配,从而实现数据动态存储系统优化设计过程。实验证明,该系统能够有效存储激光雷达数据并达到系统资源使用率最大化的目的。     

海量管线数据自动建模技术研究

<正>本文结合传统的三维建模方法和软件建模方法,利用Skyline软件,提出了一种新的海量三维管线建模方法,经验证,本文提出的方法能够快速、高效的实现海量城市管线数据的三维建模。目前,三维可视化技术很多,大体可以分为数学类技术和组件类技术两大类。其中,数学类技术主要有Direct3D、OpenG L、Java3D等,然而此类技术对开发者而言要求甚高,除了具备计算机图形学知识及扎实的数学功底外,还必须具备     

我国物联网产业的创新系统多要素联动研究

本文将物联网产业看作一个创新系统,从整体联动的视角分析物联网产业创新系统中多要素的联系与互动,运用创新系统多要素联动的相关理论和方法(LAFIS)来研究物联网这一战略性新兴产业,通过无锡市物联网产业发展的案例分析,构建了物联网产业创新系统多要素联动的概念分析模型,分析其涉及到的技术、市场、政策、管理等创新主体和多个要素的联动创新机制以及各个创新子系统内部主体要素的联动作用和过程。     

海量DEM数据的实时漫游方法研究

在地形绘制时,依据地形与视点的不同距离对地形进行动态调整重采样,并将采样的结果与三角带绘制之间的对应关系保存成模式文件,在预处理时将文件读入内存,实现对地形的实时绘制和显示。     

基于Mobilink的海量数据并行传输的研究

随着信息化技术的不断发展,行业内部和行业间的业务数据量呈几何级数递增,海量数据的传输与处理难题成为制约信息化产业扩大的瓶颈,本文研究了MobiLink技术的传输机制以及基于MobiLink技术的移动数据库的同步技术,以期解决海量数据传输处理上的瓶颈问题。     

多源测绘数据信息化平台建设关键技术研究

本文结合现有的多源测绘数据信息化平台建设技术方法,从测绘数据的元数据信息出发,对测绘单位现有的测绘数据进行分析研究,设计并构建了从入库到查询统计的多源测绘数据信息化平台。实践应用证明,该平台能够满足多源测绘数据信息的入库、检索与分析等,对测绘体系的数字化建设具有重要意义。     

分布式云计算环境下的海量数据有效查询方法

在对分布式云环境下的海量数据进行查询的过程中,容易出现带宽有限、能量有限、链路频繁断接的特点,导致传统的查询方法由于采用自适应分发数据机制来减少数据的通信量,不能有效实现海量数据查询,提出一种基于查询节点动态轮换的分布式环境下海量数据有效查询方法,将分布式云计算环境下的网络看作是一个带权的无向图,给出分布式云计算环境下单位数据传输时延计算公式,分析了系统模型及海量数据查询的问题描述。将每次剩余能量最高的节点作为查询节点,当接收到一个查询请求时,各节点需感应同时采集该节点所覆盖区域的数据源,对其进行计算、处理等操作,获取趋于请求的结果集,每个节点沿各自路径将数据传输至查询节点,在传输的过程中,各节点将接收到的数据进行融合处理。仿真实验结果表明,所提方法具有很高的查询命中率。     

海洋数据平台数据可视化查询系统设计方案

海洋数据可视化查询系统对提高海洋数据查询效率、改善数据展示友好性具有重要意义。针对海洋数据库数据异构问题,研究设计了可视化信息数据库,为数据可视化业务层提供统一的数据层接口。利用组件技术设计实现海洋数据转换、数据查询及数据可视化功能,解决一般海洋数据管理系统仅能满足特定需求的局限性,提高系统的可扩展性及模块的可移植性。以渤海海区数据作为数据源开发原型系统验证了该系统的实用性。     

医院多系统异构多应用软件集成平台的研究

医疗集成平台是基于微软BizTalk平台建立一个标准化、集成化的医疗信息平台,对内集成临床信息系统、医院管理信息系统、电子病历浏览器等子系统,对外连接医保、公共卫生、区域健康、社区医疗等多个信息系统,实现医疗信息的规范化、一体化管理。     

物联网海量异构数据存储与共享策略研究

随着时代的不断发展进步,我国的物联网行业也得到了更好的发展,虽然物联网行业当中所涉及到的范围较广,但是整个行业发展仍然处于初级阶段,因此,需要重点解决物联网发展过程当中信息存储发展智能化的问题。在我国目前互联网发展的过程当中,需要重点解决的就是物联网在异构数据存储共享方面所存在的问题,只有更好地对这一问题进行解决,才能有效的保证物联网的发展质量。因此,本文将重点对物联网海量异构数据存储与共享策略进行研究。     

海量数据中心信息组织问题与对策研究

文章在梳理海量数据中心信息组织技术发展现状的基础上,归纳出海量数据中心信息组织中存在的5个主要矛盾,并提出了海量数据中心信息组织对策建议。     

基于遗传迭代优化的云计算下海量数据分类查询

由于传统的数据分类查询方法查询失效所承担的额外操作代价不同,无法有效实现优化分类查询,提出一种基于变异遗传散布的云计算环境下海量数据优化分类查询方法,对于含有云计算环境下海量数据的数据库,给出遗传迭代查询散布及数据间的查询响应函数,获取云计算环境下海量数据灰度散布值,融入遗传执行算子数据,获取遗传变异散布分类查询系数,在充分宽的尺度和平移区域中获取最大类别之间的匹配值,得到数据查询响应函数,将其转换成变异遗传散布控制量,从而实现云计算环境下海量数据的优化分类查询。仿真实验结果表明,所提方法具有很高的精度。     

海量有噪声Web数据优化挖掘方法研究

Web页面包含复杂的、无结构的、动态的数据信息,包含大量的、不完全的、有噪声的、模糊的、随机的数据,干扰了正常的提取过程.为此提出一种改进Apriori算法的海量Web数据高效挖掘方法.在自然连接产生候选集以前先进行一个修剪过程,减少参加连接的项集数量,因而减小生成的候选项集规模,减少了循环迭代次数和运行时间,同时在连接判断步骤中减少多余的判断次数.实验表明,该方法能够迅速排除冗余数据干扰,提高了挖掘的准确性.     

微博数据平台研究

分析了微博平台的特点,描述了基于事件的微博数据记录与组织方式,界定了微博平台的核心信息行为、信息事件及信息实体,并对各类实体信息组织中所需要的核心维度进行了定义。从微博数据空间导航和信息单元展示的角度探讨了微博平台人机交互接口,最后提出了微博数据组织的发展趋势。     

大数据环境下微信公众平台非结构化数据融合研究

微信公众平台具有开源、发布及时的特点,目前它已经成为各机构发布信息的重要渠道。但这类数据又具有非结构化、无语义描述的特点,如何将微信公众平台从非结构化数据转化为可分析、判断的结构化数据,成为一个亟须解决的问题。针对该问题,本文提出一个对微信公众平台结构化数据监测的层次体系。这一方法将通过数据融合方式,从平台资源中抽取数据,构建结构化数据库,进行权重比较,判断情报价值,进而实现对研究领域的态势监测。     

多通信智能小车队列协同控制研究

传统的车辆行驶模式使道路交通资源日益紧缺。为了提高道路资源利用率,提高道路安全,减小交通压力,智能车队列成为了解决交通问题的一种重要研究方向。本文通过研究智能小车队列,使用Zig Bee无线通信模块和蓝牙模块传输小车行驶信息,同时上位机对信息整合、分析、处理后,给予小车行驶命令,以保证小车队列的正常行驶,实现了智能小车队列的信息交汇与协同控制,为复杂的多车协同控制及实车队列控制提供了理论和实践基础。