地学中海量数据的并行可视化研究进展

地球科学中观测和数值模拟结果数据爆炸式的增长,给可视化和分析这些海量数据带来了极大的挑战,将海量数据并行可视化技术应用到地球科学中是解决这一问题的有效手段。地球科学中海量数据可视化是目前国际科学可视化研究的一个新方向。本文首先介绍海量数据并行可视化的几个步骤,然后总结了地球科学中海量数据的特点,重点讨论了海量数据并行可视化在地幔对流、地震波传播以及海啸数值模拟等可视化研究中的应用实例。     

网格技术的应用及发展趋势

网格是构筑在互联网上的一种新兴技术,代表了一种先进的技术和基础设施,它将实现互联网上所有资源的互联互通,它被认为是继Internet之后又一次重大的科技进步。随着网格技术的发展和应用的扩展,网格逐步进入到商业使用中,网格技术和应用将成为具有高性能处理、海量数据存储和大量仪器设备等特征的21世纪人类社会的信息处理基础设施。因此,对网格技术的研究越来越引起人们关注。     

高能物理实验的数据密集型计算

高能物理一直是信息技术发展的主要推动者之一。现代高能物理产生的海量数据对计算机技术提出巨大的挑战。为了应对这些挑战,国内外高能物理领域的科学家根据数据处理的特点建立新的计算平台用于传输、储存及分析处理PB量级的数据。文章介绍了现代高能物理实验及数据处理的发展,并描述了高能物理的计算模型以及以网格技术为代表的数据密集型计算平台;详细介绍了数据密集型网格平台在LHC实验、BESIII实验中的应用以及中国的数据密集型网格平台。并对云计算等新技术在高能物理领域的应用进行了展望。     

基于无缝运输信息网格的并行数据挖掘

铁路运输、公路运输、水路运输和航空运输等系统中积累了大量的原始数据信息,为了有效地从这些异地的海量数据信息中抽取知识给无缝运输管理者提供决策支持,结合网格技术和数据挖掘技术提出了一个基于无缝运输信息网格（STIG）的并行数据挖掘方案。该方案的架构包括四层：用户层、挖掘任务分析和管理层、计算层、数据层。该方案的实现主要涉及数据挖掘算法服务的发现、数据分配和大数据源的分布式处理等技术。     

城市三维模型海量数据动态组织调度方法

城市三维模型的海量特性和当前计算机硬件瓶颈给模型的实时渲染提出了较大的挑战.改进三维地理信息系统(GIS)中数据的组织与管理方式是提高三维场景可视化效率的有效途径,本文提出基于四叉树空间索引对数据进行组织,基于视点的层次模型技术(LOD)对数据进行动态调度,同时提出一种将纹理作为渲染单元重构网格数据的方法,对粗糙模型的渲染进行批处理,有效降低了耗时的渲染次数.实验证明,该方法是高效可行的,渲染帧率稳定在30帧左右,能够满足海量城市三维模型的可视化和实时交互需求.     

推进数据密集科学发现 提升科技创新能力：新模式、新方法、新挑战——《第四范式：数据密集型科学发现》译著出版

海量科学数据正日益成为科学研究的有力工具及知识基础。文章从《第四范式:数据密集型科学发现》一书出发,通过地球与环境科学、生命与健康科学、数字信息基础设施和数字化学术信息交流等方面基于海量数据的科研活动的生动实例,揭示了这种数据密集型科学发现的新范式对科学研究带来的新模式、新方法,最后从科学数据的管理、互操作、数据权益管理、数据素养等方面提出了驾驭第四范式的挑战。     

基于网格计算技术的审计初探

针对会计电算化、企业信息化对审计环境、审计线索、审计内容、审计技术的影响,提出了基于web服务的审计网格解决方案,能够支持:动态、实时的事前审计;对异地、海量、异构、复杂企业数据的审计;解决审计线索主要是原始凭证丢失问题,全面提高审计质量,支持网络环境下的审计。     

大数据分析挖掘技术及其决策应用研究

挖掘技术是现代数据分析中常用的技术,在海量的数据中挖掘有用的数据,在计算机研究领域经常与遗传算法等结合使用,数据挖掘更加科学,更加合理,为我国现代社会经济建设起到技术支持保障。在互联网+时代,各个领域设计到海量的数据,如何进行数据分析、数据挖掘,提升数据的利用率,对促进行业的发展起到重要作用。本论文从不同方面阐述大数据分析挖掘技术及其决策应用研究,希望为研究大数据分析挖掘技术的应用的专家和学者提供理论参考依据。     

谈网格计算及知识型信息服务

网格 (Grid)被誉为继Internet和Web之后的第三次信息技术浪潮。网格计算可以满足海量商业数据分析(如在客户关系管理中的数据挖掘 )所需的CPU资源要求。因此 ,Web服务技术与网格计算技术的融合 ,是推进知识型信息服务进一步发展的利器 ,它将极大地改变传统电子商务开发和运营模式。通过网格计算的特点的论述 ,探讨了网格在知识型信息服务的应用及前景。     

海量数据库查询优化研究

随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。     

基于网格技术的教务管理数据共享技术研究

以开放网格服务结构数据访问与整合（OGSA-DAI）技术研究校务管理系统中数据集成技术,对教务系统网格服务框架和教务系统数据网格服务实现进行了详细的研究,该技术对目前异构数据库的数据集成具有很高的参考价值。     

云计算环境下数字图书馆信息资源建设的理性思考

云计算技术是分布式处理、并行计算和网格计算的发展,是新一代的互联网计算模型。其安全可靠的海量数据存储和强大的计算能力,不但使数字图书馆产生了革命性的变革,也使数字图书馆信息资源面临信息安全的问题。数字图书馆应采用最新的技术手段、统一身份认证、严格控制访问权限、制定相关标准及政策法规,以保障图书馆的合法权利和数据安全。     

海量数据中心信息组织问题与对策研究

文章在梳理海量数据中心信息组织技术发展现状的基础上,归纳出海量数据中心信息组织中存在的5个主要矛盾,并提出了海量数据中心信息组织对策建议。     

科学数据智能：人工智能在科学发现中的机遇与挑战

随着全球各科学领域大科学装置的出现,科学发现进入了大数据时代。科学发现无法完全依赖于专家经验从海量数据中发现稀有科学事件,大量历史数据无法有效利用,同时愈发突出实时性和高精度,科学事件的模式具有稀有性,通用的算法并不适用于科学领域,由此科学数据智能发现问题应运而生。科学数据智能发现旨在使用数据智能的方法加速科学事件的发现。然而,科学数据智能发现缺少整体框架设计,具体表现为缺乏科学数据的一体化分析体系和异构科学数据高效知识融合机制,并且海量历史数据长期存储及挖掘低效。本文从数据管理的角度提出科学数据智能发现与管理框架和相关挑战,以期推动科学发现的进步。     

智慧城市建设中大数据技术的应用

大数据是近些年新兴的互联网信息技术的一种,在各个领域的应用十分广泛,大数据主要是指对海量数据的分析和处理,对数据决策提供科学的依据和信息,各种数据的整合至关重要。大数据技术一般应用在比较智能化的系统中,应用在智慧城市建设和规划中可以体现出大数据的优势,数据逐渐成为一种资产和财富,为具体的决策提供科学的参数。智慧城市建设中需要大数据技术作为支撑技术,数据、算法、应用和平台相辅相成,发掘出大数据的价值,进而为智慧城市的建设奠定良好的基础。对智慧城市的特点进行了阐述,分析了智慧城市建设中大数据技术面临的挑战,提出了优化大数据技术在智慧城市应用的有效对策。     

数据网格及P2P在网络中的应用

近十年来,计算机网络迅猛发展,同时网络的使用也逐渐增加,信息的数量、种类和分布都达到了一种"爆炸式"的增长。如何存储、分发、组织和管理、高性能处理、分析和挖掘海量分布数据成为许多应用的首要问题。数据网格技术的发展为解决这个问题提供了一条有效的技术途径。而P2P方式作为一个彻底的分布式计算模型,与集中的服务器方式相比,具有很多优势。     

一种大数据挖掘技术——Apriori算法分析

随着互联网的广泛应用与云计算技术得到飞速发展,如何从大数据中寻求数据规律,并以此做出科学的预测与决策,成为目前数据挖掘技术的主要研究方向之一。Apriori算法就是一种基于海量数据并挖掘关联规则频繁项集的典型算法,其在大数据挖掘分析中具有较大研究与应用价值。     

海量数据处理系统框架关键技术研究

随着科学技术的飞速发展,为了更好的解决物联网中海量数据的处理问题,对海量数据处理系统框架关键技术予以有效研究,通过多项技术策略分析探究,提升海量数据处理效率。     

基于中国国家高性能计算与网格系统的抗震减灾应用平台

“5．12”汶川8．0级特大地震是新中国成立以来破坏性最强、波及范围最广、救灾难度最大的一次地震。通过对“5．12”汶川8．0级特大地震的科学反思与总结,地震系统深刻认识到只有做好抗震防灾工作,才能最大程度地减少地震造成的破坏与损失。抗震减灾工作面对的是一系列世界性的尖端科学难题和几近海量的地震观测与应急救援数据,为突破传统救援模式中作业效率低、决策依据严重滞后的缺陷,必须借助高性能计算与网格系统等震害数据处理手段,同时有效解决常规作业模式中的处理速度瓶颈问题,以确保将地震灾害损失降到最小。因此,我们提出将高性能网格计算平台与GNSS、InSAR、高速滑坡模拟等前沿技术相融合的快速防震减灾数据处理平台建设思路,我们的目标是通过对现有技术的创新性应用,显著提高各项应急管理能力,最大限度地减少地震造成的危害并拓宽中国国家高性能计算与网格系统的应用领域。     

WEB文本海量数据挖掘应用中的多点数据采集及处理问题研究

对海量数据采集与挖掘技术的问题,提出如何利用WEB文本进行多断点控制、并发采集、网上清洗等新技术方法进行海量数据采集及处理,构建了基于WEB文本海量数据挖掘的应用统计系统,实现了三千多万条原始数据的采集、转换、统计.