基于GSM的远程气象实时监测平台的设计

介绍了基于了GSM网络传输的气象信息采集平台,可实现实时温度、湿度、时钟信号的采集．通过LCD1602实时显示设置温湿度变化异常报警机制;也能实现实时气象信息通过GSM模块TC35定时发送至数据中心站,接收后并在窗口显示,同时把接收气象信息连接成数据库并保存．数据中心站接受查询信息,比较并回复当下接收到的实时气象数据．实验表明,该设计方案合理可行,能实现气象信息的定时采集、稳定传输和实时报警．     

用VC~( )实现基于Winpcap的网络数据包捕获与分析

介绍了TCP/IP协议下网络数据的传输过程,并且分析了数据包的捕获原理,同时概述了WinPcap的结构组成。最后,使用VC 编程实现了基于WinPcap的网络数据包捕获和简单分析,并给出了实验结果。     

基于大数据的电能质量监测分析系统设计与实现

为解决传统电能质量监测系统数据接入可靠性不高,海量数据存储和统计分析能力不足的缺点,采用类数据库的事务处理机制设计数据调度采集过程,搭建基于 Cloudera 大数据平台的电能质量监测分析系统,对数据进行分布式存储、计算分析,实现对 TB 级电能质量数据的监测点指标与运行状态统计,以及对暂态事件的统计聚合分析等功能。实验证明该系统可靠、海量数据统计处理能力强,提高了数据存储可拓展性,为供电方提供了解决海量电能质量数据存储与分析的有效方案。     

综合论文训练管理系统中海量数据上载的设计与实现

清华大学综合论文训练管理系统面向本科生教学,通过基于B/S的海量数据上载方法实现了电子论文的提交和审核.海量数据上载采用Hibernate的大数据字段访问、文件缓存的海量数据传输、大文件传输的并发访问控制和Oracle数据库的海量数据存储等关键技术,解决了传统海量数据上载在存储、断点续传、网络传输、并发控制等多方面的不足,在清华大学的实践中获得了良好的应用.     

敦煌石窟海量数据无差错传输系统的设计与开发

本文针对敦煌石窟数字化海量数据在实际工作数据传输过程中出现的问题,认为海量数据无差错传输技术,在敦煌石窟数字化过程中是非常重要的一项技术。敦煌石窟海量数据无差错传输系统的设计与开发,为了开发出实用性强的软件,首先针对敦煌石窟壁画数字化工作流程、分析摄影采集、图像处理和数据存储各阶段的特点,提出了敦煌石窟海量数据无差错传输系统的需求;其次,设计了敦煌石窟海量数据传输校验方案,针对敦煌石窟壁画数字化工作流程提出了层级式校验,依据该校验思想,设计了数据校验的整体框架并做了优化,最后设计出数据传输校验的详细模型,确保了数据传输的完整性;最后,基于上述方案,设计并实现了敦煌石窟海量数据无差错传输系统,利用 VisualStudio2010开发平台、C++程序开发语言完成系统的开发。此系统已在敦煌壁画数字化工作中实际应用,效果良好。     

DNS欺骗技术的实现

分析了在以太网中通过数据监听技术,截获DNS报文,进而伪造DN S报文进行DNS欺骗的技术,并给出基于WinPcap的VC实现.     

基于大数据的统计分析模型设计

统计是利用尽可能少的局部样本数据来发现总体规律,处理对象往往数据规模小且数据结构单一。在大数据环境下,面临海量数据的采集与统计,传统方法已无法满足大规模数据集处理。基于Hadoop系统,利用其分布式存储和并行处理机制,设计了大数据环境下的统计分析模型,从海量数据中提取出有用的信息特征,实现数据资源共享,为相关部门决策提供信息服务。     

基于WinPcap的垃圾邮件过滤系统的设计

针对目前广泛应用的邮件通信的安全问题,设计并实现了一种基于WinPcap的网络垃圾邮件过滤系统.简单介绍了垃圾邮件过滤的相关技术以及该系统的设计结构,对实现过程中涉及到的几个关键技术进行了详细阐述.     

基于GIS的交通事故多维分析系统的研究

为适应交通运输系统信息化发展态势,充分有效地利用海量的交通事故数据,提出了一个交通事故的多维数据概念模型,讨论了基于ROLAP的多维数据模型的实现方法,探讨了一种GIS与OLAP的集成模型,提出了基于GIS的交通事故多维分析系统的框架。     

海量数据查询分析系统备份与恢复策略设计

解决海量数据查询分析系统存在的数据量与查询速度,数据访问局部性与数据无限制性需求间的矛盾,提出一种备份和恢复策略,备份加载前的数据,并将业务数据的时间属性与备份任务关联,与基于DBMS的备份和恢复方式相比,降低了海量数据对磁盘阵列空间和备份操作对系统资源的占用,增加了恢复数据的可操作粒度和配置灵活性。     

大数据时代高校数字档案资源管理研究

高校在校园信息化过程中产生和积累的数据已经具备了大数据特征,从海量数据中提取出有价值的信息归档保存和提供利用具有重要的意义。该文站在档案信息资源角度概述了大数据管理的最新研究成果。从大数据4V特征出发,分析了高校大数据来源的主要渠道,厘清数据与档案之间的关系,构建基于大数据生命周期管理模型。文中从观念转变、组织协调、战略制定、数据采集、清洗、聚合等方面着手,做好数据管理和重要数据归档工作。如何对大数据进行有效管理已经成为大数据发展的重要课题,高校尤其是档案部门作为主管历史记录和信息资源的职能机构,更应抓住机遇,履行对数字档案资源管理的职能。     

基于OURSPXA270平台的安防系统之服务端设计与实现

本文以OURSPXA270为硬件平台,以Qt4．4．3为开发工具,对基于OURSPXA270平台的安防系统的服务端进行设计和实现,主要完成用户基本信息的接收与显示、客户端各种传感器状态信息的图文显示、客户端现场视频的再现、为客户端与服务端提供聊天的简易环境、利用数据库对来自客户端的图文数据进行保存和处理、提供多用户支持等功能,达到了安防的基本要求,满足了人们日常生活的基本需要。     

基于 ELK+Kafka 的智慧运维大数据分析平台研究与实现

基于 ELK 在智慧运维大数据分析平台实现海量数据分析,对 ELK 的部署结构进行优化,并在日志采集和日志处理中间增加 Kafka 消息处理队列,减轻 Logstash 压力,增加集群高可用性。通过 Logstash 的 Filter 插件利用正则表达式实现日志数据拆分,将拆分后的字段在 Elasticsearch 中存储,最终利用 Kibana 对日志数据进行搜索、绘图和展示。使用基于 ELK 的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近 1s的延迟搜索。     

基于内存计算技术的高性能数据中心研究

大数据时代数据量剧增,信息增长速度超乎想象,成为影响数据中心性能的关键因素。如何在海量数据处理中保持良好性能是一个极具挑战性的问题。为解决海量数据的读取和统计问题,开展了高性能数据中心实现技术研究。分析了当前IT技术发展趋势,通过对内存计算技术和数据建模技术研究,采用内存计算技术和数据建模技术构建新型的数据中心,实现了数据中心性能的大幅提升。     

异构存储的HDFS副本选择策略研究

大数据时代的到来,给海量数据的存储与管理带来了更为严峻的挑战。HDFS能够有效缓解飞速增长的海量数据存储需求。最初HDFS被设计用于同构的硬件环境,然而随着集群硬件的迭代更新,存储介质的硬件异构特性愈发明显。为了充分利用高性能存储介质,提升HDFS的数据访问性能,设计了一种基于层次分析法的异构存储的HDFS副本选择策略,并在扩展的CloudSim仿真系统中实现了该策略。实验结果表明,该策略在HDFS数据访问性能方面优于HDFS默认副本选择策略。     

远程教育中云存储机制下图像数据分类模型优化设计

远程教育中云存储机制下存有海量图像数据,在海量数据中存在大量与需要检索的特定图像特征相近的冗余图像,传统的基于图像特征的分类方法,由于关键帧准确性较低,造成图像分类不准确,导致远程教育中图像数据的检索准确性较低。为此,提出基于关联规则挖掘算法的图像数据优化分类方法。对可能是冗余的图像数据进行微调,使待检索图像关键帧处于准确的变化区间内,利用图像校验方法,消除冗余图像,对校验结果进行二次检验,降低了建立图像数据特征关联的偏差,实现了对图像数据的准确分类。实验结果表明,利用该方法能够对远程教育中云存储机制下的图像数据进行准确检索。     

基于Open Inventor的储层三维雕刻技术研究及实现

在地球物理勘探中,数据的可视化是必不可少的。由于地震数据是海量数据,数据量巨大,在可视化绘制过程中面临着需提高效率、减小误差,以及高精度地展现数据特点等问题,因此地质勘探数据的可视化技术一直备受关注。使用Visual Studio 2008,基于Open Inventor三维图形可视化软件的扩展模块VolumeViz和MeshViz实现了地震数据的多分辨率显示,以及层位数据和测井数据的交互式三维可视化。结合Open Inventor的LDM多分辨率特性和MeshViz对数据的渲染,可以实现储层雕刻的高速率、高精度和良好的交互性。     

超大正射影像数据互联网发布系统的设计与实现

正射影像（DOM）数据在WebGIS中应用要解决的首要问题是如何将具有超大范围的海量正射影像数据在互联网进行有效发布。本文在进行了理论研究并做出了大量实践工作的基础上,围绕超大影像数据的互联网有效发市问题,展开深入分析和讨论,最终给出了基于MVC的三层体系结构系统的设计与实现。     

基于VB6.0的计算机与单片机串行通信

介绍计算机与单片机串行通信的实现方案,其中计算机接收和发送数据是用VB6中的MSCOMM控件来实现的,并将接收的数据保存在数据文中以备后继处理;单片机接收计算机的数据主要是用来设置单片机的工作参数的,单片机定时向计算机发送一定的数据,主要是单片机产生的数据或由单片机检测的数据,用汇编语言编程.     

海量断层数据三角剖分方法研究

针对海量断层数据提出一种新的三角剖分算法及相应数据文件存储格式,实现了海量数据的分布方式组织与重建。算法分三步,先将数据连续分成若干层;再将各层布置到不同的计算结点上进行组织与三角化;最后将所有网格数据拼合形成最终的结果。实验结果表明算法可以自动高效地实现三角剖分并保持原形状细节特征,生成的数据文件存取速度较快。