基于Hadoop的图书馆复合大数据存储系统研究

Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。     

安卓导向下的车辆监控系统构建及应用

针对目前车辆越来越多、管理难度越来越大的现状,传统的车辆监控模式已经无法满足当前繁重的车辆管理的现状。在这种情况下,本文提出了基于安卓导向下的车辆监控系统的设计和构建,将采集到的数据通过无线局域网传至监控中心,并对这些数据进行储存和处理,以实现对车辆的有效监控。本文以安卓导向下的车辆监控系统为研究切入点,对该系统构建的设计和应用进行了详细的论述和研究。     

视频监控系统发展现状与趋势

视频监控作为安防技术的有效手段已经被广泛应用到公共安全、家庭安全等多种场合。但是传统的视频安防技术并没有充分发掘监控视频中的所有信息,当前事后人力观察的视频处理方法无法发挥视频安防的时效性和预警特点。随着技术和安全需求的发展,视频安防技术也在快速发展,但是依然面临很多问题。视频安防产生的海量数据既是一种资源也是一种负担,围绕视频安防的海量数据有三个问题需要解决:一、海量视频数据的产生和传输,二、海量视频数据的存储,三、海量视频数据的充分利用。本文针对这三个方面总结了视频安防系统的发展和趋势,以及存在的问题。同时不惜笔墨地重点介绍了视频存储技术和最新的利用云存储作为海量视频的存储方法,基于机器学习的视频数据处理方法实现视频监控的智能化。     

基于物联网的城轨车辆轮对温度与振动状态智能监控系统研究

轨道车辆的轮对运行状态监测是保障车辆高速运行的重要环节,本文提供了基于无线物联网的车辆轮对实时温度与振动状态智能监控系统解决方案,引入BP与卷积神经网络机器学习算法,利用云平台提供的数据存储与高能运算服务,实现轨道车辆行驶过程中轮对运行状态的实时监控与故障预警诊断。     

基于大数据的桥梁监测信息分类技术研究

针对桥梁健康监测获取海量数据却无法实时精确地监测评估桥梁结构状态的困难性,本立足数据挖掘算法理论,在Hadoop平台下运用KNN文本分类算法对桥梁结构缩尺模型加速度数据进行分类分析,采用分布式文件系统HDFS对监测数据进行存储和访问,应用Map/Reduce并行计算框架对桥梁各环境参数进行计算,并据此判断监测点属于何种工况,实现了桥梁监测海量数据的存储、访问、分类以及桥梁结构健康状况的判别,通过实验室缩尺模型工程实例验证了理论的有效性。实验结果表明,与传统的串行分类算法相比,基于Hadoop平台的并行分类算法具有较好的扩展性,并取得了基于大数据理论的桥梁监测技术研究的革新。     

基于Hadoop和HBase的Nutch网页排序算法研究

针对Nutch网页排序算法和中文分词的不足以及单机运行的效率问题,在Nutch综合网页排序中添加用户点击率、网页发布时间以及主题内容相关度3个影响因子,同时添加JE中文分词器,最后利用基于HDFS的HBase技术使Nutch能够实时高效地索引和检索海量数据。通过对实验结果数据的分析发现,Nutch的爬取和索引效率提高了7.93%,用户检索效率与查询准确度分别提高了11.11%与19.51%。     

基于多级反馈队列调度的电动汽车充电模型及其云实现

充电汽车的普及和推广,使人们在日常出行方面减少了化石燃料的使用,从一定程度上解决了能源短缺和大气污染的问题,但同时也造成了大规模充电行为对电网产生的巨大冲击,影响了电网的稳定运行。文章借鉴计算机操作系统任务调度算法,提出一种考虑到电网侧负荷以及充电公平性的多级反馈队列优化充电模型。电动汽车在关注的电网中按照以上提出的充电方案来进行充电,既没有违背公平原则,又实现了最优化充电,同时保证电网安全稳定运行,降低了资源浪费。电动汽车充电过程中涉及到了多方面的异构化信息,其中包括车联网、智能电网、充电设备网络和额外的有关信息。而以上模型的实现需要把多方面的数据信息加以融合,并且要解决海量数据带来的大数据处理问题。本文提出的电动汽车充电模型利用Hadoop云计算平台来解决大数据集的并行化计算问题,使用HDFS分布式文件系统和HBase非关系型数据库解决海量数据的存储问题。     

基于大数据分析的文本智能识别系统的研究

根据软件工程的基本原理在Ubuntu操作系统环境下使用Eclipse开发工具,设计并实现了基于Hadoop系统架构的NaiveBayes算法文本分类系统。系统将大量中文文本数据集存储在分布式文件系统HDFS上,通过MapReduce并行计算模型和Ansj中文分词库对中文数据集进行分词,采用TF-IDF算法进行文本特征抽取,最后基于Spark并行计算框架和NaiveBayes算法对特征数据集进行模型训练,得到文本分类模型,将文本分类服务集成到Web页面。系统基本实现了文本的正确分类。     

社会治安网络视频监控系统设计方案

随着安社会视频监控系统迅速向数字化、网络化的新一代系统迈进,安防产业面临着一个新兴的、机遇与挑战并存的发展成长空间,智能视频监技术发展将势不可挡。本文设计一个安全的视频监控方案。该方案新增加的视频监控点,采用前端模拟设备和视频服务器,通过视频服务器实现图像采集编码一体化,并考虑如何将智能分析的结果用于快速检索。面对未来海量的视频图像数据,需要在视频数据存储之前进行特征叠加的图像预处理,便于在事后可以对海量视频信息进行快速检索。     

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

GPS在现代物流运输管理中的应用

本文对GPS技术在现代物流运输管理中的应用领域进行了分析,提出基于GPS技术的运输管理监控系统主要应用于车辆导航、车辆监控和调度、信息查询与共享、线路优化四个主要方面的论述,而且随着我国物流业的飞速发展,在应用层面上GPS与其他技术的综合呈现出不同的特点。     

基于Oracle RDBMS的遥感影像分布式存储的研究

本文主要研究基于Oracle关系数据库管理系统(RDBMS)对海量遥感影像进行分布式存储的方法。通过对比传统关系数据库和NOSQL非关系数据库的特点和优劣,决定使用Oracle 11数据库软件,基于Oracle RDBMS的分布式数据库系统架构,建立数据库链接与共享数据的联系,结合金字塔影像结构对其进行存储和管理,实现海量遥感影像数据的高效存储和安全保障。     

基于GPS技术的运输管理系统在钢铁企业中应用研究

如何应用基于GPS技术的运输管理系统对物流运输车辆进行有效指挥、协调控制和管理已经成为现代物流企业面临的一个重要课题。本文介绍了GPS基本组成与功能,分析了基于GPS技术的运输管理监控系统的原理,结合实际案例阐述了基于GPS技术的运输管理系统在现代物流企业中的应用及效果评价。     

基于3S技术的危运车辆智能监控与预警系统研究

危险品道路运输是道路运输重要组成部分,也是各部门的重点监管对象。本文应用3S技术研究与设计的危运车辆智能监控与预警系统,集车辆状态实时采集和动态监控、车辆定位和跟踪、应急管理与调度等功能于一体。传感器技术实时采集车辆及危运品的状态,并进行动态监控与预警调度;GPS技术应用于车辆定位功能、GIS技术完成车辆定位的地图显示与操作,同时也集成了车辆、车主、危险品的信息。有效解决现有监控智能化与数据整合度不足等问题。     

对核电站系统中数据采集的研究

本文介绍了通过W78E51高性能单片机来实现对八位开关数据和模拟数据的采集存储。通过TLC2543CN,ADC0809进行数据采集,并存储于62256和74HC573中,再通过串口与单片机相连接实现数据传输,提高了系统的通信效率。数据采集发挥着在监控中心和现场之间过渡的作用,是核电站自动监控系统的重要组成部分。数据传输负责将监控数据传输到上位机,并将上位机的控制命令发送到监测仪表,对数据监控的网络化和智能化都具有重要的意义。     

危险品车辆运输途中状态监测系统的设计

危险化学品由于自身的危险性,在运输中若发生交通事故或泄漏事故,不仅会车毁人亡,而且会引发燃烧、爆炸、腐蚀、毒害等一些严重的灾害事故。本文提出基于嵌入式web技术、3G网络技术以及Zigbee技术设计出危险品车辆运输途中状态信息实时监测系统。监测系统在车辆内部的通讯时采用Zigbee技术,系统将采集的状态参量通过3G网络发送到远程的监控中心,从而达到对危险品运输车辆的无线监控。     

大数据可视化之运输企业运营网络可视化分析

大数据可视化是一种新技术,是从数据采集、存储、计算、调度、高级搜索等核心功能,并基于云计算科学管理数据,保证数据安全性和稳定性的系统。将该系统应用于运输企业运营网络进行大数据可视化分析,有利于完善运输企业的运营系统,提高企业效率,实现企业利润最大化。同时,以其通过完善物流信息平台的诸多功能架构,支持物流信息平台的大数据开发程度和利用率。基于此,本文将对大数据可视化背景下的运输企业的运营网络进行可视化分析探讨。     

基于HDFS的数字图书馆云存储系统研究

分析数字图书馆海量存储系统面临问题及特殊要求,结合HDFS云存储系统的特点,设计了一套适合HDFS的中间件;结合Sequence File文件合并技术,构建一套能满足数字图书馆文献资源存储和访问特点的云存储系统.     

高校网络日志大数据分析平台的研究

为解决海量日志数据的存储分析问题,提出采用主流大数据Hadoop生态平台组件来进行解决以上问题;将大数据技术与高校网络日志数据存储与分析相融合,构建了一个基于大数据技术—Hadoop的校园网络日志分析平台,来进行实时监控高校学生的上网行为信息,进而辅助高校的教学管理,对高校的信息化改革具有重要意义。     

云平台下大型矩阵乘法运算处理方案设计

本文在开源云计算平台Hadoop的基础上利用MapReduce和HDFS,针对大型矩阵相乘,并结合个人实际水平进行简单的开发应用。通过开发和研究,进一步探讨云计算关键技术MapReduce对于海量数据处理的意义。