一种基于校园物联网实验平台的大数据存储模型

针对物联网传感数据具有的多样性、时空性及大数据特性等特征,在校园物联网实验平台环境下,提出一种基于HBase和My SQL的物联网大数据存储模型。根据平台实际应用的特点,该模型首先通过传统关系数据库接收并存储物联网传感数据,然后通过Sqoop数据转存,实现物联网数据在HBase和HDFS存储架构下的分布式存储,最后在物联网实验平台中应用该模型,并取得了较好的效果。     

工业物联网大数据服务平台的研究与应用——以机械制造行业为例

随着工业物联网技术的快速发展,工业生产中数据呈现重要变化,传统的数据处理和存储方法不再适用.以机械制造行业为例,通过传感器和数控系统的通信协议等采集机械生产数据,针对这些数据具有海量异构多源等特性,进行了工业物联网大数据服务平台的研究和设计.该服务平台实现了对机械生产数据的监测、处理、存储和可视化,以及设备能效分析和数...     

基于大数据的电能质量监测分析系统设计与实现

为解决传统电能质量监测系统数据接入可靠性不高,海量数据存储和统计分析能力不足的缺点,采用类数据库的事务处理机制设计数据调度采集过程,搭建基于 Cloudera 大数据平台的电能质量监测分析系统,对数据进行分布式存储、计算分析,实现对 TB 级电能质量数据的监测点指标与运行状态统计,以及对暂态事件的统计聚合分析等功能。实验证明该系统可靠、海量数据统计处理能力强,提高了数据存储可拓展性,为供电方提供了解决海量电能质量数据存储与分析的有效方案。     

基于STM32的多功能虚拟示波仪的设计

针对传统示波器在数据存储以及处理等方面的局限性,开发了基于STM32内核处理器的虚拟示波仪。该虚拟示波仪通过USB数据线将采集的数据快速传到PC端,利用PC强大的计算能力完成对数据的滤波处理和幅频、相频分析等功能,不仅能实现传统数字示波器的功能,还能充分利用计算机实现数据分析、数据存储等功能。开发了支持巴特沃斯等类型的IIR滤波器和支持布莱克曼窗等类型的FIR型滤波器,实现虚拟示波仪数据传输、处理、显示、存储等功能。     

基于云计算的中小企业移动电商个性化平台创新研究

作为一种崭新的商务模式,移动电商对传统电商模式提出了挑战,成为未来移动应用的主要模式。云计算的出现改变了传统的数据分析和处理方法,为海量数据的存储、分析和处理提供了解决方案。分析了云计算相关理论,从平台架构、关键技术及实现等方面进行了研究,构建了中小企业移动电商个性化平台,满足了大数据背景下用户个性化推荐需求。     

基于HBase的车联网传感数据管理系统设计

关系型数据库由于面向行存储以及无法扩展等原因,已很难满足大规模车联网传感数据的存储与查询要求。针对该问题,设计了一个基于非关系型数据库HBase存储的车联网传感数据管理系统。该系统采用Hadoop与HBase搭建分布式实验平台,采用C#语言开发Web网页端。通过与传统关系型数据库SQL Server的存储与查询效率进行对比分析,表明HBase在处理大规模车联网传感数据方面具有明显优势。     

基于Ceph的云存储应用研究

随着高校信息化的发展,高校数据中心越来越多地采用微服务架构,但传统Docker容器的存储技术存在着数据可靠性低、数据不能持久化、动态扩展性差等问题.面对上述问题,本文提出一种基于Ceph存储集群平台和Kubernetes后端存储技术的高校容器云存储的解决方案,该方案利用Ceph构建底层云存储集群,解决了存储数据的可靠性差的问题,并利用Kubernetes的Persistent Volume和Dynamic provisioning存储技术实现了容器存储的持久化和动态置备,解决了数据持久化和动态扩展的问题.     

基于USB HOST的语音采集存储系统设计

以DSP为核心处理芯片建立了具有USBHOST和语音采集的硬件平台,并在平台上进行LINUX系统移植,以及开发和加载语音采集和USBHOST的API函数。该系统最终实现了语音数据采集存储和嵌入式系统对USB存储器进行读写操作,把采集到的语音数据直接保存到USB存储器中,完成了批量数据的存储和传输。实验结果表明,系统具有较强的工业应用价值。     

超融合架构的大数据虚拟仿真实验平台建设研究

为了更好地开展大数据实验教学与研究,提高大数据实验课程质量,克服传统大数据实验建设弊端,基 于 KVM 技术与超融合架构设计一种新的大数据虚拟仿真实验平台建设方案。该方案将计算和存储融合在X86 单一物理节点中,分布式存储成本低,提高了 IO 性能,具有开放兼容、易于扩展,方便维护、高可用等特点。该大数据虚拟仿真实验平台能够简化大数据实验平台环境搭建,提高教学实验效率。基于该平台可以定制各种实验环境,通过弹性分配计算资源,保障实验教学环境稳定运行。     

基于ZigBee和STM32的矿用顶板离层监测实验系统设计

结合煤矿安全专业的教学特点和工程实践,给出了一套矿用顶板离层监测系统的教学实验方案设计。该方案以ZigBee无线网络和嵌入式系统为基础,包括监测节点和监测分站两部分,节点负责数据的采集,并通过ZigBee点对点的通信方式进行互联,分站负责数据存储和转存处理,支持触屏操作,实现人机交互,与传统的机械式和有线式离层仪相比,具有读数方便、准确和精度高等优势。通过该系统平台可以让学生深刻理解ZigBee和嵌入式技术在煤矿中的应用,满足了煤矿相关专业的实践教学要求。     

大数据的时代背景、系统实现及关键技术解析

从IT基本常识出发对大数据的时代背景、系统实现及关键技术做一简单梳理与解析.大数据是超出了传统数据库管理工具抓取、存储、管理和分析能力的数据群.大数据存储与处理的危机推动着大数据处理技术的飞速发展,大数据采集、处理、存储、分析的系统实现方案日渐成熟. MapReduce应用于大数据处理的各个环节,是大数据处理的关键技术.     

远程实验数据监控系统设计与应用

为改变传统实验开放度和智能化程度不高的情况,自主研制了三容水箱实验平台,设计了远程数据监控系统。该系统通过三容水箱数据中继器将数据采集器实时采集的数据上传至数据监控软件处理,数据监控软件运用多线程技术实现数据存储、数据显示并发送控制指令,对远程实验台进行故障检测、智能管理和实时监测控制,为开放式远程控制实验创造条件。     

基于GJB6600标准的IETM创作平台与客户端研究

军事装备的技术资料大多数仍采用传统纸制介质存储,传统纸制介质存在信息存储困难、维护效率低下等问题。在分析GJB6600标准下交互式电子技术手册（IETM）关于设计问题的基础上,设计并实现了一种基于GJB6600标准的IETM创作平台和浏览IETM的客户端。开发的创作平台和客户端平台具有智能诊断、语音识别及导航索引功能,数据通过数据库以及XML文件存储,最终生成的IETM以HTML文件形式组织,达到了IETM五级标准。     

基于Shiny框架的海洋浮标大数据处理实验平台

介绍了一种海洋浮标监测大数据在线获取、存储、处理和可视化实验平台。该平台基于Shiny网页框架进行构建,通过网络爬虫获取美国国家海洋与大气管理局(NOAA)公开的海洋浮标实时监测数据,利用Oracle数据库对数据进行高效存储和管理,进而利用R语言进行数据挖掘和可视化。该实验平台涵盖的上述功能模块有助于学生全面学习海洋浮标监测数据处理的各个流程,学习大数据处理的先进算法。同时,R语言开放的接口可用于嵌入各类新的数据挖掘和处理算法,有助于学生了解数据处理领域的最新算法,提升系统集成能力,进而提升学生的创新能力。     

基于物联网的电气绝缘特性实验平台设计

在传统物联网基础上,提出一种基于物联网的电气绝缘特性实验平台的设计方案。采用物联网三层结构,设计了一套由智能绝缘参数测试仪、数据合并单元及云服务器组成的电气绝缘特性实验平台。该平台采用先进的嵌入式技术、LoRa无线通信及4G广域通信技术,实现电气绝缘特性实验数据的采集、远程传输、云存储、管理及分析。     

基于Web Services的实验教学平台研究与设计

为了实现计算机类课程实验的跟踪管理,设计了一种基于Web Services的实验教学平台,该平台在Web Services框架上建立通用的实验管理服务作为信息提供者为用户提供相关实验教学管理服务,采用XML技术实现数据存储与通信。XML格式的实验项目数据被下载到客户端并解析处理,最终的实验结果封装为XML上传至服务端,将WEB服务和实验管理服务部署在不同的服务器之上,有效地减轻了WEB服务端的负荷,并实现系统的跨平台运行。     

高职院校教育资源云平台的数据存储研究

文章分析了高职院校教育资源的现状和面临的问题,介绍了云存储的结构模型和优势,提出了一种基于云存储的数据存储方案.该方案采用Hadoop云平台,将HDFS与现有高职院校教育云平台相结合,有效解决了教育资源云平台上海量数据的存储问题.     

基于ETL的考试信息资源整合系统的设计与研究

随着天津市教育招生考试院信息化的建设,院内积累了大量软硬件平台各异的应用系统,并且在各种应用系统中存储了丰富的异构数据资源。本文分析了当前数据集成技术的优缺点,并基于ETL技术设计实现了考试信息资源系统的整合。该系统能够收集、处理和合并各种不同的考试数据信息,以便将有用的数据应用到数据仓库、数据集市、OLAP和分析报告程序当中。目前该系统已经投入使用,实现了考试相关的信息资源的统一管理和协同,为考试院的发展提供了决策支持。     

基于 ELK+Kafka 的智慧运维大数据分析平台研究与实现

基于 ELK 在智慧运维大数据分析平台实现海量数据分析,对 ELK 的部署结构进行优化,并在日志采集和日志处理中间增加 Kafka 消息处理队列,减轻 Logstash 压力,增加集群高可用性。通过 Logstash 的 Filter 插件利用正则表达式实现日志数据拆分,将拆分后的字段在 Elasticsearch 中存储,最终利用 Kibana 对日志数据进行搜索、绘图和展示。使用基于 ELK 的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近 1s的延迟搜索。     

基于LabVIEW的激光光谱实验平台开发

基于LabVIEW设计开发了激光光谱仪器控制及采集平台,完成多台复杂仪器的远程控制及光谱数据的同步采集等操作,实现了激光光谱实验平台的自动化。该平台具备可调谐染料激光器(Sirah)波长调谐、单色仪(Omni-λ)光栅扫描、数字示波器(LeCroy)同步控制、数据采集传输,以及数据的同步处理、显示、存储等功能。实验测试结果表明,该激光光谱实验平台运行稳定,能够满足实验测量需求,具有较高的兼容能力,在激光光谱检测平台的设计、开发方面具备较强的可移植性和重要借鉴意义。