NoSQL技术在气象传感器数据处理中的应用

气象监测技术的进步,气象参数的种类和数量越来越丰富,其中很多气象参数需要进行动态监测,海量的非结构型数据进行存储和处理问题亟待解决。传统的关系数据库针对海量的数据工作效率低,不能满足工作需求,而新兴的NoSQL技术则在应对此类问题上具有很大的优势。本文将以MongoDB为代表的NoSQL技术设计应用到气象传感器数据处理中,通过测试验证了该技术在应对海量非结构型数据的存储与处理时具有优良的性能。     

基于海量数据自动计算装载、分配的方法与装置

随着移动互联网的快速发展,以及电信行业自身业务的不断增长,企业数据存量已达到PB级,海量数据模式对存储系统的性能及可靠性提出了更高层次的要求.当存储数据增加到一定规模时,会导致系统中某一个或多个存储设备性能降低、I/O响应时间较长、无法满足海量数据的存储需求.提供一种基于海量数据的数据分配方法、装置的方案,能够有效解决现有技术中无法根据数据的重要程度及当前存储设备的性能进行自动分级存储等问题,从而降低存储设备I/O响应时间,提升设备存储利用率.     

大数据网络分布式独立内存分配算法研究

传统的大数据内存分配算法因数据承载方式混乱等原因而存在运行速度慢、分配不均匀的问题,为此,研究一种新的大数据网络分布式独立内存分配算法.通过多层限制玻尔兹曼机堆叠形成数据库管理系统,并构建大数据网络分布式内存框架;然后利用无监督贪婪模式逐层训练方法构建并行框架,采用分布式存储的方法实现数据承载.同时,对较小内存Task...     

基于Hadoop的图书馆复合大数据存储系统研究

Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。     

高校信息化建设中云存储系统应用的思考与测试

根据当前教育信息化的需求和挑战,本文通过实际数据测试提出了一个云存储系统在教育信息化中的应用方案.在原型验证系统中,采用HepyCloud海量云存储系统.该存储系统既具有分布式存储扩展性好、可用性高的优点,又有客户端访问速度快、性能较稳定等特点,适用于教育信息化建设中音、影、图及管理信息等大容量、高访问的应用系统.通过实际测试教育信息化系统中最常应用的网站中小文件访问和FTP大文件应用访问两个案例进行实际应用性能测试,测试结果表明该云存储结构方案能够解决传统教育信息化系统中的文件存储效率不高的问题,提高了数据存储效率和数据被访问的性能,很好地支持了用户对各种类型数据的访问.     

高校信息化建设中云存储的应用分析

高校信息化建设的飞速发展过程中,应用系统的数据需要可靠海量连续的存储保障。云存储是一个以数据存储和管理为核心的云计算系统。文章分析了高校目前存储现状,介绍了云存储的基本概念、简述云存储运用实例、架构设计及应用优势。     

基于HHT和PCA的电能质量数据压缩

针对电力系统日益突出的海量数据存储问题,本文提出了HHT和PCA结合的算法用于电能质量数据压缩.利用HHT进行电能质量信号的故障点检测,将故障信号和正常信号区分重组后用PCA进行压缩以达到数据压缩的效果.采用电能质量数据作为测试样本,实验结果表明,本文算法的压缩性能良好,重构质量高.     

医院绩效管理中数据统计管理系统的应用

为了有效提升医院绩效数据管理水平,需要对数据统计管理系统进行完善。但是采用当前应用的医院绩效管理数据统计管理系统,存在着系统响应时间过长、利用率较低、数据准确度较低的问题。为了解决这些问题,设计了一种基于自适应权重聚类的医院绩效数据统计管理系统,采用MongoDB作为医院绩效数据存储工具,将客户端连接3台应用服务器,建立医院绩效实际数据存储、配置文件存储和路由存储三个集群部署模式,将数据利用医院系统进行数据采集,通过解析、映射、标准化等方法进行处理,将处理后的医院绩效数据进行存储,引入Ward方法借助Matlab进行医院绩效数据聚类。实验结果表明,本设计方案能够有效实现医院绩效管理数据统计,具有较高的数据准确度和系统利用率,有效的提高了系统的响应时间。     

海量数据库查询优化研究

随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。     

海量信息存储中数据库性能优化方法

研究海量信息存储过程中的数据库性能优化问题.假设数据库中存在海量信息,则数据库信息查询需要耗费大量的时间,无法满足当今社会的信息需求.因此,需要对数据库性能进行优化处理,提高数据库查询的效率.为此,提出了一种基于云计算的数据库性能优化方法.建立云计算数据关系模型,描述数据库中相关数据之间的联系,从而为数据查询提供依据.计算数据节点的负载状态,从而实现数据库中信息的快速查询.实验结果表明,这种算法能够有效提高数据库查询效率,取得了令人满意的效果.     

一种基于新型存储的数字图书馆分布式大数据存储架构

图书馆数据是一种典型的大数据,大数据管理是目前图书馆面临的一个复杂问题.为了解决传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于新型存储的数字图书馆大数据分布式存储架构.该存储架构具有良好的可扩展性、容错性和存储性能.     

基于Node.js的撮合系统开发

利用十分普及的移动智能手机和新兴的互联网应用开发技术,帮助人们随时随地发出具有明确时间和地域特征的具体需求,同时帮助商家及时获取交易机会。具备时效限制的撮合系统,依靠现代技术Node.js、Socket.IO、MongoDB等实现。虽然采用这些新技术带来一定的学习曲线,但从整体上却能缩短项目开发周期,提升系统性能,同时也带来了开发思想的转变。     

基于JUNG框架和MongoDB的网络图生成技术

由于在实际应用中海量、异构数据大量出现,以及基于Web架构的广泛采用,传统关系数据库在数据管理及可视化方面已经难以胜任。JUNG是基于Java语言的开源框架,可以方便地实现网络图生成,并与聚类、最短路和最大流等算法相结合。MongoDB是开源数据库,提供了Java开发包。本文综合利用两者的特点研究了一种网络图生成技术。通过测试,该技术运行快捷稳定,可以生成相关领域的网络图,可用于商业、金融、军事等多个领域的信息处理与可视化。     

Massive parallelism on the hybrid text-retrieval machine

The design of a high-performance, cost-effective, machine for retrieving textual data is discussed in this paper. High performance and cost effectiveness are achieved by a combination of low-cost hard disks, software filtering techniques, and a large amount of main memory. The discussion focuses on the signature processor, which is based on the partitioned signature file technique, and the mass storage system, which is based on a disk array. A performance evaluation on the individual system components, namely, the signature processor and the mass storage system, as well as the entire system is presented.     

图书馆云计算可行性研究

从海量数据处理、高并发访问和竞争主体多元化3方面阐述图书馆云计算需求。采用统计分析法研究基础设施、资金投入、技术人才和用户接入条件。采用对比分析法将云计算方案分为商业云和开源云,提出基于Eucalyptus的服务器整合、基于MongoDB的高性能网站和基于Hadoop的个性化推荐系统3种典型方案。从初始投资成本、运维成本和扩展能力3个角度评价图书馆云计算效益。     

基于“双链模式”的石油物资多级质控体系构建

我国现有石油物资质控体系因缺乏真实有效的信息共享机制和方法，难以对发生的质量事件进行快速响应，而区块链具备的去中心化、不可篡改性、高隐私性、智能合约等特征能够实现过程信息的公开透明和无法篡改，提高信息共享效率。基于此，提出将区块链的私有链及联盟链相结合的“双链”模式下石油物资质控信息共享模型，通过私有链降低联盟链中的数据处理量，保障联盟链的便捷高效，同时联盟链对私有链中各节点的权限进行审核授权，对相关产品的生产过程信息进行验证，以此打破信息共享与追溯机制中的条块分割障碍。其中，基于哈希函数和哈希树功能定位抓取各私有链中记录的相关信息，完成质量问题的追溯流程，同时确保信息收集、储存和共享等过程中数据的真实可靠。由于区块链技术在石油物资质控领域仍未得到广泛运用，未来有关研究还应继续从提高区块链的信息处理效率、增加储存容量等方面着手，石油物资管理部门也应出台相关政策，激励更多企业参与到区块链技术的开发中，以提高行业质量管理水平。     

Computer terminal memory performance in a resource sharing distributed supercomputing environment

Computer terminal memory performance in a resource sharing distributed supercomputing environment is analysed with Erlang arrivals, synchronous transmission and single server random interruptions through a Bernoulli sequence of independent random variables. A new method to derive a closed expression for data arrivals with Erlangly distributed interarrival times is presented. A simple and easy approach to derive the steady state probability expressions of the terminal memory content process is presented. The memory performance is studied in terms of overflow probability and average queueing delay. The results portrayed on graphs will provide an insight about system response time and performance to the system designers.     

Fault detection and diagnosis strategy based on k-nearest neighbors and fuzzy C-means clustering algorithm for industrial processes

Fault detection and diagnosis is crucial in recent industry sector to ensure safety and reliability, and improve the overall equipment efficiency. Moreover, fault detection and diagnosis based on k-nearest neighbor rule (FDD-kNN) has been effectively applied in industrial processes with characteristics such as multi-mode, non-linearity, and non-Gaussian distributed data. The main challenge associated with FDD-kNN is the on-line computational complexity and storage space that are needed for searching neighbors. To deal with these issues, this paper proposes a monitoring approach where the Fuzzy C-Means clustering technique is used to decrease the overall on-line computations and required storage by measuring the neighbors of the clusters’ centres rather than the raw data. After building the monitoring model off-line based on the data clusters’ centres, the faults are detected by comparing the average squared Euclidean distance between the on-line data sample and the clusters’ centres with a predefined threshold. Then, the detected faults can be diagnosed by calculating the contribution of each variable in the fault detection index. Furthermore, for easily analysing the fault diagnosis results, the relative contribution for each sample data vector is considered. A numerical example and the Tennessee Eastman chemical process are used to demonstrate the performance of the proposed FCM-kNN for fault detection and diagnosis.     

分布式储能的发展现状与趋势

储能技术是解决可再生能源间歇性和不稳定性、提高常规电力系统和区域能源系统效率、安全性和经济性的迫切需要,是发展"安全、高效、低碳"的能源技术、占领能源技术制高点的"战略必争领域",储能在分布式可再生能源应用与智能微网领域具有重大的战略需求、重要的研究价值和巨大的发展潜力。文章分析了分布式储能技术现状、技术创新及其发展对相关产业的带动,并结合分布式储能的技术与产业特点给出了发展储能技术的政策建议。     

基于DSP技术的指纹门禁系统的设计

文章介绍了利用TI公司TMS320VC5416PGE-160DSP芯片设计的一款指纹门禁系统,包括指纹采集模块、电源管理模块、时钟模块、数据存储及传输模块。在开发出自动指纹识别系统的硬件平台上再和外围单片机进行通讯,通过单片机完成对系统指纹识别模块的控制,实现指纹的采集、比对、存储,通过控制键盘实现人机交互。通过上位机软件完成对系统参数的设置、指纹数据的导入,具有指纹添加、删除功能。