共查询到20条相似文献,搜索用时 187 毫秒
1.
气象监测技术的进步,气象参数的种类和数量越来越丰富,其中很多气象参数需要进行动态监测,海量的非结构型数据进行存储和处理问题亟待解决。传统的关系数据库针对海量的数据工作效率低,不能满足工作需求,而新兴的NoSQL技术则在应对此类问题上具有很大的优势。本文将以MongoDB为代表的NoSQL技术设计应用到气象传感器数据处理中,通过测试验证了该技术在应对海量非结构型数据的存储与处理时具有优良的性能。 相似文献
2.
3.
传统的大数据内存分配算法因数据承载方式混乱等原因而存在运行速度慢、分配不均匀的问题,为此,研究一种新的大数据网络分布式独立内存分配算法.通过多层限制玻尔兹曼机堆叠形成数据库管理系统,并构建大数据网络分布式内存框架;然后利用无监督贪婪模式逐层训练方法构建并行框架,采用分布式存储的方法实现数据承载.同时,对较小内存Task... 相似文献
4.
Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。 相似文献
5.
根据当前教育信息化的需求和挑战,本文通过实际数据测试提出了一个云存储系统在教育信息化中的应用方案.在原型验证系统中,采用HepyCloud海量云存储系统.该存储系统既具有分布式存储扩展性好、可用性高的优点,又有客户端访问速度快、性能较稳定等特点,适用于教育信息化建设中音、影、图及管理信息等大容量、高访问的应用系统.通过实际测试教育信息化系统中最常应用的网站中小文件访问和FTP大文件应用访问两个案例进行实际应用性能测试,测试结果表明该云存储结构方案能够解决传统教育信息化系统中的文件存储效率不高的问题,提高了数据存储效率和数据被访问的性能,很好地支持了用户对各种类型数据的访问. 相似文献
6.
高校信息化建设的飞速发展过程中,应用系统的数据需要可靠海量连续的存储保障。云存储是一个以数据存储和管理为核心的云计算系统。文章分析了高校目前存储现状,介绍了云存储的基本概念、简述云存储运用实例、架构设计及应用优势。 相似文献
7.
8.
为了有效提升医院绩效数据管理水平,需要对数据统计管理系统进行完善。但是采用当前应用的医院绩效管理数据统计管理系统,存在着系统响应时间过长、利用率较低、数据准确度较低的问题。为了解决这些问题,设计了一种基于自适应权重聚类的医院绩效数据统计管理系统,采用MongoDB作为医院绩效数据存储工具,将客户端连接3台应用服务器,建立医院绩效实际数据存储、配置文件存储和路由存储三个集群部署模式,将数据利用医院系统进行数据采集,通过解析、映射、标准化等方法进行处理,将处理后的医院绩效数据进行存储,引入Ward方法借助Matlab进行医院绩效数据聚类。实验结果表明,本设计方案能够有效实现医院绩效管理数据统计,具有较高的数据准确度和系统利用率,有效的提高了系统的响应时间。 相似文献
9.
随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。 相似文献
10.
研究海量信息存储过程中的数据库性能优化问题.假设数据库中存在海量信息,则数据库信息查询需要耗费大量的时间,无法满足当今社会的信息需求.因此,需要对数据库性能进行优化处理,提高数据库查询的效率.为此,提出了一种基于云计算的数据库性能优化方法.建立云计算数据关系模型,描述数据库中相关数据之间的联系,从而为数据查询提供依据.计算数据节点的负载状态,从而实现数据库中信息的快速查询.实验结果表明,这种算法能够有效提高数据库查询效率,取得了令人满意的效果. 相似文献
11.
一种基于新型存储的数字图书馆分布式大数据存储架构 总被引:1,自引:0,他引:1
图书馆数据是一种典型的大数据,大数据管理是目前图书馆面临的一个复杂问题.为了解决传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于新型存储的数字图书馆大数据分布式存储架构.该存储架构具有良好的可扩展性、容错性和存储性能. 相似文献
12.
13.
由于在实际应用中海量、异构数据大量出现,以及基于Web架构的广泛采用,传统关系数据库在数据管理及可视化方面已经难以胜任。JUNG是基于Java语言的开源框架,可以方便地实现网络图生成,并与聚类、最短路和最大流等算法相结合。MongoDB是开源数据库,提供了Java开发包。本文综合利用两者的特点研究了一种网络图生成技术。通过测试,该技术运行快捷稳定,可以生成相关领域的网络图,可用于商业、金融、军事等多个领域的信息处理与可视化。 相似文献
14.
The design of a high-performance, cost-effective, machine for retrieving textual data is discussed in this paper. High performance and cost effectiveness are achieved by a combination of low-cost hard disks, software filtering techniques, and a large amount of main memory. The discussion focuses on the signature processor, which is based on the partitioned signature file technique, and the mass storage system, which is based on a disk array. A performance evaluation on the individual system components, namely, the signature processor and the mass storage system, as well as the entire system is presented. 相似文献
15.
16.
我国现有石油物资质控体系因缺乏真实有效的信息共享机制和方法,难以对发生的质量事件进行快速响应,而区块链具备的去中心化、不可篡改性、高隐私性、智能合约等特征能够实现过程信息的公开透明和无法篡改,提高信息共享效率。基于此,提出将区块链的私有链及联盟链相结合的“双链”模式下石油物资质控信息共享模型,通过私有链降低联盟链中的数据处理量,保障联盟链的便捷高效,同时联盟链对私有链中各节点的权限进行审核授权,对相关产品的生产过程信息进行验证,以此打破信息共享与追溯机制中的条块分割障碍。其中,基于哈希函数和哈希树功能定位抓取各私有链中记录的相关信息,完成质量问题的追溯流程,同时确保信息收集、储存和共享等过程中数据的真实可靠。由于区块链技术在石油物资质控领域仍未得到广泛运用,未来有关研究还应继续从提高区块链的信息处理效率、增加储存容量等方面着手,石油物资管理部门也应出台相关政策,激励更多企业参与到区块链技术的开发中,以提高行业质量管理水平。 相似文献
17.
Computer terminal memory performance in a resource sharing distributed supercomputing environment is analysed with Erlang arrivals, synchronous transmission and single server random interruptions through a Bernoulli sequence of independent random variables. A new method to derive a closed expression for data arrivals with Erlangly distributed interarrival times is presented. A simple and easy approach to derive the steady state probability expressions of the terminal memory content process is presented. The memory performance is studied in terms of overflow probability and average queueing delay. The results portrayed on graphs will provide an insight about system response time and performance to the system designers. 相似文献
18.
《Journal of The Franklin Institute》2022,359(13):7115-7139
Fault detection and diagnosis is crucial in recent industry sector to ensure safety and reliability, and improve the overall equipment efficiency. Moreover, fault detection and diagnosis based on k-nearest neighbor rule (FDD-kNN) has been effectively applied in industrial processes with characteristics such as multi-mode, non-linearity, and non-Gaussian distributed data. The main challenge associated with FDD-kNN is the on-line computational complexity and storage space that are needed for searching neighbors. To deal with these issues, this paper proposes a monitoring approach where the Fuzzy C-Means clustering technique is used to decrease the overall on-line computations and required storage by measuring the neighbors of the clusters’ centres rather than the raw data. After building the monitoring model off-line based on the data clusters’ centres, the faults are detected by comparing the average squared Euclidean distance between the on-line data sample and the clusters’ centres with a predefined threshold. Then, the detected faults can be diagnosed by calculating the contribution of each variable in the fault detection index. Furthermore, for easily analysing the fault diagnosis results, the relative contribution for each sample data vector is considered. A numerical example and the Tennessee Eastman chemical process are used to demonstrate the performance of the proposed FCM-kNN for fault detection and diagnosis. 相似文献
19.
20.
文章介绍了利用TI公司TMS320VC5416PGE-160DSP芯片设计的一款指纹门禁系统,包括指纹采集模块、电源管理模块、时钟模块、数据存储及传输模块。在开发出自动指纹识别系统的硬件平台上再和外围单片机进行通讯,通过单片机完成对系统指纹识别模块的控制,实现指纹的采集、比对、存储,通过控制键盘实现人机交互。通过上位机软件完成对系统参数的设置、指纹数据的导入,具有指纹添加、删除功能。 相似文献