物联网海量异构传感器采样数据存储与查询处理

物联网中的数据具有海量、异构性的特点,数据存储关系到数据共享、数据查询等后续工作,对存储方式的研究一直备受关注。在介绍存储策略和查询技术的基础上,着重探讨查询算法,为海量异构传感采样数据存储提供可参考的解决方案。     

基于LBS的定位系统的研究与设计

LBS的广泛应用带来海量的位置信息数据,如何充分利用这些数据并从中挖掘出隐含其中的知识为决策提供数据支持,已经成为空间数据挖掘技术的重要内容。本文重点研究了空间数据挖掘中的聚类分析算法,以此提出了基于LBS的定位系统。该系统分析了DBSCAN和K-means算法,并提出了一种改进算法,实现异常位置检测。基于上述研究设计实现了基于LBS的定位系统,实现了实时定位查询,时空查询,异常轨迹分析等功能。     

反向Top-k查询算法研究

互联网中沉淀了大量可分析利用的数据,如何有效地利用这些海量数据,为不同行业产品制造方提供对新产品的分析,已成为时下的热点。反向Top-k查询技术是一种常用的数据分析及处理技术,并且已经在很多领域得到了应用。研究了已有的基于反向Top-k的查询算法Skyband based算法和Branch and bound算法,针对很多实际应用领域偏好权重向量会出现改变的情况,提出了一种适用于进行“二次计算”的交互式算法,通过实验将交互式算法跟效率高的Branch and bound算法对比得出,当用户修改部分偏好权重向量之后,利用交互式算法可以比Branch and bound算法更加高效率地计算出结果。     

基于用户兴趣的协同过滤推荐算法

大数据时代,如何让用户在海量信息中快速查询所需信息尤为重要。推荐系统可发现用户潜在需求,为用户提供个性化服务。以电影推荐系统为例,提出了一种改进的协同过滤算法,并在真实数据集上进行实验,结果表明系统可靠性明显提高。     

决策支持系统在高校毕业生就业管理中的应用研究

就业决策支持系统,是在现行的毕业生管理系统只对海量数据进行简单地备份和查询的基础上,引入数据挖掘理论,使之能够自动地、智能地、快速地从数据库中挖掘出有用的信息和知识,从而在提高就业率,提高就业层次等方面为领导提供决策支持.本系统由两部分构成,即数据库处理和数据挖掘.数据挖掘算法采用改进后的Apriori算法.     

基于控制集合的电力通信不确定大数据查询优化

提高元组数目特别大下的不确定数据查询的准确高效特性,采用Top-k查询算法改进设计,通过数据查询操作设计及PT-k查询算法控制集合改进,结果验证有:对城市负荷预测的不确定数据应用预测得出设计算法实现了数据估计及收敛速度快的优点;对java中随机生成的实验数据得出控制集合以外的元组成为查询结果的可能性为0即控制集合较小时,算法优势明显,数据量较大元组更新时对不确定数据查询结果的影响概率明显降低;设计控制集合的方法查询算法远小于现有需要计算的元组方法处理的元组数目。这一研究对于大元组不确定的数据管理具有显著的理论和实践价值。     

基于改进DBSCAN算法的异常数据处理

随着智慧农业的发展,农业生产中海量数据不断涌现。在海量数据中难免存在噪声数据,这些数据不仅难以提供有效价值,还会影响信息挖掘。针对该问题,采用基于密度的DBSCAN聚类算法进行异常数据处理。鉴于DBSCAN算法对参数敏感,结合数据集本身特性与统计学思想以绘制各点之间的距离升序曲线,预估出DBSCAN的Eps参数。仿真实验结果表明,改进算法平均准确率达到99.6%,较传统算法提高了1.7个百分点,并且在10次检测中,改进算法只有3个数据判定错误,证明该参数设置方法对异常数据处理准确率更高,稳定性也更好。     

基于HBase的位置数据区域查询研究

随着位置服务的广泛应用,如何对海量位置数据进行高效的空间查询成为研究热点.结合对分布式数据库HBase存储机制与Geohash编码原理的研究,基于Geo Hash构建空间索引,设计位置数据存储模型,并在此基础上探讨一种多边形区域查询算法.通过与传统My SQL数据库的试验对比,验证了该算法具有较高的查询效率和良好的可扩展性.     

基于Map-Reduce的FP-Growth算法研究

针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明所提出的算法在处理海量数据方面具有较好的性能.     

基于Google Bigtable的海量数据存储探索

随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Google文件系统(Google File System,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了Google Bigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.     

分布式环境下遥感影像数据存储方法

为了对遥感影像数据进行高效地存储与管理,解决传统的存储与查询效率不高的问题。设计一种基于猫群算法的遥感影像并行存储算法,采用线性四叉树对地理空间进行划分和编码,利用MapReduce并行计算框架和猫群优化算法来构建金字塔,把地物标识码、四叉树索引ID两种信息作为行键,采用HBase分布式数据库对影像数据进行存储。实验表明,该方法在金字塔构建的过程中有效的提高了遥感影像的存储效率且保证了数据的完整性。在查询方面,改进的行键不仅达到了筛选数据的目的而且提高了读取效率。研究成果可满足对海量影像高效存储、管理的需求,具有很好的可行性和可扩展性。     

数据挖掘技术在教学评价中的应用研究

数据挖掘技术是在海量数据中提取有用信息的有效手段,而教学评价是对教学工作质量所做的测量、分析和评定,是教学过程中的重要环节。将数据挖掘技术应用到教学评价数据分析过程中,验证了基于该技术的属性约简算法的正确性和有效性,从多角度对教学评价数据进行更深层次的分析和处理,从而挖掘出更多、更有价值的数据和信息,提供了更多的方法和措施以改进和提高教学的质量。     

数据挖掘中分类并行算法研究

数据挖掘在各行业发挥着越来越重要的作用,随着数据挖掘中数据量的高速增长以及大规模计算在数据挖掘中的应用。挖掘算法处理海量数据的能力问题日益突出．通过对常见的数据挖掘分类并行算法进行研究探讨,分析了C4．5算法,SLIQ算法,SPRINT算法的优缺点,最后指出研究并行算法是解决处理海量数据能力的有效途径．     

基于TPC—H的数据生成优化方法

通过对海量数据生成方法的初步研究,把数据库的测试与查询建立在TPC—H标准上。根据TPC—H标准建立了TPC—H的测试模型,通过此模型可以反映出系统在处理查询时各个方面的能力。采用树形结构提出了数据生成优化方法,能更好地提高生成数据效率。     

一种基于MapReduce的频繁项集挖掘算法

随着大数据时代的到来,针对Apriori算法和FP Growth算法在挖掘海量规模数据频繁项集时,存在内存不足、计算效率低等问题,提出一种Aggregating_FP算法。该算法结合MapReduce并行计算框架与FP Growth算法,实现频繁项集的并行挖掘,对每个项进行规约合并处理,仅输出包含该项的前K个频繁项集,提高了海量数据决策价值的有效性。在Hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验结果表明,该算法适合大规模数据的分析和处理,具有较好的可扩展性。     

一种适用于嵌入式设备的遥感影像快速调度显示算法

针对嵌入式终端设备资源有限与日益增长的海量影像数据显示之间的矛盾,提出并实现了一种适用于嵌入式设备的影像快速渲染方案.首先,研究了多分辨率瓦片金字塔构建改进算法,用以实现海量影像数据的组织管理.然后,在此基础上利用视点相关层次细节技术、目标瓦片快速搜索技术和瓦片无缝拼接技术实现影像的快速调度和显示.实验结果表明,和基于...     

基于Hadoop的煤矿图像PCA-SIFT特征提取算法研究

大数据技术已经成为当下热点问题,Hadoop技术在煤矿领域运用也引起了广泛关注。针对传统监控模式下煤矿视频监控系统图像采集点多、历史留存数据量大、不利于后续查找特征图像等问题,提出一种Hadoop平台下PCA-SIFT算子的图像特征提取算法,研究并改进了MapReduce并行编程模型的任务设计,对传统尺度不变特征转换算法进行了并行化设计,在Hadoop集群下实现了海量煤矿图像的PCA-SIFT并行特征提取。使用汾西矿务局煤矿图像井下数据集进行实验,算法SIFT特征点检测效果好,运行耗时少。在图像数量庞大时,系统加速比几乎呈线性增长趋势,验证了算法处理大规模煤矿图像数据的有效性。     

基于贝叶斯网络的协同过滤推荐算法

网络技术的快速发展产生了海量用户数据,为在海量数据中寻找与用户需求相符的数据,提出一种能快速得到较准确推荐结果的基于贝叶斯网络的协同过滤推荐算法。实验结果表明,与传统协同过滤推荐算法相比,该算法准确度更高。     

基于Hadoop平台的K-means算法优化综述

在科技高速发展的今天,海量数据处理问题受到人们广泛关注。将K means聚类算法与Hadoop平台相结合是处理海量数据问题的一条可靠途径。简单介绍Hadoop和K means算法以及K means聚类算法MapReduce并行化实现,并阐述目前Hadoop平台下K means算法的几种优化方式,最后提出研究展望。     

三角不等式原理对聚类算法的改进

聚类分析是数据挖掘中的一个重要研究领域,面对大规模的、高维的数据,如何建立有效的聚类算法是目前一个研究热点。现已有多种直接和快速的聚类算法,但是当处理海量数据时,时间效率仍然有待提高。本文应用三角不等式原理,分别对TTSAS算法和k-means算法提出改进,避免其中冗余的距离计算,提高原算法效率。