数据流频繁模式挖掘技术研究

数据流挖掘是目前新一代数据挖掘研究中的热点,而数据流频繁模式是影响数据流挖掘算法效率的决定性因素.虽然目前有许多工作针对数据流频繁模式挖掘算法进行了研究,但是仍然存在许多不足.本文详细讨论了数据流频繁模式挖掘的四种主流算法,最后提出了未来的研究方向.     

一种基于NFP-tree的频繁项集挖掘算法

针对频繁项集挖掘时间与空间效率低的问题,提出一种基于New FP-tree的高效频繁项集挖掘算法。此算法利用New FP-tree结构存储事务数据库中的频繁项集信息,无需递归构造条件模式树,仅需两次扫描数据库即可生成所有频繁项集。最后的实验证明了该算法的有效性。     

基于单次扫描无构造调节的频繁模式挖掘算法

研究频繁项集模式挖掘优化问题。传统的挖掘算法常产生大规模的候选项集,并且反复扫描数据库,导致频繁项集挖掘时间过长,空间效率太低。为了改进频繁项集挖掘时时间与空间效率低的问题,提出一种高效频繁项集挖掘算法CPT-Mine。此算法利用编码模式树存储事务数据库中的频繁项集信息,构建FP数组,加快产生频繁项集,引入CPT-Mine算法,快速地挖掘数据库中所包含的频繁项集,无需递归构造条件模式树,只需两次扫描数据库即可生成所有频繁项集。最后的实验证明了该算法能缩短挖掘时间3～10 s,空间效率提高43%。     

一种小区域分类关联的高冗余空间挖掘算法

传统的关联规则挖掘技术过于依赖数据之间的关联属性,造成挖掘算法在高冗余知识空间关联规则不明显或者较弱的情况下挖掘耗时。本文提出一种应用与高冗余知识空间的优化数据挖掘算法。该算法首先找出最大频繁项集和频繁1-项集进行区域分类,然后利用已有频繁项集找出所有的其它频繁项集,去除冗余关联环境,节省了计算频繁项集的时间,节约了存储空间,使算法的效率得到提高。仿真实验结果证明了改进算法的可行性和有效性。     

MWPMA工作流频繁模式挖掘算法

针对企业工作效率日益提高的需求,根据现有企业工作流管理系统的不足,对Apriori算法进行优化,提出MWPMA工作流频繁模式挖掘算法。     

一种分布式环境下动态挖掘频繁闭项集算法

在分析与研究分布式数据挖掘和频繁闭项集挖掘的基础上,通过设计一个Unite_Tree算法构建全局FP-Tree树,并在全局FP-Tree树的基础上设计了一种分布式环境下动态频繁闭项集的挖掘算法D-MFCI。最后,通过仿真实验证明D-MFCI算法可以实现分布式数据库中关联规则的快速挖掘,减少生成规则的冗余度,提高规则的可读性。     

一种挖掘加权最大频繁序列的新算法

由于其内在的计算复杂性,在密集型数据序列数据库中挖掘全部频繁项集往往非常困难,解决方案之一是挖掘最大频繁序列。传统的序列模式方法对满足最小支持度阈值的序列同等对待,但在真实数据库中不同的序列往往具有不同的重要程度。为解决上述问题,提出了一种挖掘加权最大频繁序列的新算法。该算法利用频繁项目出现的频率来计算频繁序列的权重,给出了频繁加权序列的定义,该定义的引入不仅可以找出较为重要的最大频繁序列,而且可以使挖掘结果同样具有反单调性,从能够加速剪枝,提高算法效率。实验结果表明,加权最大频繁序列算法是有效的。     

基于FP-Tree的挖掘最大频繁项目集的新算法

挖掘最大频繁项目集是数据挖掘领域的一个重要的研究内容。Apriori算法作为一种挖掘频繁项目集的基本算法,其缺点是产生大量的候选项目集,算法的代价很大。本文在基于FP-Tree的基础上提出了挖掘最大频繁项目集的新算法FP-GDMA。该算法采用自顶向下和自底向上相结合的搜索策略有效减少了生产候选项目集的数目,有效提高了挖掘最大频繁项目集的效率。并通过实验比较FP-GDMA与DMFIA算法。     

改进的基于内积的最大频繁项集生成算法

针对传统的Apriori算法需要产生大量的候选项目集和多次扫描数据库的不足,提出了一种新的基于内积运算的频繁项集生成算法。该算法对事务数据库布尔化表示,通过内积运算搜寻矩阵行向量直接生成频繁项集,打破了频繁项集必须从低次到高次的局限,当频繁项集可能是大项集时,大大提高了搜索效率。     

大数据下的一种挖掘算法的研究

在大数据背景下进行数据挖掘越来越受到重视,针对Apriori挖掘算法中存在消耗时间长,算法效率低的特点,采用添加数据库、改进频繁1-项集,改进频繁2-项集和引入动态存储空间等措施,提高Apriori算法的性能,仿真实验中,本文算法在时间消耗、CPU耗能和挖掘效果上都取得了良好的效果。     

频繁项集挖掘算法研究

在数据库中挖掘频繁项集是数据挖掘领域的最基本、最重要的问题。自从Agrawal的开创性工作以来,有关研究从未停止过。然而由于其内在的计算复杂性,这一问题并未完全解决。通过描述频繁项集挖掘的特点,并根据解空间的分类对已有各种频繁项集、闭频繁项集、最大闭频项集和不生成频繁项集的挖掘算法进行了分析和比较。     

关联规则中Apriori算法的研究与优化

在研究和剖析关联Apriori算法的基础上,针对Apriori算法中的瓶颈,提出了一种优化算法,从算法的计数、连接和减枝等方面进行优化,快速搜索频繁项集,从而提升算法效率.     

一种改进的Apriori算法

关联规则挖掘是数据挖掘研究领域中的一个重要任务,旨在挖掘事务数据库中有趣的关联。Apriori算法是关联规则挖掘中的经典算法。然而Apriori算法存在着产生候选项目集效率低和频繁扫描数据等缺点。提出了一种新的Apriori的改进算法,该算法在生成k(k>1)项频繁集时,不需要重新扫描数据库,只是在生成1项频集时,才需要扫描事务数据库,有效地减少了对事务数据库的读操作,在时间复杂度上较经典的Apriori算法有更加优越的性能。     

一种利用逻辑"与"运算挖掘频繁项集的算法

在挖掘关联规则的过程中,关键步骤是产生频繁项集。文中利用逻辑与运算并建立频繁项集支持矩阵,提出一种有效的频繁项集挖掘算法—LA。算法利用逻辑与运算挖掘频繁项集,不产生候选项集,且只需扫描数据库一次,所以此算法是非常有效的。     

数据流频繁项挖掘的研究

对数据流频繁项挖掘的主要算法包括基于Hash的方法和基于抽样的方法,以及更为高效和动态性更强的算法等进行了分类论述和比较,讨论了存在的主要问题和未来研究方向。     

基于贝叶斯粗糙集的大数据频繁项挖掘技术

对大数据的频繁项集挖掘是关联规则挖掘的关键步骤,通过有效的频繁项挖掘提高大数据量数据库的访问效率。传统方法中对大数据的频繁项集挖掘采用FP-Growth的粗糙集挖掘算法,扩展性和容错性不好。提出一种基于贝叶斯粗糙集的大数据频繁项挖掘技术,引入后缀项表的概念,通过后缀项表的构建,保留频繁项集的完整信息。构建FP-Tree,生成闭频繁项集,计算样本的密度,并抽取高密度区域的点集作为聚类中心集合,进行后缀项表的构造,按支持度分成若干集合,对各约简集内的属性集合进行融合,用变精度粗糙集的贝叶斯粗糙进行数据挖掘算法改进,仿真结果表明,算法不受可变参数的影响,鲁棒性较高,数据挖掘的准确度较高,运行时间较短。算法将在人工智能和数据挖掘领域具有更广的应用前景。     

数据挖掘中一种改进的Apriori算法

关联规则挖掘是数据挖掘领域中的一个非常重要的研究内容,其主要目标就是发现数据库中一组对象之间某种关联。频繁项集挖掘是关联规则挖掘的关键步骤,它在很大程度上决定了关联规则挖掘的效率。介绍了Apriori算法及其算法改进。该改进算法对剪枝步进行了优化,提高了连接效率,并且不断减小数据库的规模,去掉无效事务,减少了每次扫描数据库所花费的时间,提高了算法效率。经过试验论证,性能比原有算法提高,具有一定的实用性。     

基于频繁模式挖掘的工程建设监管平台用户体验优化研究

分析工程建设监管平台特征,指出平台结构优化的必要性。考虑到不同路径对用户的重要性不同且平台流程复杂,难以统一支持度阈值,采用多最小支持度加权频繁模式算法构建挖掘模型,并根据权值大小对不同路径设置不同的支持度阈值,以尽可能挖掘用户感兴趣的路径集。最后对广西水利建设项目监管平台用户日志进行实验,找出用户频繁访问路径,为平台用户使用体验的优化提供决策支持。     

关联规则挖掘算法分析与探讨

关联规则挖掘算法是数据挖掘领域的主要研究方向之一。对几种经典的关联规则挖掘算法进行了分析、探讨和比较,给出了一种基于支持矩阵的、不需要产生候选项目集的算法设计思想。算法为事务数据库中的每个项目设置二进制向量,利用逻辑与运算构造支持矩阵来挖掘频繁项目集,极大地节省了存储空间,提高了算法运行效率。     

数据挖掘中关联规则算法的研究

Apriori算法是关联规则挖掘中的经典算法。通过对Apriori算法的基本思想和性能的研究分析,提出了一种基于垂直事务列表的树形结构的挖掘算法,减少了候选频繁项集的数量,提高了挖掘算法的效率。实验结果表明新算法具有良好的性能。