基于改进FP-tree的高实用项目集挖掘研究

大部分关联规则算法的提出是基于项目的频率值,若从成本、利润和用户的偏好考虑,传统的数据库挖掘频繁模式在现实世界中并不适合应用.本文基于FP-tree提出了一种高效用的模式树HUP-tree挖掘算法.该算法利用在数据库中基于向下封闭性产生压缩的树结构,以达到挖掘出高效用项的目的.实验表明该方法无论是在执行时间上,还是在生成的树的节点数量上,其性能均优于FP-tree.     

Hadoop负载树任务调度算法

针对现有异构任务调度算法存在负载不均衡、数据本地性问题,提出基于树结构的负载树任务调度算法。该算法通过量化节点计算能力构造节点集最小堆,利用堆排序生成计算能力逆序树,并依据节点负载率将逆序树调整为左节点优先的负载树,为任务计算包含完成时间、负载率、延迟因子的决策值,最终完成任务与树节点的匹配。实验结果表明,取不同负载率与延迟权值比时,该算法的任务执行效率均能获得一定程度提高。该算法可利用树结构的调度优势,在获得更高集群负载均衡度时,有效缩短作业集执行时间。     

一种适用于挖掘游戏访问模式的Apriori_Trie_GAPM算法

针对数据挖掘在网络游戏中的应用,提出了游戏访问模式挖掘的概念,并给出一种适用于挖掘游戏访问模式的Apriori_Trie_GAPM算法,该算法基于Apriori算法思想,采用trie树生成并存储频繁项集,trie树生成采用宽度优先策略,按游戏访问频繁度升序生成每层节点,节点支持度计算应用事务投影策略并结合了游戏使用时间.     

一种基于位置向量挖掘最大频繁集的算法

提出了一种新的挖掘最大频繁集的深度优先算法GMPV。该算法利用集合枚举树,并用位置向量来表示项目子集,挖掘过程中使用了超集检测和基于支持度的剪枝技术,减少了某些项目子集的支持度计算。     

一种新的频繁闭项目集挖掘算法

为了解决频繁闭项目集挖掘中时间和存储开销大的问题,提出了一种基于FC-tree（频繁闭模式树）的频繁闭项目集挖掘算法max-FCIA（最大频繁闭项目集挖掘算法）.该算法利用哈希表映射事务数据库,通过对哈希表进行操作从而得到所有频繁项目集的支持度,进而生成包含所有频繁项目的有序树.经过剪枝处理的有序树就是包含所有最小频繁闭项目集的FC-tree,最后用最小频繁闭项目集生成频繁闭项目集.实验结果表明,该算法通过映射事务数据库,减少了扫描数据库所浪费的时间,提高程序执行效率.另外,运用有效的剪枝策略,避免了不必要候选项目集的生成,节省了存储空间,实验证明该算法是有效的.     

基于关联规则的入侵检测方法

针对关联规则Apriori算法存在的局限性,提出了利用杂凑树结构来存储侯选项集,以减少存储空间.同时通过一定的规则属性忽略一些数据来减少扫描的事务数据量以提高检测的速度.通过KDD CUP 1999数据集进行测试,证明了该算法的有效性.     

从网站中自动挖掘数据记录的算法

为了提高从web中挖掘数据记录的精确性和完整性,提出了同构页与目录页的概念及3个算法.如果一组网页结构相同,只是主信息不同,该网页称为同构页.一个包含有多个指向同构页连接的网页称为目录页.算法1用于发现目录页,它首先将连接排序,并对同一目录的链接记数,如果记数大于某一给定阀值,则对其链接子页进行相似比较并得到结果.同时给出了一个网页相似度判断的函数.算法2采用了噪声信息过滤方法从同构页中挖掘主信息并得到数据记录,该算法是基于在2个同构页中噪声信息相同而只有主信息不同.算法3通过采用Spider技术可以实现从整个网站中自动挖掘数据记录.实验表明所提算法比已有算法可挖掘更完整的数据记录.从同构页中挖掘数据记录是一种有效的方法.     

挖掘频繁子树精简基

为了解决频繁树模式挖掘中频繁子树的数目通常太大的问题,提出了频繁子树精简基的概念,精简基由相对于一系列支持度阈值的最大频繁子树组成,它是频繁子树的一个子集,可用来估计任一频繁子树的支持度,并能将误差控制在确定范围内.提出了一个在带标号的有根的有序树的数据库中挖掘这种子树精简基的算法,该算法采用最右扩展方法系统地生成所有的频繁有序有根子树.采用的剪枝技术能尽早地剪掉一些不可能生成最大频繁子树的分枝,还采用了启发式的技术来安排计算的次序以尽可能避免代价高的计算.实验结果表明该精简基的大小不到全集的10%,算法的性能也比挖掘全集的算法要高.     

基于关联分析的计算机软件数据挖掘技术

计算机软件蕴含大量工作信息,有效挖掘软件数据信息之间的内在关联是信息时代对软件应用的潜在要求。针对经典Apriori算法挖掘数据效率低、复杂度高的问题,提出一种改进Apriori算法用于挖掘计算机软件数据的关联规则。为计算机软件算法设置双重支持度阈值,即频繁项集与非频繁项集支持度阈值,快速获得强关联的频繁项集;在此基础上基于映射规则重构事务数据库,压缩数据库规模,减少算法的剪枝操作,降低计算机软件数据关联规则挖掘复杂度。以人力资源类计算机软件数据为例展开关联分析测试,结果显示,该算法挖掘的关联信息与人力资源实际管理情况一致,相比经典Apriori算法其效率有所提升。     

一种改进的BSP二值图像压缩算法研究

针对二值图像矩形划分编码在划分时存在的问题,本文提出一种改进的BSP二值图像的压缩算法.该算法以二叉树为数据结构,以达到减小中间结点的开销;同时该算法的时间复杂度和空间复杂度均低于采用四叉树结构来压缩二值图像.其压缩比可提高17%;同时适用于复杂图像.