高维数据下基于云平台的随机森林算法的研究与实现

随机森林算法在数据挖掘领域中得到了广泛的应用,该算法通过构建多个不同的决策树可以获得更高的分类结果。但是,随着数据规模的增大,人们开始接触到各大规模的数据以及更高维度的数据属性。传统的随机森林构建算法不能有效、快速地处理海量高维数据,严重影响了数据的分类效率,从而影响预测效率。本文针对高维、海量数据下随机森林构建算法,改进并提高了该算法的效率,提出了基于云计算平台的随机森林构建算法。该算法可以快速的完成数据分类预测,并通过实验结果进一步展示了该算法的效率以及可扩展性。     

大规模数据环境下用电量预测算法研究

提出了在海量数据下的分布式局部线性回归算法,并通过在大规模用电记录数据集上进行详细地实验,证明了该算法在保证预测效果的前提下,能有显著地缩短模型训练时间,并具有很好的可扩展性.     

数据挖掘算法在银行CRM中的研究与应用

针对银行CRM中的海量客户历史数据问题,本文采用决策树算法和BP神经网络算法,选取部分客户业务数据分别进行分类预测实验,实验结果表明利用上述算法可以较好地解决银行中对客户分类预测的需求。     

基于C4．5的决策树改进算法研究

对海量数据的处理能力是数据挖掘最关注的问题。决策树作为一种分类器,是数据挖掘中用到的一种基本方法之一。基于C4．5的决策树改进算法,是在一些典型的决策树分类算法的基础上提出的,基本思想是在建树过程中,用属性依赖度替代信息增益率来确定划分条件属性的顺序。该算法借鉴MedGen算法的阈值设定方法,在简化决策树剪枝和优化过程的同时,可优化C4．5算法中使用信息熵率的时间复杂度,避免了使用信息熵带来的不当划分。简述了该改进算法的执行过程,证明了算法的正确性。     

一种用于网站用户行为分析数据的可扩展协同聚类算法

网站通常从用户中分析挖掘出其中隐含的规律,为其创造更多的价值.随着互联网的普及,互联网的用户成指数级增长给互联网传统的分析算法带来了极大地挑战.本文针对网站中存在的海量用户数据,设计了基于MapReduce分布式编程框架的协同聚类算法.该算法是分布式并行地统计聚类信息,更加高效地分析处理用户数据,完成网站中的用户行为分析工作.实验表明,本文提出的算法不仅具有很高的加速比,而且具有很好的可扩展性.     

基于数据挖掘的学生成绩预测的应用浅析

决策树算法是数据挖掘技术中常用的方法,在分类和预测方面有着广泛的应用。本文简要地介绍了决策树ID3算法的基本思想,通过数据实例说明了构造决策树的实现过程,实现了对学生成绩的预测。     

海量数据流的分类稳定性决策与评判数学模型仿真

研究针对海量数据流的分类方法,构建分类结果评判数学模型,保证分类系统的稳定性。与静态数据相比,数据流具有动态变化性、传输高速性、高维有序性以及规模宏大性,且存在概念漂移的现象,采用传统的分类方法进行数据流分类,很难处理其中大量的不确定性信息,分类的准确率较低、耗费时间长,无法达到理想的分类效果。为此,提出基于改进决策树算法的海量数据流分类方法。针对原始数据中的冗余进行预处理,去除冗余,提高分类效率,采用改进决策树算法,建立海量数据流决策树分类模型,并依据模糊粗糙集理论构建评判数学模型,对分类结果进行评价。实验结果表明,采用改进的分类方法进行海量数据流分类,能够有效的提高分类系统的稳定性与运行效率,保证分类结果的准确性,能够满足实际的应用需求。     

基于数据挖掘的学校检索系统

本系统基于网站的形式建立一个网络应用,通过用户输入他们的专业兴趣和自身的学术条件,此项网络应用会智能地匹配可能的研究生学校同时将结果以略高于自身学术条件,与自身学术条件相当和低于自身学术条件三类呈现给用户。该网络应用使用的培训数据是从一些已经被某些学校录取的学生手里获得的原始数据,然后使用分析工具Weka来处理并分析这些数据。分析过程中使用了三种数据挖掘方法–决策树算法,朴素贝叶斯算法和临近取样算法来分别建立模型。模型建立成功之后,通过主观和客观的比较方法找到决策树算法是最适合的算法。最后,用C4.5决策树算法来建立模型作为数据挖掘引擎的核心并实现此项网络应用。     

基于CART二叉决策树的电信业客户流失的模型构建与控制

分析了决策树在电信业客户流失分析中的重要应用,建立了基于CART算法的二叉决策树构造的电信业客户流失分析模型,研究如何使用二叉决策树的构造方法来克服客户流失分析中数据碎片的产生,使用spss clementin数据挖掘平台构造挖掘模型并且使用实时的数据出现概率来进行模型的优化控制。实验与仿真证明,该模型的准确率较高,效果显著。     

一种改进的SVM决策树文本分类算法

将SVM和二叉决策树结合起来构成SVM决策树的方法能够较好地解决多类文本分类问题,在此基础上引入了一种基于支持向量数据描述(SVDD)的类间可分性度量方法,对SVM决策树分类器进行改进,实验表明,该方法有效地提高了SVM决策树多类分类器的分类精度和速度.