基于自适应梯度算法的SVM核极化参数选择方法

在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析.模型选择是影响SVM性能的主要因素,具体地讲是SVM中的核函数及其惩罚系数C的选择决定着SVM的分类能力.本文首先讨论了一种评价核函数好坏的重要标准,即核极化.在此基础上提出了基于核函数优化问题的自适应梯度算法,即用一种自适应步长去改进原来的固定步长.UCI数据集(机器学习数据库)上的实验结果验证了这种自适应梯度算法的有效性,结果表明该算法能有效减少程序运行的迭代步及SVM学习训练的时间.     

基于RBF核的SVM分类应用研究

支持向量机(Support Vector Machine,SVM)在解决小样本、非线性及高维模式识别中具有优势,但核函数的选取没有定论,且其参数对SVM模型的性能起重要作用。针对这些问题,文章建立了基于SVM的分类模型,并通过UCI数据集验证了径向基核函数(Radial Basis Function,RBF)较其他核函数的有效性,其中核参数的选取采用改进的网格搜索法进行寻优。分类实验结果表明,选择RBF核函数的分类准确度较其他核函数提高了2.5%到35%。     

基于Adaboost算法的不平衡数据集分类效果研究

在不平衡数据集中,由于少类样本和多类样本的不平衡,在分类过程中容易产生难以分类和错误分类的现象。针对不平衡数据集的分类特点,设计出一种组合分类器,适用于不平衡数据集的分类。通过SMOTE算法采样对不平衡数据集进行一个预处理,采用单层决策树作为基本分类器,利用Matlab编程,构建Adaboost算法分类器,对demo、heart和usps数据集进行训练集和测试集分析。结果表明,通过Adaboost算法可以有效提高分类效果,算法中通过改变正类样本的权值,从而重视对少类样本的分类,在一定程度上能够提高整体的分类效果,实现不平衡数据集的分类设计。     

核向量机在人脸识别中的应用研究

提出了一种基于核向量机的人脸识别方法。首先介绍了人脸识别的整个过程,然后着重介绍核向量机的算法以及采用它进行人脸的分类识别。最后在扩展的MIT人脸数据集中对该算法进行测试,验证了该算法在处理大样本数据集时是一个较好的选择。     

基于PSO与GA的SVM特征选择与参数优化算法

支持向量机（SVM）在处理大样本特征维数较多的数据集时,算法消耗时间长而且容易陷入局部最优解,选择不合适的SVM算法参数会影响SVM模型分类性能。为了提高SVM性能,提出了基于粒子群算法（PSO）和遗传算法（GA）相结合的SVM特征选择与参数同步优化算法PGS。在UCI标准数据集上的实验表明,PGS算法能有效地找出合适的特征子集及SVM算法参数,提高收敛速度并能在较小的特征子集获得较高的分类准确率。     

基于机器学习的糖尿病风险预测模型与实证研究

从机器学习算法出发,采用十折交叉验证和Grid Search网格搜索方法优化超参数.以Pima印第安人糖尿病数据集为研究对象,运用描述性统计、四分差法、特征重要性分析等方法处理数据集,分别使用逻辑回归、支持向量机(SVM)、Boosting、Bagging、Stacking集成学习方法构建糖尿病风险预测模型,并比较各个集成模型的评估指标.为验证模型在其他数据集上的有效性,运用浙江某医院体检数据集进行验证,从而评价各模型的预测效果.结果发现：Stacking集成模型在Pima印第安人数据集上的预测准确率最高,达83.74%,精确度也最好,达80.0%;Stacking集成模型同样适用于体检数据集,其准确率最高,达93.83%.可见,基于Stacking集成学习方法构建的预测模型的准确度更高、适用性较好.     

卷积神经网络在中文问题分类中的应用

问答系统是自然语言处理领域一个非常热门的研究方向,问题分类是问答系统非常重要的环节。传统问题分类需要人工制定特征提取策略并不断优化特征规则,该方法准确率不高且费时费力。传统卷积神经网络模型先通过卷积核提取能表示问句特征的向量,再经过max-pooling后得到一个特征值,并未考虑句子的结构信息,在训练时容易发生过拟合。针对上述问题,采用分段池化操作,引入句子结构信息,在不同分段上提取句子的主要特征并加入Dropout算法,提高模型的泛化能力,防止模型过拟合。实验结果表明,该方法能提高模型准确率,在TREC 6分类问题数据集上准确率高达89.2%,在银行57分类数据集上准确率也达到了64.5%。     

一种基于聚类的非平衡分类算法

传统的分类算法大多假定用来学习的数据集是平衡的,但实际应用中真正面临的数据集往往是非平衡数据。针对非平衡数据,利用传统的分类方法往往不能获得良好的性能。文章提出了一种新的基于聚类的非平衡分类算法,通过聚类生成多个聚类体,在每个聚类体中选取一定数量的数据作为训练样本,有效地处理了样例数据的不平衡问题,在相关数据集上的实验验证了本方法的有效性。     

改进WOA算法优化SVM的网络入侵检测

基于支持向量机(SVM)的网络入侵,因SVM参数设置不当导致分类准确率偏低的问题,提出改进二进制鲸鱼算法优化支持向量机(IBWOA-SVM)的网络入侵检测。通过对鲸鱼优化算法中收敛因子的改进和更新机制融入粒子群策略的方式,改善其容易陷入局部最优且收敛精度慢的缺点。对初始化参数群采用改进二进制鲸鱼优化算法的更新机制不断地进行更新迭代,迫使鲸鱼搜索代理获取较优的参数值来建立性能较优的分类模型,进而提高网络入侵检测的分类性能。采用多个UCI数据集并与其他的参数优化方法进行对比,最后使用网络入侵检测KDD CUP 99数据集进行验证。结果表明,与遗传算法、粒子群算法和鲸鱼优化算法在SVM参数优化上的性能相比,IBWOA-SVM方法的分类准确率和适应度值在各数据集上都有所提高,从而有利于改善网络入侵检测参数优化中的分类性能。     

动态代价支持向量机增量学习算法

在不均衡数据集下,SVM分类超平面的偏移,使得基于KKT条件进行样本选择的增量学习算法性能不佳,针对该问题,提出动态代价的SVM增量学习算法,该算法依据各类样本密度之间的关系动态计算类的错分代价,减少每次迭代中分类超平面偏移造成的错误累积,保证依据KKT条件选取样本的准确性,使得每次迭代选取的样本都包含当前分类器缺少的空间信息,提高最终分类器在不均衡数据集下的分类性能。最后,在UCI数据集上的仿真实验结果表明该算法能够提高不均衡数据下的分类性能。     

基于主成分的稀疏贝叶斯信用分类研究

针对传统信用评价方法分类精度较低、数据集属性变量间存在相关性等问题,提出基于主成分分析的稀疏贝叶斯学习（PCA-SBL）算法。首先对数据集特征变量进行主成分分析,使降维后的变量无相关性|其次,对主成分分析后的数据进行稀疏贝叶斯分类|最后将 PCA-SBL 分类方法分类精度与传统分类方法精度进行比较。分析发现,在 German Credit Data 和 Australian Credit Data 上,与传统 KNN、朴素贝叶斯、SVM、随机森林、决策树相比,改进的 SBL 算法分类精度平均提高了 5.26%、4.65%、2.11%、2.125%、4.66%,与稀疏贝叶斯学习算法（SBL）相比,平均提高 0.965%,从而证明 PCA-SBL 算法具有更高的分类效果。     

基于二分K均值的SVM决策树的高维数据分类方法

针对数据挖掘中高维数据多分类问题,提出了一种基于二分K均值的SVM决策树的高维数据分类方法.该方法先利用二分K-均值将高维数据基本聚为k类,再构造SVM多分类模型,利用它对各类进行细分.本文给出了该模型的构造及应用方法,并在标准数据集上验证了该方法的有效性.     

基于模糊粗糙最近邻算法的不平衡数据分类

为了提升不平衡数据中少数类的分类精度,利用SMOTE采样方法对数据集进行平衡化预处理;为了减轻样本重新合成过程中产生的类重叠和噪声对分类精度的影响,选择模糊粗糙最近邻算法（FRNN）作为分类器。在14个不平衡数据集上进行的仿真实验表明,该方法具有较好的分类表现,F值和G值最高分别可达0.965、0.932,是一种适用于不平衡率偏高数据集的分类方法。     

一种融合RF-SVM的无人机遥感图像信息提取与分类技术

针对传统无人机遥感图像信息提取与分类算法准确率低、稳定性差、无法有效应对大规模复杂遥感图像数据集等问题,提出一种基于RF-SVM的遥感图像处理算法。RF-SVM算法将RF数据集分类性能较强的优势与经典SVM算法数据降维能力相融合,引入随机变量和示性函数扩大样本集的边界,提升对复杂大规模数据集的处理能力,有效控制泛化误差。在对无人机遥感图像的预处理过程中,借助Brovey变换完成对光谱和高分辨率遥感图像的像素级融合,引入核函数并根据获取到的遥感图像特征和后验概率值,实现对遥感图像内部标的物的准确分类。实验结果显示,在RF-SVM算法下,无人机遥感图像信息提取准确率分类平均准确率达到99.81%,且在RF-SVM算法下的样本点感受性曲线稳定性更好。     

MetaCost与重采样结合的不平衡分类算法——RS-MetaCost

不平衡分类是当今机器学习中的研究热点与难点.为提高不平衡数据的分类效果,提出MetaCost与重采样结合的不平衡分类算法——RS-MetaCost.首先在MetaCost划分子集前对不平衡数据集进行重采样,即过采样少数类或欠采样多数类,以降低或消除数据不平衡程度;其次在预测概率阶段,利用m-estimation提高少数...     

一种非平衡样本集的PPP可落地性评价算法研究

"落地难"问题已经成为中国PPP模式可持续、健康发展过程中亟待解决的重大问题.通过深入剖析PPP"落地难"形成机理,从政府和项目两个维度分析PPP可落地性评价特征.针对传统分类器识别非平衡样本集的缺陷,通过人工合成数据,并引入集成学习算法,构建SMOTE-Bagging算法进行模型训练,解决PPP可落地性评价中样本数据...     

基于改进支持向量机的风电机组故障分类识别

针对支持向量在分类过程中,特别是对于非线性可分问题,如果采用不同的核函数,支持向量机(SVM)可以构造不同的学习机器和分类模型,从而导致分类算法复杂且分类精度较低。研究了SVM的轴承诊断原理,测试诊断方案及原始测试数据的特征提取,最后进行了数据训练和测试实验仿真,然后对风力发电机组机械故障进行诊断,实验说明了改进后的SVM故障分类方法的可行性和有效性。在建立故障分类模型之后,采用网格搜索法、遗传算法、粒子群算法对支持向量机的惩罚参数C和径向基核函数参数γ进行优化选择,通过分析发现故障分类精度提升比较明显。     

不平衡古漆器漆膜数据分类研究

针对古漆器漆膜数据类间不平衡、样本规模小,以及传统机器学习算法分类效果较差的问题,提出一种改进SMOTE的过采样方法改变漆器漆膜数据样本分布,使其达到平衡.该方法通过比较各类样本间的欧式距离,删除了人工样本中的噪声数据,然后运用集成学习中的随机森林算法进行分类,提高了少数类的分类准确率.UCI数据集上的实验结果表明,改...     

基于多宽度高斯核的支持向量机特征选取算法研究

支持向量机（SVM）作为一种机器学习分类算法应用广泛,但在处理高维度数据集时往往会由于特征维数较多遇到算法分类速度慢且容易陷入局部最优等问题。为了提高支持向量机的性能,提出一种基于多宽度高斯核（GKMW）的支持向量机特征选取算法FSG。FSG算法将泛化能力更强的多宽度高斯核函数引入支持向量机中代替传统的高斯核函数,利用多宽度高斯核函数能体现各个特征对分类贡献程度不同且能区分样本中各个特征重要性的特点,以多宽度高斯核函数的参数优化结果为基础进行特征选取。利用特征选取后的特征子集在多组标准UCI数据集上分类实验,实验结果表明所提算法性能优于有代表性的特征选取法。     

SVM算法在文本分类中的研究

SVM算法只使用已归类的数据训练分类器,而EM算法用少量已归类数据,结合大量的未归类数据来训练分类器,在减少已归类数据的同时保证了分类器的精度。本文基于EM算法的思想,根据SVM文本分类模型,提出一种新的迭代SVM文本分类算法。实验结果表明,迭代SVM算法分类精度高于传统的SVM文本分类算法,具有较好的性能。