基于随机森林方法的异常样本检测方法

提出一种基于随机森林方法的异常样本(outliers)检测方法.仿真实验表明,与其他2种基于距离的异常样本检测技术相比,这种方法可以更好地提高模型的准确率,且具有较强的鲁棒性,在处理大规模数据集时还能显著地减少计算时间.     

Accelerated matrix recovery via random projection based on inexact augmented Lagrange multiplier method

In this paper, a unified matrix recovery model was proposed for diverse corrupted matrices. Resulting from the separable structure of the proposed model, the convex optimization problem can be solved efficiently by adopting an inexact augmented Lagrange multiplier (IALM) method. Additionally, a random projection accelerated technique (IALM+RP) was adopted to improve the success rate. From the preliminary numerical comparisons, it was indicated that for the standard robust principal component analysis (PCA) problem, IALM+RP was at least two to six times faster than IALM with an insignificant reduction in accuracy; and for the outlier pursuit (OP) problem, IALM+RP was at least 6.9 times faster, even up to 8.3 times faster when the size of matrix was 2 000×2 000.     

离群值处理在金融发展对经济增长影响研究中的应用

采用77个国家和地区1988~2014年间的面板数据,依据最小截平方和(LTS)估计识别和去除离群值后,通过最小二乘虚拟变量(LSDV)估计从实证角度验证金融发展对经济增长的作用.结论表明:各国银行业发展和股票市场发展均对经济增长显著正相关,这与当下各国积极推行金融改革以促进经济增长的政策是相符的.     

加权三支决策增量软聚类算法及性能分析

现有的增量聚类算法虽然解决了数据增量和类簇重叠问题,但在距离度量时没有考虑属性重要度不同,且普遍拥有较高的时间复杂度。针对以上问题,提出一种基于属性重要度的加权三支决策增量软聚类算法（W-TIOC-TWD算法）,将属性重要度考虑到距离度量中,弥补了现有算法在聚类过程中将所有属性的重要程度视为相等的不足。该算法还引入离群点概念,降低了算法的时间复杂度。基于人工数据集和UCI数据集的实验结果表明,W-TIOC-TWD算法的聚类准确率优于比较算法。     

Ⅰ型极小值分布样本异常数据的检验

针对Ⅰ型极小值分布样本的多个异常数据,提出了一种新的检验方法.首先寻找到总体参数的具有较好稳健性的估计量,然后在此基础上构造出检验统计量,进一步求出了该检验统计量精确的概率密度函数和大样本情形下的近似分布.由于检验统计量中的核心统计量——样本分位数,对于异常数据的干扰具有一定的抵抗力,因此利用该方法可以达到有效的检验效果.     

一种改进的聚类和孤立点检测算法

对基于距离的聚类及基于密度的孤立点检测方法进行了分析研究,提出了一种基于距离和密度的聚类和孤立点检测算法DDBCOD.该算法根据距离和密度阈值对数据进行聚类,并发现数据中的孤立点.实验表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好的识别出孤立点.     

一种基于k-means聚类的航运信息孤立点分析算法

为了从大量含噪的航运信息中挖掘出有用的知识,研究孤立点探测方法在航运信息处理中的应用.首先在对k-means聚类算法分析的基础上,定义中位数的概念及孤立点的判断标准,提出一种基于k-means聚类的孤立点分析算法;然后,针对航运信息的特点,采用一维数据和多维数据异常点探测方法挖掘AIS数据库中的异常信息.实验结果证明,基于k-means聚类的算法对孤立点更敏感,能够探测到一维统计方法中探测不到的异常点     

精神家园缺失的"局外人"——贾宝玉与默而索形象新探

贾宝玉和默而索这两个形象之所以成为局外人,是因为他们都存在着精神家园的缺失,并且正是由于他们对家园的追求和向往导致了他们的局外人地位。本文通过对二人局外人形象的成因追溯,探讨这两个局外人形象的社会意义。     

回归诊断的软件求解

回归诊断是现代统计分析的重要组成部分，本应用SPSS，详述了回归诊断的理论和方法，提出了每一个诊断统计量的临界值。     

基于改进DBSCAN算法的异常数据处理

随着智慧农业的发展,农业生产中海量数据不断涌现。在海量数据中难免存在噪声数据,这些数据不仅难以提供有效价值,还会影响信息挖掘。针对该问题,采用基于密度的DBSCAN聚类算法进行异常数据处理。鉴于DBSCAN算法对参数敏感,结合数据集本身特性与统计学思想以绘制各点之间的距离升序曲线,预估出DBSCAN的Eps参数。仿真实验结果表明,改进算法平均准确率达到99.6%,较传统算法提高了1.7个百分点,并且在10次检测中,改进算法只有3个数据判定错误,证明该参数设置方法对异常数据处理准确率更高,稳定性也更好。