遥测降雨异常值的三步抗差统计探测

由于遥测降雨系统自身的原因,遥测降雨资料中常有异常值的出现.充分利用降雨分布特征以及抗差统计理论,提出一种三步抗差统计方法探测遥测降雨资料中的异常值.本方法采用Tukey fence统计方法抵御异常值的干扰,用三步的形式以适应降雨资料的分布特征.对面平均降雨量进行的分组,进一步提高方法的探测效率.数据证明,新方法的探测效果较好,且符合水文预报要求.     

基于抗差算法的马斯京根参数估计

用于估计马斯京根模型参数的方法很多,但这些方法在数据存在异常值时缺乏抵御异常值影响的抗差性能. 推导出一种有限制条件的参数抗差估计算法,通过含有随机误差和异常误差的人工数据和真实数据比较抗差算法与传统最小二乘算法的抗差性. 研究表明抗差估计算法能减小异常值对参数估值的影响.     

基于改进DBSCAN算法的异常数据处理

随着智慧农业的发展,农业生产中海量数据不断涌现。在海量数据中难免存在噪声数据,这些数据不仅难以提供有效价值,还会影响信息挖掘。针对该问题,采用基于密度的DBSCAN聚类算法进行异常数据处理。鉴于DBSCAN算法对参数敏感,结合数据集本身特性与统计学思想以绘制各点之间的距离升序曲线,预估出DBSCAN的Eps参数。仿真实验结果表明,改进算法平均准确率达到99.6%,较传统算法提高了1.7个百分点,并且在10次检测中,改进算法只有3个数据判定错误,证明该参数设置方法对异常数据处理准确率更高,稳定性也更好。     

椭球约束线性模型异常点的Score检验

利用方差扩大模型,获得椭球约束线性模型异常点的Score检验函数。最后,通过经典的实验数据对本文结果进行实例分析。     

基于正太分布离群算法的冷链温度监测系统

冷链运输过程中需要对温度信息进行实时监控,但由于传感器本身的特性,很容易采集到错误的数据。为了解决这一问题,根据冷链运输过程中温度数据呈正太分布的特点,将正太分布离群算法应用于冷链温度监测中,并通过模拟的冷链运输环境进行实验。结果表明,基于正太分布离群算法的温度监测方法能够准确剔除温度数据中不正常的数据,准确性达到了100%。     

指数分布多个异常数据的检验

利用样本分位数构造检验统计量,给出来自于指数分布总体异常数据的一种检测方法．求出了检验统计量精确的概率密度函数和大样本情形下的近似分布,从而得到了检验临界值简洁的近似表达式．检验统计量中的核心统计量——样本分位数,对于异常数据的干扰具有一定的抵抗力,因此该方法可有效地达到检测效果．     

混合效应模型框架下反应时数据的分析：原理和实践

从分布形状、趋中度以及离散程度来看,反应时都具有区别于其他数据类型的非常鲜明的特点。因此,反应时数据的统计分析处理往往也有不同的技术要求和门槛。基于R语言的混合效应模型为反应时分布上的正偏斜、各数据点之间强关联以及异常值等问题提供了很好的解决方案。本文在回顾传统的反应时数据分析方法后,以一项具体的研究为实例介绍了使用“混合效应模型”来拟合反应时数据的基本原理、概念内涵以及如何拟合最佳模型等问题。     

均匀分布参数基于不完全数据的区间估计

针对不完全样本观测数据,讨论了一类均匀分布总体参数的区间估计问题．利用样本中位数给出了构造置信区间的一个新枢轴量,推导出了枢轴量的概率密度函数表达式,并且在大样本场合,讨论了总体参数的近似置信区间．该方法不仅适用于不完全数据场合,而且还适用于样本中可能存在异常数据的情形,具有稳健性．     

房贷数据回归模型合理性的实证研究

银行房屋抵押贷款数据中有两个重要指标,权利价值和贷款金额.根据实际房贷数据,用单位贷款金额和单位权利价值建立一个线性回归模型.使用高杠杆值对模型进行分析诊断,探测出数据中的强影响点后,再建立一个改良模型.最后根据统计分析结果对银行房贷工作提出合理化建议.     

一种基于近邻关系的新型离群评估算法

针对传统离群点检测算法的局限性进行研究,利用数据对象之间的相邻关系,提出了一种基于密度和距离相结合的离群检测算法,该算法解决了基于距离的离群检测算法不能准确识别局部离群点的问题,有效避免由于稀疏和密集簇过于邻近的而出现离群点误判的情况。通过在人工模拟数据及真实数据集上的实验测试证明改进算法的可行性,该算法能更有效地检测出数据集中的离群对象。