基于改进聚类算法的卫星数据异常检测模型

利用数据挖掘技术对Demeter卫星数据进行分析从而发现异常数据已成为当前研究的重点,为了进一步提高异常数据发现的质量,本文提出了一种改进的聚类算法,对Demeter卫星电场数据进行异常检测,该算法首先将数据随机取样,引入信息熵理论,对PAM算法进行改进,并对卫星数据进行划分,以找到聚类中心,最后对改进算法进行了分析与比较,实验结果证明了算法的有效性。     

基于时序差分算法的线损异常判别优化研究

为了提高电网监控智能化,降低线损计算误差,提出基于时序差分算法的线损异常识别优化模型,识别异常线路和异常点。遍历各线路的线损数据,利用自适应差分算法判别各线路的线损率波动是否正常,提取异常线路集。通过时序差分化发售电数据的平滑性质和前后关联性质,识别定位异常数据在时序序列上的位置。基于先验知识对异常数据进行修正,给出修正后的线损率。研究发现,修正后的线损率准确性有较大提高,该算法可以在一定程度上解决负荷数据异常导致的线损计算率偏差问题。     

大型多媒体网络数据库异常数据高效检测方法

大型多媒体网络数据库汇聚了大量文本、图片、视频、音频等多种媒体资源,并通过云存储系统实现资源共享。在大型多媒体网络数据库中,异常数据给数据库带来安全威胁和存储开销,对其高效检测保证数据库系统的稳定运行。传统的检测方法采用模糊FCM检测算法,具有移植性不好的弱点,检测性能不好。提出一种基于密度先验信息滑动时间窗口重排的大型多媒体网络数据库异常数据高效检测方法,构建大型多媒体网络数据库异常数据高效检测模型,并与传统算法进行检测性能对比,仿真结果表明,采用该算法进行网络数据库的异常数据检测,能有效提高对异常数据的检测性能,检测概率优于传统算法,开销缩小,实现高效检测。     

基于改进遗传算法的光纤网络异常数据检测

只有对光纤网络异常数据快速有效的检测,才能保证光纤网络的正常通信。传统方法依据特征相似性进行光纤网络异常数据检测,当特征过于相近时,需添加很多模糊条件,导致实现过程复杂,效率低下,因此,提出一种基于改进遗传算法的光纤网络异常数据检测方法,通过调整交叉概率和变异概率改进遗传算法,避免算法陷入局部最优解。依据对遗传算法的分析,将光纤网络异常数据检测的问题转换成求取最优解的问题,采用改进遗传算法实现了对光纤网络异常数据的检测,并提出详细的遗传操作及实现过程。实验结果表明,该方法检测效果良好,检测效率及检测精度均高于传统算法。     

大数据下基于MapReduce的Dirichlet朴素贝叶斯文本分类算法

针对当前大数据环境下朴素贝叶斯文本分类算法在处理文本分类时存在的数据稀疏、分类不准及效率低的问题,本文提出了一种基于MapReduce的Dirichlet朴素贝叶斯文本分类算法。算法首先根据体征词语义因素以及类内分布情况对权重进行加权调整,以此对的计算公式进行修正;引入了统计语言建模技术中的Dirichlet数据平滑方法来降低数据稀疏对分类性能的影响,并在Hadoop云计算平台采用MapReduce编程模型实现本文算法的并行化。通过测试实验对比分析可知,本文算法显著提高了传统朴素贝叶斯文本分类算法的准确率、召回率,并具有优良的可扩展性和大数据处理能力。     

投影机光学自动测定系统亮度数据优化设计

目前对投影机的光学数据测定使用的是一套基于高精度照度计T-10A的自动测定系统。由于作业上的不稳定性,导致该系统获取到的光学数据会有一定的异常值混入,从而拉低整体亮度统计数据。本文叙述了一种基于正态分布原理的对光学自动测定软件算法的改进设计,可在不影响正常亮度检测功能的情况下,筛查出异常数据,优化亮度数据结果。     

基于修正二阶锥规划模型的大数据聚类算法

二阶锥规划是在有限个二次锥的笛卡尔空间仿射变换交集上的极小化和极大化线性函数,采用修正的二阶锥规划模型,结合二阶锥的凸优化条件,进行大数据聚类算法改进,提高数据的聚敛性。传统方法中对大数据聚类的二阶锥规划模型采用线性对偶锥规划方法,对数据聚类的路径跟踪性能不好。提出一种基于修正的齐次二阶锥规划模型的大数据聚类算法。进行数据的特征挖掘和信息流模型构建,从大量的、有噪声的、模糊的数据中进行大数据的功率谱密度特征提取,采用粗糙概念格方法对大数据信息流进行二阶锥规划模型构建,结合齐次二阶锥规划模型算法有限收敛性,对每一数据聚类样本进行可靠性衡量,实现数据聚类中心的准确搜索。对聚类误差函数求最优解,使得误差收敛到零。仿真结果表明,该算法进行数据聚类的精度较高,收敛性较好,避免了出现局部最优解,性能优越于传统算法。     

基于RSA和高级数据加密标准的网络数据加密方案

阐述了公开密钥密码技术RSA算法和最新的数据加密标准AES,利用AES算法的效率以及DES算法中密钥产生和管理的方便性等特点。并将两者结合起来,提出了一种新的网络数据加密方案,该网络数据加密方案可以有效地解决数据在网络传输中的保密性等问题。     

基于聚类的离群数据挖掘技术在线损自动生成系统数据预处理中的应用

线损自动生成系统是电力市场化不可缺少的组成部分,是管理现代化电网的重要技术手段,在电力的安全生产和商业化运营中具有越来越重要的作用.为提高电力市场化的应用水平,供电公司开发了线损自动生成系统,并依据电网发展的需要不断的测试、更新.但是由于各个终端电量的历史数据、物理因素和其它各种相关因素,一直影响线损自动生成系统预测与分析方面的准确性.本文将数据挖掘技术中的聚类算法应用到系统中,并在数据预处理阶段对历史数据进行坏数据辨识和调整.预测的精确度很大程度上取决于历史数据的准确性,然而,由于线损自动生成系统中的各种信息存在着大量的随机信号而且具有明显的不确定性,对线损系统线损预测与窃电分析造成困扰.因此,为了保证电量预测的精确度,必须对历史数据进行分析,对脏数据进行修正.本文将数据挖掘的离群数据算法应用到线损自动生成系统,着重研究了用聚类的各种分析方式识别和修正异常数据.     

基于改进SVM的网络异常数据优化分类方法研究

对网络异常数据进行准确分类能够为网络入侵分类、保障网络安全提供准确的依据。传统算法没有考虑网络异常数据分布的不均衡性和高动态变化性,从而降低了分类的准确率和效率。为此,提出一种基于改进SVM的网络异常数据分类方法。在确定网络异常数据隶属度的时候考虑到其与类中心的关系,对传统的SVM进行了改进,在构建SVM分类器的过程中,引入了模糊隶属度函数,并将网络异常数据的分类问题转换为二次规划问题,最终实现网络异常数据的准确分类。仿真实验结果表明,利用改进算法进行网络异常数据分类,能够提高网络异常数据分类的准确率和分类效率,效果令人满意。     

旅游关联数据实体模型的模糊决策仿真研究

对诸如交通、季节、物流和人流等旅游关联数据的实体模型构建和模糊决策算法设计,是现实旅游规划和管理的基础。传统的旅游关联数据实体模型挖掘和决策算法采用的是支持向量回归机学习的模糊决策模型实现对旅游关联数据的实体模型构建方法,参数设置复杂,并具有不稳定性。提出一种基于粒子群参数寻优的旅游关联数据实体模型的模糊决策算法。首先进行旅游关联数据的实体模型构建,采用粒子群参数寻优方法进行旅游关联数据信息流的预测算法设计,设计PSO-SVR模型,在Matlab平台上编写程序并迭代计算,运用PSO算法对SVR模型进行参数寻优,由此实现了对旅游关联数据粒子群寻优和模糊决策。仿真结果表明,该算法能有效修正因季节等关联因素和原因产生的旅游预测值偏高或偏低现象,旅游客流量预测均方误差明显降低,决策控制稳定性较好,提高旅游规划和管理能力。     

一种新的基于邻居样本分布特征的异常值检测算法研究

在数据挖掘领域中,研究的重点之一为异常检测技术。针对数据挖掘中实际采集到的样本数据受众多因素的影响所出现的异常值,本文提出一种新的基于邻居样本分布特征的异常检测算法,该算法通过引用邻域的概念能够处理混合属性的数据集,并且单纯考虑一个样本的的邻域大小和样本的邻域密度不能合理的反映该样本的异常程度,该算法考虑邻域中的所有样本。仿真实验结果表明,在处理混合数据中本文提出的数据异常检测算法相较其他异常检测算法有明显的优势。     

一种面向数据核特征的复杂网络异常检测算法

针对传统异常检测算法存在复杂小样本情况下训练精度高,预测精度低的过拟合缺陷,出现误报和漏报现象,提出一种面向数据核特征的复杂网络异常检测算法。网络异常数据核特征判别技术是一种针对复杂小样本异常特征的线性判别的非线性扩展。算法根据最大化网络复杂异常类间离散度和最小化类内离散度的准则,寻找原始向量的最优投影方向,使各异常数据类之间最大程度地分离,从而达到正确的检测。仿真实验结果表明,本文的方法相对于传统的支持向量机法和高斯混合模型方法,具有较高的识别率和较快的训练速度。     

大数据环境下新的数据加密算法研究

针对目前大数据环境数据加密隐私保护算法安全性以及数据加密处理效率不是特别理想的情况,本文提出一种新的基于重复数据删除技术的大数据加密算法,该法针对大数据进行消冗处理,充分体现出椭圆曲线加密算法的安全性高、密钥短等优势,同时又结合了CTR工作模式,充分展现出并行性佳且速度较快等优点。通过大量实验分析充分证明,新算法的安全性高且数据加密速度得到较大提高。     

数据关联算法研究

随着传感器技术的不断发展,传感器在军事领域以及民用领域得到广泛的应用.数据关联技术是其中的核心技术,对数据关联算法的研究成为了计算机领域的研究重点.研究了当前的多种数据关联算法,分析比较了几种关联算法的性能.     

面向大数据的网络舆情异常数据监测与应用研究

[目的/意义]通过对网络舆情数据的动态监测和异常感知,及时预警舆情异常,为政府掌握舆情决策的先动优势提供理论模型和可行思路。[方法/过程]分析大数据环境下激增、波动等网络舆情数据异常现象,明确舆情趋势预测、动态感知异常等异常数据监测机理。基于此,首先运用Gompertz模型进行舆情趋势区间预测,其次定义偏离度进行数据异常评级,并确定预警等级,实现异常数据的及时捕捉和快速预警。[结论/结果]通过实例验证,证明了模型可行性,可以为政府舆情引导程度提供度量依据,也为编制智能化的舆情监测软件提供算法支持。     

基于AES和RSA的网络数据加密方案

为了解决网络传输中数据的安全性,阐述了最新的数据加密标准AES和公开密钥密码技术RSA算法,比较了两者的主要优缺点,并利用AES算法的效率以及DES算法中密钥产生和管理的方便性等特点,将两者结合起来,提出了一种新的网络数据加密方案,该网络数据加密方案可以有效地解决数据在网络传输中的保密性等问题.     

基于属性分类加权的数据隐私保护算法

针对目前社会随着数据共享技术的不断发展所导致的个人隐私数据不断被泄露的问题,本文提出一种新的数据隐私保护算法,该算法具备自身独特的优势,在弱泛化较为重要的属性的操作过程中,特别引入了信息增益、信息增益比率两个参数。此外,还引入了属性权重,通过这个参数可以确定在分类时数据集内对应属性的重要性,并且在匿名化操作中可以对元组数据间距离进行合理的调整。仿真实验结果表明,本文提出的数据隐私保护算法相较以往经典的数据隐私保护算法在处理数据精度以及运行效率方面更加具有优势。     

基于专利发展路径的颠覆性技术识别：以智能语音领域为例

研究提出运用客观数据和系统的方法来识别颠覆性技术并提高识别精准度的方法。基于颠覆性技术理论,重新修正颠覆性技术特征,从创新性、扩散性和转轨性三方面构建一种采用搜索路径统计数（SPC）算法、专利吸收率和专利扩散率测度的新方法对颠覆性技术进行识别和判断;并利用1970—2020年间1 985件专利的数据对智能语音领域进行实证分析,分析识别出强化学习和神经网络技术是该领域的颠覆性技术,而端到端的神经网络算法是该领域未来发展的方向。     

大数据下不均衡数据碎片分类识别算法

提出一种基于决策准则优化的不均衡数据碎片分类识别算法,首先对一般的大数据环境下不均衡数据碎片分类识别过程进行描述,分析其存在问题,在此基础上,提出通过决策准则优化算法进行不均衡数据碎片识别的算法,通过优化决策准则中的决策阈值和错分代价,从而优化分类准则,通过对自适应随机子空间不均衡数据碎片分类识别算法的描述,完成大数据环境下不均衡数据碎片分类识别。实验结果表明,所提算法能够提高分类识别的准确性,且其所占内存空间较小,为该领域的研究发展创造条件。