高维数据下基于云平台的随机森林算法的研究与实现

随机森林算法在数据挖掘领域中得到了广泛的应用,该算法通过构建多个不同的决策树可以获得更高的分类结果。但是,随着数据规模的增大,人们开始接触到各大规模的数据以及更高维度的数据属性。传统的随机森林构建算法不能有效、快速地处理海量高维数据,严重影响了数据的分类效率,从而影响预测效率。本文针对高维、海量数据下随机森林构建算法,改进并提高了该算法的效率,提出了基于云计算平台的随机森林构建算法。该算法可以快速的完成数据分类预测,并通过实验结果进一步展示了该算法的效率以及可扩展性。     

基于一元线性回归模型的农村用电量预测

新农村经济建设促进了农村电网的不断发展。针对西藏人口分布广泛的特点,为科学预测《西藏农村电网用电量,本文分析了农村电网供电现状,采用考虑农村社会总产值因素的一元线性回归分析法,对农村电网2004-2010年用电量的历史数据进行拟合,对2015年的用电量进行预测。结果表明该方法有较高的预测精度,对西藏农村电网未来的发展规划提供重要的参考价值。     

基于MapReduce模型的电力数据并行化的异常检测

提出了基于MapReduce计算模型的电力数据异常检测的并行化设计,实现了多个计算节点对海量的电力数据进行并行化的异常发现,从而快速发现存在异常的采集点。     

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

基于Hadoop的海量电能质量监测数据分析平台研究

随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。     

高维数据降维方法研究

本文介绍了MDS、Isomap等三种主要的高维数据降维方法,同时对这些降维方法的作用进行了探讨.     

高维数据可视化方法研究

本文从高维数据成功可视化的三要素着手,介绍了几种主要的高维数据可视化方法。     

“大数据技术与应用”征文通知

为了促进大数据学术交流与互动,推进大数据相关研究与发展,本刊将增设“大数据技术与应用”专栏。欢迎广大致力于大数据研究的朋友们投稿!一、征文范围包括但不限于以下方面：（1）大数据理论与方法 大数据存储、海量数据复制策略、海量数据故障发现与处理方法、MapReduce数据流组织方式     

基于模糊核递归计算的海量Web数据访问优化算法

Web数据的访问一直是当前研究的热门话题。随着网络规模的扩大,海量Web数据访问受到了很大限制,高纬度的数据会大幅的打乱数据知识模式规则,数据可视化结构不能满足算法知识发展的要求,导致海量Web数据访问耗时。为此提出一种基于模糊核递归计算的海量Web数据访问优化算法。计算数据模糊核特征,利用隶属度函数表示模糊特征的归属,利用模糊核递归判别从这些海量数据中发现有用知识包括模式规则、可视化结构。实验表明,该方法能够较好地完成海量Web数据的优化方法,时间复杂度大幅降低。     

基于位置敏感哈希的海量文本数据查询算法研究

提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数集把文本的特征向量映射至哈希桶;接下来,利用哈希表为给定的文本计算出与之对应的直方图,通过直方图距离计算文本的相似度;最后,通过计算目标文本集中的文本与待查询文本的相似度进行文本排序,排序分值高的文本作为相关文本返回给用户。实验结果表明,对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。     

基于模糊神经网络的RTT智能预测算法

在网络拥塞控制的重要参数中,RTT（Roundtriptime）尤为突出,因为它能对网络所发生的拥塞作出较早的反映。所以对RTT的精确预测程度,无论是对网络拥塞控制还是流量、带宽估计都很有意义。分析了RTT的特性,发现其有很强的高频噪声,因而采用低通滤波和MBP网络相结合的RTT预测策略。实验表明,即使在网络状况较忙的情况下,也能获得很好的预测结果。     

智能计算在网络入侵检测中的应用研究

研究了基于遗传算法和差分进化计算的入侵检测系统中的特征选择技术,差分进化计算在变异过程中并未考虑到适应度大的个体,同时存在过早收敛问题,而遗传算法需要很多的迭代次数才能收敛.针对以上缺点,结合模拟退火算法对差分进化的变异过程进行改进,同时设计合理的适应度函数,使得该算法收敛于最优特征子集.经过Lincoln实验室入侵检测系统评估数据集合MIT' 1998测试,改进算法与差分进化算法和遗传算法相比,具有良好的收敛性能,并且收敛特性稳定.     

基于交叉覆盖算法的成绩预测

本文主要利用交叉覆盖算法,通过实验找出对初中生学习影响较大的因素。交叉覆盖算法是利用了M-P神经元模型的几何意义得到的一种领域覆盖的算法,它在一定意义上考虑到了网络结构的优化问题,可以使得产生的神经网络的规模较小,而且方法实用、可行,解决了多年以来一直未能很好解决的前向网络设计问题。本文尝试将交叉覆盖算法应用到学生成绩预测上,在实验中得到较好预测结果。     

边坡稳定性人工神经网络预测研究

边坡具有复杂的变形破坏机理和模式。目前,分析边坡变形破坏机理及评价其稳定性的一些精确分析方法由于应用起来存在随意性和不确定性,在很多情况下是不适宜的。因此,建立一种把人为影响减少到最低程度的、能融定量与定性指标于一体的边坡稳定性评价方法是非常必要的。利用人工神经网络(ANN)探索建立的这样一类模型,用于边坡稳定性评价可望建立接近人类思维模式的定量与定性指标相结合的综合评价模型。     

基于智能计算的无线传感网络分簇算法

分析了经典的LEACH算法,包括簇的建立阶段与稳定通信阶段.针对LEACH算法选择簇头时具有概率性且分布不均匀的缺点,基于粒子群思想提出了一种确定最优簇头坐标的计算方法.同时针对LEACH算法需要轮回更换簇头的缺点,设计了辅助簇头并且延长了每轮的持续时间,并且给出了辅助簇头产生的计算方法.经过MATLAB仿真表明,改进算法的网络能耗低于LEACH算法,有效地延长了网络的生命周期.     

基于包络特征的网络流量预测阈值调控算法

对网络流量序列的准确预测的基础是进行流量判决门限阈值的合理调控,为了提高网络流量预测的精度,进行阈值调控优化设计。传统方法采用流量序列调频估计的方法进行阈值调控,算法不能准确估计流量序列的包络特征,预测精度不好。提出一种基于包络特征的网络流量预测阈值调控算法。通过不同类型的网络设备进行流量采集终端联网构建,采用自相关特征奇异分解对流量序列进行线性特征叠加运算,构建网络流量预测的时间序列模型。采用统计学数学方法对流量序列的延迟时间互信息进行阈值调控自适应建模,提取流量序列的包络特征。实现对网络流量预测的阈值调控,提高预测精度。仿真实验表明,该算法能实现对流量预测阈值的自适应调控,预测精度较传统方法提高37%,性能优越于传统算法。     

基于CAN总线的网络化智能传感器研究

为解决传感器与各种工业现场网络互连,实现传感器的即插即用,在分析网络化智能传感器特点的基础上,利用CAN总线的实时通信性,设计了一种基于CAN总线的网络化智能传感器,并给出了该传感器的系统结构、硬件及软件的实现方法.     

浅谈电力配网的管理

随着电力系统的发展以及社会用电需求量的增长,电力配网作为电力企业电能输送的最后环节,其重要性也日益显著。本文所阐述的配网管理工作,主要包括配网的规划和建设、配网的运行及配网的设备管理这三方面。     

基于流量预估与反馈的网络通信协议优化研究

针对当前的网络通信协议缺少必要的沟通与反馈机制,通信中的错误与弊端很难形成一个时时的反馈.当网络通信不能明确沟通中的意外时,会产生通信效果下降,产生网络阻塞.为了解决这一问题,提出了一种基于流量预估与反馈的网络通信协议优化研究,通过对当前通信协议中,加入对流量预估与阻塞反馈机制,反馈网络中的流量异常变化,利用流量驱动进行调节,完成对网络通信协议优化.后期的计算机仿真实验表明,该方法在网络信息通信的各项指标都取得了较好的效果,应用性较强.     

基于ARIMA-BP神经网络模型海流流速预测研究

海流是一种具有广阔应用前景的无污染可再生能源,结合ARIMA时间序列预测模型和BP神经网络预测模型的优点,构建ARMA-BP神经网络混合模型,对海流流速预测问题进行研究。采用神经网络模型得出海流流速的残差值对时间序列模型的预测值进行修正,提高了海流流速预测的精度。