基于Hadoop的海量电能质量监测数据分析平台研究

随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。     

Hadoop的核心技术研究或概述

HDFS;肯容错性好、传输效率高等优点。MapReduce对数据采用海量处理的方式。文章根据笔者对HDFS和MapReduce的理解发表一些自己的看法。     

基于Hadoop的数字化校园设计与实现

高校是进行教学与科研的场所,随着云计算技术的发展,如何管理和利用产生的海量数据已成为当前研究的热点。设计了一个基于Hadoop云计算平台的数字化校园,其由4层体系构建,对该系统从结构、功能等方面进行了设计与分析。     

电子商务环境下基于Hadoop的云计算数据安全性分析

Hadoop作为一种开源的基础云计算框架,在电子商务中逐步得到了有效的应用,但其数据安全机制的薄弱已成为阻碍其发展的主要问题之一。本文首先归纳了电子商务环境下传统网络的安全问题以及安全机制,分析了云计算的数据安全问题,然后通过对Hadoop工作模式的描述,提出了Hadoop的数据安全需求,最后通过对Hadoop当前数据安全机制的研究,分析了其中的安全隐患,并提出了相应的解决办法,为Hadoop新数据安全需求的电子商务应用提供了技术支持。     

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

基于Hadoop和HBase的Nutch网页排序算法研究

针对Nutch网页排序算法和中文分词的不足以及单机运行的效率问题,在Nutch综合网页排序中添加用户点击率、网页发布时间以及主题内容相关度3个影响因子,同时添加JE中文分词器,最后利用基于HDFS的HBase技术使Nutch能够实时高效地索引和检索海量数据。通过对实验结果数据的分析发现,Nutch的爬取和索引效率提高了7.93%,用户检索效率与查询准确度分别提高了11.11%与19.51%。     

Hadoop平台在图书推荐应用中的性能分析

构建基于分布式平台及大量借阅数据的图书推荐算法,是实现图书馆个性化信息推送服务的关键环节.本文从搭建Hadoop分布式平台和运用Mahout的MapReduce实现算法入手,针对读者借阅记录的分类号进行频数统计和借阅时间统计,依据借阅次数和借阅时间获得偏好值.并使用Mahout基于图书的推荐器,测试伪分布式单节点模式和完全分布式MapReduce计算框架下的推荐效果.测试表明:在MapReduce运算中增加DataNode的数量同时优化BlockSize参数能显著缩短运算时间,是实现个性化荐书服务自动推送的可行方法.     

构建移动用户行为分析模型

随着科技时代的到来,高科技技术在人们日常生活中随处可见。移动业务受到广大人群的追捧,不仅使用简单,而且各种业务给人们的工作和生活提供了很大的便利。随着用户群不断壮大,问题也随之而来,因为移动业务与传统语音业务模型之间存在较大差异,无法用传统方法建立准确的移动用户行为模型,而且移动业务用量过大,系统繁琐程度也不言而喻,大大增加了系统维护的难度,因此,当务之急是找到准确分析移动用户行为模型的方法。本文简单阐述了构建移动用户行为分析模型的意义,并对移动用户行为分析模型具体内容进行探讨。希望通过本文能够为移动业务更好的发展,提供重要的依据。     

Hadoop平台的分布式数据平台系统研究

随着web2.0、云计算、物联网等概念和技术的提出与快速发展,信息时代越来越体现出它的"大数据"特征。为了发挥大数据的价值,数据仓库、数据挖掘技术在商业、军事、经济、学术等众多领域越来越收到重视,正发挥着越来越大的作用。与此同时,庞大的数据规模也向传统的数据挖掘工作提出了重大的挑战。依靠云计算等分布式计算平台所提供的强劲处理能力,将数据挖掘与云计算相结合正在成为行业的趋势,正不断地显现出其强大的优势和潜力。     

基于用户行为挖掘和RSS技术的知识服务模式研究

介绍了用户行为挖掘、行为数据库构建和RSS服务的相关技术,提出了一种基于用户行为数据库的主动式知识服务模式。     

面向个性化信息服务的图书馆移动用户行为分析模型设计

总结国内外图书馆移动用户行为的研究现状,为面向个性化信息服务的图书馆移动用户行为分析模型设计提供参考。采用理论研究与模型分析相结合的方法,从数据采集、数据处理与数据应用三方面研究用户行为动作序列和用户行为特征之间的关系。以前端操作行为与后端业务数据库相结合的方式定义和表示图书馆移动用户在iOS App、Android App与Web页面上与产品UI的隐形反馈行为,采集移动用户客户端基础信息字段、用户行为相关字段、配置Flume 3个方面数据,引入时间维度、用户维度、部门维度、资源维度、行为维度、入口渠道6个维度进行数据仓库层面的建模,从用户行为序列预测与用户兴趣引导两步实现数据应用。     

Web用户行为模式挖掘及其在E—Learning系统中的应用

Web用户行为模式挖掘是在Web日志挖掘基础上的应用研究,是以网络日志为研究对象,从用户的访问记录中提取感兴趣内容的挖掘模式。E—Learning是指通过因特网或其它数字化内容进行的学习与教学活动。从Web用户行为模式挖掘方法及流程入手,对该方法进行了详细的阐述。将这些方法运用到E—Learning系统中,构建出一种基于Web用户访问模式挖掘的模型,实现从E-Learning系统的日志文件中挖掘出有用的数据,这些数据可为教育决策和教育教学优化提供信息和知识服务。     

基于序列模式挖掘的社交网络用户行为分析

针对SNS用户行为存在序列性这个特点,文章提出了一种SNS用户行为分析模型。模型以SNS群体用户为研究对象,引入序列模式挖掘的方法实现用户行为分析,最终获得用户的频繁行为序列模式。文章应用实例对该模型进行了可行性验证,并对未来研究进行展望。     

基于用户行为的信息资源整合及服务模式探究

在总结相关研究的基础上,针对用户信息行为的特征,从信息用户行为角度提出了以用户为中心信息资源整合及信息服务模式整合的策略,以期促进网络化信息服务稳定、可持续的发展。     

云计算下Hadoop平台的搭建与实践

在这个信息飞速发展的时代,海量数据的增长过快,用户查询数据时对软硬件要求高,系统资源占用率高。采用云计算模式,SaaS(Software-as-a-Service,软件即服务),通过互联网的应用模式让多个用户来访问,云计算中心会统一管理数据。SaaS这种模式统一管理数据,成本低,效率高。本文采用SaaS(Software-as-a-Service,软件即服务)模式来搭建和测试云计算平台。     

基于Hadoop平台的人才发现与推荐系统研究

随着互联网和社交网络的发展,个人信息越来越多地暴露在网络空间中,有效收集和挖掘这些信息可发现所需要的人才信息。设计了一个人才发现与推荐系统,该系统基于Hadoop平台,利用网络爬虫程序寻找网页,通过信息抽取技术获取页面内容,利用lucene的分词器提取文本中的关键词,根据关联规则算法挖掘出关联关键词,采用基于相似项的策略推荐人才。系统为企业提供了一种基于网页数据的技术人才发现和推荐工具,节约了大量时间和成本。     

基于时间特性的信息用户行为特征挖掘研究

【目的/意义】当前的信息用户行为特征挖掘方法无法将数据统一整合,且无法准确计算出时间序列内滑动 窗口内的数据均值,导致特征挖掘精度偏低。为此,提出了基于时间特性的信息用户行为特征挖掘方法。【方法/过 程】计算时间序列内滑动窗口内的数据均值,得出起始序列向量,再将用户行为划分成若干等值的时间片,通过取 样统计各种用户群体,得出用户的行为状态定性。以平均查询频率作为标准,观察用户的查询行为特征,输出信息 挖掘结果。【结果/结论】实验结果表明：所提方法挖掘出夜晚用户行为信息多于白天,休息日比工作日多,且在网络 波动下,虽然耗时增加,不过处于合理范围内。与传统方法相比,所提方法具有更低的挖掘误差,应用性较强。以 上实验结果证明了基于时间特性的信息用户行为特征挖掘研究能获取更准确的用户行为意向,提高用户兴趣预测 准确度,优化网络服务效果。【创新/局限】为进一步提高网络信息特征挖掘的效率,后续将重点研究多个网络用户 行为的并行分析,使该方法更适用于网络海量信息处理。     

一种用于网站用户行为分析数据的可扩展协同聚类算法

网站通常从用户中分析挖掘出其中隐含的规律,为其创造更多的价值.随着互联网的普及,互联网的用户成指数级增长给互联网传统的分析算法带来了极大地挑战.本文针对网站中存在的海量用户数据,设计了基于MapReduce分布式编程框架的协同聚类算法.该算法是分布式并行地统计聚类信息,更加高效地分析处理用户数据,完成网站中的用户行为分析工作.实验表明,本文提出的算法不仅具有很高的加速比,而且具有很好的可扩展性.     

基于变精度粗糙集的属性约简

属性约简是粗糙集理论的核心内容之一。针对变精度粗糙集理论的属性约简问题,从属性依赖度增量、互信息增量角度对属性重要度进行分析,并以这两个属性重要度的度量作为启发式信息,给出变精度粗糙集属性约简的启发式算法。最后,通过具体算例说明所给算法的有效性和实用性。     

基于ASP模式的工业设计平台

论述建立一个以网络ASP公共服务的模式,能聚集工业设计为主题的企业簇群,提供设计服务、技术协同手段、设计资源租赁及交流培训服务的平台,提出网络工业设计公共服务的模式和解决方案.