基于Hadoop平台的人才发现与推荐系统研究

随着互联网和社交网络的发展,个人信息越来越多地暴露在网络空间中,有效收集和挖掘这些信息可发现所需要的人才信息。设计了一个人才发现与推荐系统,该系统基于Hadoop平台,利用网络爬虫程序寻找网页,通过信息抽取技术获取页面内容,利用lucene的分词器提取文本中的关键词,根据关联规则算法挖掘出关联关键词,采用基于相似项的策略推荐人才。系统为企业提供了一种基于网页数据的技术人才发现和推荐工具,节约了大量时间和成本。     

基于Hadoop的图书馆复合大数据存储系统研究

Hadoop中的HDFS是大数据存储处理的关键技术,HDFS在存储海量数据集中有着高效、可靠的优点。为解决图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于Hadoop的图书馆复合大数据存储系统。该复合大数据存储系统能够满足图书馆大数据存储需求,提高大数据存储效率,可高效保障图书馆大数据决策的需求。     

电子商务环境下基于Hadoop的云计算数据安全性分析

Hadoop作为一种开源的基础云计算框架,在电子商务中逐步得到了有效的应用,但其数据安全机制的薄弱已成为阻碍其发展的主要问题之一。本文首先归纳了电子商务环境下传统网络的安全问题以及安全机制,分析了云计算的数据安全问题,然后通过对Hadoop工作模式的描述,提出了Hadoop的数据安全需求,最后通过对Hadoop当前数据安全机制的研究,分析了其中的安全隐患,并提出了相应的解决办法,为Hadoop新数据安全需求的电子商务应用提供了技术支持。     

基于Hadoop的海量电能质量监测数据分析平台研究

随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。     

云计算下Hadoop平台的搭建与实践

在这个信息飞速发展的时代,海量数据的增长过快,用户查询数据时对软硬件要求高,系统资源占用率高。采用云计算模式,SaaS(Software-as-a-Service,软件即服务),通过互联网的应用模式让多个用户来访问,云计算中心会统一管理数据。SaaS这种模式统一管理数据,成本低,效率高。本文采用SaaS(Software-as-a-Service,软件即服务)模式来搭建和测试云计算平台。     

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。     

Hadoop的核心技术研究或概述

HDFS;肯容错性好、传输效率高等优点。MapReduce对数据采用海量处理的方式。文章根据笔者对HDFS和MapReduce的理解发表一些自己的看法。     

基于Hadoop的移动用户行为模式挖掘平台设计

伴随移动社交网络的快速发展,如何为用户提供贴心和个性化的服务是电信运营商密切关注的问题,要实现个性化服务的核心工作之一就是通过移动用户的消费信息有效发现用户的行为模式,但传统的单机模式下的分析平台已无法有效处理当前的移动大数据,本文针对传统粗糙集理论属性约简方法进行了并行化改造,提出基于Map Reduce的移动数据粗糙集并行约简方法,同时以Hadoop开源平台为基础,构建了移动用户行为模式分析平台,最后通过实验验证了平台的有效性与可用性。     

Hadoop平台的分布式重删存储系统研究

在本篇文章当中,我们针对数据中心存在大量的数据冗余的问题进行了简单的探讨,并且对于备份数据造成的存储容量浪费现象,提出了一种基于Hadoop平台的分布式重复数据删除解决方案。     

分布式密码计算平台的架构设计及其实现

分析了常见的密码算法对于分布式计算平台的需求 ,定义了通用的任务表示格式 ,使用DCOM技术设计了一个针对密码计算的分布式通用平台及其外挂算法模块 ;并实现了两种常见的密码攻击算法 ,给出了测试结果 .     

基于hadoop平台的分布式数据挖掘系统研究

以Hadoop为代表的分布式系统,正在逐渐成为大数据挖掘系统必要组成部分。因此,就是在Hadoop分布式系统上完成数据挖掘任务的一次实践。主要任务是使用Hadoop搭建分布式集群环境,并在该环境上部署数据挖掘任务。研究Hadoop系统架构,对其分布式文件系统HDFS和MapReduce并行编程模型的原理和实现进行深入理解。系统掌握数据挖掘过程,将传统的数据挖掘算法使用MapReduce编程实现,并针对Hadoop平台的数据挖掘算法的执行情况进行研究,主要分析其执行效率和可扩展性。选择数据挖掘中的数据聚类任务作为代表,并选择K-means聚类算法做深入研究,掌握其原理并编写其MapReduce版本,在Hadoop平台上测试并验证其效果。通过不同集群规模和不同数据规模的对比试验得出,使用Hadoop分布式系统进行数据挖掘任务具有良好地加速比和效率,计算能力的扩展性能分析也显示了其具有较大的潜力。     

虚拟企业信息平台的安全保障体系

根据虚拟企业信息平台的安全需求，结合电子商务安全体系，从虚拟企业信息平台的物理、系统、网络、应用和管理5个安全层面入手，设计了一套虚拟企业信息平台的安全保障体系，来保障信息平台运行时的安全与稳定，并为今后虚拟企业信息平台的研究和实际应用提供一个具有参考价值的安全框架。     

基于Android平台的水雨情测报系统客户端设计

传统的水雨情测报系统需要在PC端查询和检索数据,在当前移动互联网时代,难以满足随时随地查询的需求。文章在传统水文信息系统基础上,设计和开发出可以运用于手机和平板电脑的水雨情测报系统客户端。客户端基于Android平台,结合Arc GIS、WCF、百度地图和Tee Chart等技术进行开发,通过无线网络实时获取水雨情数据。客户端的数据查询功能和预警预报功能为水文工作者提供及时准确的水文信息,为防汛决策提供有力依据,提升了水文信息系统的现代化水平。     

Distributed filtering algorithm based on local outlier factor under data integrity attacks

Network security is becoming a prominent issue for the development of information technology, and intelligent network attacks pose great challenges to system security due to its strong concealment. The existence of these attacks threatens the operation process of the complicated control system. Motivated by such a security problem, we study the secure distributed filtering algorithm under a kind of complex data integrity attack which can attack in two forms. We design a detection mechanism based on local outlier factor to distinguish the rightness of exchanged data, which determines whether to fuse the estimates by comparing the local density (LD) of the estimation of each sensor. Such a detection mechanism does not need the sensor to transmit redundant data information, thus greatly saving calculation cost and improving transmission efficiency. Meanwhile, we optimize the distributed filtering algorithm and obtain a suboptimal estimation gain. Finally, we demonstrate a numerical example to verify the availability of the filtering algorithm, and explore the influence of detector parameters on the performance of the estimation system.     

基于共享库的上海电机学院数据分析平台建设

随着国家信息化建设力度的加大,上海电机学院信息化水平也在稳步加速。项目基于学校已有的共享数据库中的数据,构建数据仓库,对累积的大量数据开展多层次、多维度的整合并进行综合分析,提供所见即所得的数据查询分析工具和图形化的综合数据分析查询生成报表工具。使得相关人员能够自主、快速和方便地制作查询分析模型和报表展示,并最终以数据报表、图表等多种形式呈现给学校的各级管理人员。     

Distributed data driven control for multi-agent consensus with unknown system dynamics

This study investigates the consensus tracking problem for unknown multi-agent systems (MASs) with time-varying communication topology by using the methods of data-driven control and model predictive control. Under the proposed distributed iterative protocol, sufficient conditions for reducing tracking error are analyzed for both time invariable and time varying desired trajectories. The main feature of the proposed protocol is that the dynamics of the multi-agent systems are not required to be known and only local input-output data are utilized for each agent. Numerical simulations are presented to illustrate the effectiveness of the derived consensus conditions.     

基于大数据的旅游信息智慧服务云平台构建研究

从系统设计目标、总体构架设计、Hadoop分布式构架和智慧服务设计,以及服务平台构建、线路推荐算法和旅游信息大数据挖掘等关键实现技术等方面,研究和分析基于大数据的旅游信息智慧服务云平台的构建。     

基于Android移动平台的校园导航系统的设计与实现

在移动互联网的时代,基于地理位置服务LBS发展得越来越成熟,直接影响到人们的衣食住行。文章针对桂林电子科技大学校园导航LBS应用的设计与实现进行分析。校园内用户能够通过Android客户端查询自身的位置、目的地点的路线、建筑的位置等信息,校园外用户通过在论坛中话题发布、校园资讯查阅等方式了解校园信息。校园导航应用主要面向特定用户,如校园师生、来访人员等,解决了他们对校园不熟悉的众多问题。     

基于电力载波的光伏数据采集系统设计

以三星S3C2440的ARM处理器与MI200E电力载波芯片为核心,设计了一种利用220V交流电力载波和internet的光伏微型逆变器数据采集及监控系统。介绍了系统结构和功能,阐述了以太网通讯和电力载波通信的实现和软、硬件设计方案,给出了部分电路原理图和程序流程图。利用电力载波技术采集微型逆变器中的电压、电流、电能等数据,再通过internet将数据发送到远程的数据中心,实现了光伏系统的远程监控功能。     

基于AVR单片机的数据采集系统的设计

介绍了基于AVR单片机的数据采集系统的硬件和软件设计。该系统分为数据采集传输和数据显示两部分。数据采集以ATMEGA328P为核心,利用该单片机进行多路数据采集。通过CH340T芯片的USB转串口的功能,实现AVR单片机与PC机问采集数据的传输。数据显示模块,通过Visualstudio开发环境下的C群语言,运用．Net Framework提供的Sedal Port类实现上位机采集数据的收集和显示。