基于Hadoop技术的数字化校园海量数据存储系统研究与设计

基于Hadoop技术开发了数字化校园海量数据存储系统,提出了基于Hadoop的大数据存储模型。将整个系统设计为系统管理、业务应用、数据处理、数据采集等4个大模块,采用开源分布式数据处理框架,高效处理海量数据。系统具有可伸缩性、高可靠性、低成本和高效性等优点,解决了传统数据处理成本高、数据管理困难、可靠性低、效率低、并行处理程序编写困难等诸多问题。     

基于Hadoop的云教学资源平台的研究

云计算的出现为海量教学资源的分布存储与管理提供了新的思路与技术.为满足教育教学资源共享建设的低成本、高可靠的弹性访问与服务需求,在现有Hadoop云实现技术的框架下,提出了分布式存储、访问与管理的云资源共享平台,并设计了相关的云平台资源存储结构和Web应用程序,为现代教育教学资源共享平台的构建提供了思路.     

基于Hadoop的数据聚类算法研究

聚类算法一直备受研究者青睐。随着信息技术和数据技术的发展,数据的种类和数量急剧增长,云计算平台Hadoop成为这些数据存储和处理的新平台,基于云计算平台Hadoop的聚类算法逐渐成为热门。针对数据挖掘中的聚类问题,依托云计算模式及Hadoop平台,研究了K-means算法,有效改变了现有算法的局限性。     

数字化校园的设计与实现

本文介绍了数字化校园的发展与现状,阐述了数字化校园建设应遵循先进性、实用性、开放性、灵活性、可靠性和经济性的原则,分析了数字化校园的层次结构,并对数字化校园建设内容和步骤作了详细的论述.     

基于云计算的数字化校园建设方案

根据信息化建设实际情况,采用先进的理念和思路,提出基于云计算的数字化校园建设方案,包括数据中心、统一身份认证、统一门户等三大平台,实现环境数字化、管理数字化、教学数字化和学习数字化,建设教学、管理和学习信息互通、共享的数字化校园。     

基于Hadoop平台的交通数据处理系统设计与实现

随着城市的发展,传统方式存储与处理不断增多的交通数据暴露出诸多问题。为此,设计并实现了一套基于Hadoop的交通数据存储和处理平台。该平台采用HBase数据库存储数据,Mapreduce实现数据并行处理,Web端展示数据。实验结果证实,该平台在数据存取和数据处理性能方面都优于传统处理方式。     

基于Hadoop的煤矿图像PCA-SIFT特征提取算法研究

大数据技术已经成为当下热点问题,Hadoop技术在煤矿领域运用也引起了广泛关注。针对传统监控模式下煤矿视频监控系统图像采集点多、历史留存数据量大、不利于后续查找特征图像等问题,提出一种Hadoop平台下PCA-SIFT算子的图像特征提取算法,研究并改进了MapReduce并行编程模型的任务设计,对传统尺度不变特征转换算法进行了并行化设计,在Hadoop集群下实现了海量煤矿图像的PCA-SIFT并行特征提取。使用汾西矿务局煤矿图像井下数据集进行实验,算法SIFT特征点检测效果好,运行耗时少。在图像数量庞大时,系统加速比几乎呈线性增长趋势,验证了算法处理大规模煤矿图像数据的有效性。     

数字化校园在山东科技大学的设计与实现

本文以山东科技大学数字化校园建设为例,论述了数字化校园建设的目的和原则．数字化校园的体系结构、组成以及建设内容。     

云计算与中小学数字化校园建设

数字化校园建设是提高中小学教育信息化水平的主要途径,对于提高中小学的教学质量、促进教育公平、实现教育现代化具有重要意义。针对当前中小学数字化校园建设遇到的问题,提出以云计算为支撑技术、建设中小学数字化校园的思路。本文首先分析了中小学数字化校园的基本架构及技术需求,通过在不同层面上与云计算技术的关联,提出云计算应用于中小学数字化校园建设的技术途径,并对存在的问题及其解决方案进行了讨论。     

建设校园一卡通 实现校园数字化

校园信息化建设的核心是发展数字化校园。校园一卡通关系到全校师生的衣食住行及学习的方方面面,可以说是数字化校园建设的基础与重点。校园一卡通系统的应用,能真正地实现“一卡在手,走遍校园”,从而全面提高学校的管理效率与管理效益。     

基于云计算技术的高职院校数字化校园建设方案研究

以数字化校园建设为背景,结合云计算技术,以广东农工商职业技术学院数字化校园建设为例,提出了以信息资源共享和数据同步为建设目标,以云计算技术为基础,以掌上校园为辅助形式的数字化校园建设策略。     

数字化校园信息存储系统的设计与实现

本文叙述了数字化校园信息存储的需求,介绍了存储技术的分类和特点,最后结合具体产品设计出一个高可用性、可管理性与可扩展性的数字化校园信息存储系统。     

数字化校园信息存储系统的设计与实现

本文叙述了数字化校园信息存储的需求．介绍了存储技术的分类和特点，最后结合具体产品设计出一个高可用性、可管理性与可扩展性的数字化校园信息存储系统。     

基于Hadoop的PageRank算法改进

针对PageRank算法查准率和检索效率低的问题,通过增加用户点击率、网页发布时间以及主题内容相关度3个影响因子改进PageRank算法,提高用户查准率;利用MapReduce技术实现改进的PageRank算法,提高网页排序和检索效率;最后通过实验结果数据对比,发现用户检索效率和用户查询准确率有较大提高。     

基于SOA数字校园的设计与实现

如何利用原有系统的资源,建立开放灵活、低代价的系统已经成为高校信息化建设的关键;信息化建设在面向服务体系结构(Service Oriented Architecture SOA)为解决分布式环境中软件重用,扩展和提高软件开发效率提供了解决方案。文章从面向服务体系结构的定义出发,探讨了SOA的特点以及它的分层模型,并根据SOA的理论和实际项目需求构建了数字校园的服务框架。     

云计算技术在数字化校园中的应用研究

云计算技术是现代信息技术的发展方向,高校数字化校园建设要顺应时代发展潮流,必然要将云计算技术应用于数字化的建设中。在分析数字化校园建设的现状及未来发展方向的基础上,详细介绍了云计算技术在数字化校园建设中的优势和存在的安全问题,并给出了相应的安全策略。     

基于Hadoop的分布式平台实现

互联网的迅速发展产生了各种海量数据,快速有效处理海量数据是云计算的目标。Hadoop作为典型的云计算平台可高效处理海量数据。介绍了Hadoop相关概念,包括HDFS、MapReduce等众多子项目;阐述了Hadoop完全分布式平台搭建,包括环境配置、搭建方法等;通过数据处理实验验证了Hadoop分布式平台的有效性。     

基于Hadoop的排序算法并行化改进

受单机内存和计算能力的限制,串行的排序算法难以对大数据进行高效排序。针对此问题,根据Hadoop的MapReduce框架对常用的内部排序算法进行并行化改进,给出改进算法的基本步骤,描述了Map、Partition和Reduce函数的主要代码。以折半插入排序和堆排序为例,通过实验比较串行算法和改进算法的执行时间,测试改进算法的可扩展性。实验结果表明,改进的并行排序算法具有较高的执行效率和较好的可扩展性。     

基于 Hadoop 平台的海量文件存储策略研究

针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性.