FARMER: A novel approach to file access correlation mining and evaluation reference model

File semantic has proven effective in optimizing large scale distributed file system. As a consequence of the elaborate and rich I/O interfaces between upper layer applications and file systems, file system can provide useful and insightful information about semantic. Hence, file semantic mining has become an increasingly important practice in both engineering and research community. Unfortunately, it is a challenge to exploit file semantic knowledge because a variety of factors could affect this information exploration process. Even worse, the challenges are exacerbated due to the intricate interdependency between these factors, and make it difficult to fully exploit the potentially important correlation among various semantic knowledges. This article proposes a file access correlation miming and evaluation reference (FARMER) model, where file is treated as a multivariate vector space, and each item within the vector corresponds a separate factor of the given file. The selection of factor depends on the application, examples of factors are file path, creator and executing program. If one particular factor occurs in both files, its value is non-zero. It is clear that the extent of inter-file relationships can be measured based on the likeness of their factor values in the semantic vectors. Benefit from this model, FARMER represents files as structured vectors of identifiers, and basic vector operations can be leveraged to quantify file correlation between two file vectors. FARMER model leverages linear regression model to estimate the strength of the relationship between file correlation and a set of influencing factors so that the “bad knowledge” can be filtered out. To demonstrate the ability of new FARMER model, FARMER is incorporated into a real large-scale object-based storage system as a case study to dynamically infer file correlations. In addition FARMER-enabled optimize service for metadata prefetching algorithm and object data layout algorithm is implemented. Experimental results show that is FARMER-enabled prefetching algorithm is shown to reduce the metadata operations latency by approximately 30%–40% when compared to a state-of-the-art metadata prefetching algorithm and a commonly used replacement policy.     

构建于廉价计算机集群上的云存储的研究与初步实现

云存储必须保证数据存储的可靠性、有效性、完整性及存储体系的可扩展性.本文通过对云计算环境下海量数据存储的业务需求的深入分析,在集中或分布管理的廉价计算机集群上,构建一种可扩展的、具备一定负载均衡能力的高性能云存储体系,并针对相应的研究问题进行测试与分析,给出相应的实现方法和实施策略,在搭建的云存储平台上,验证云存储体系可扩展性及负载均衡等问题的可行性.     

私有云在教学资源平台建设中的应用研究

本文首先介绍了云计算的分类、特点,并且以微软私有云为例子,介绍了私有云计算的概貌、系统中心组件、自动化流程和应用程序层的实现原理和细节;然后分析了教学资源平台存在的问题,并且针对这些问题,把微软私有云融和到教学资源平台设计的各个关键技术中,阐述了私有云为教学资源平台带来的潜在价值.     

云计算安全研究

文章在综合业内多种云计算概念的基础上给出了云计算的定义,总结了云计算的优势和七种主要计算形式;同时,对目前流行的几大云计算模型Google的GAE、Amazon的AWS、IBM的“蓝云”、微软的Azure和Salesforce的Force．com进行了简单综述;在此基础上,分别对IDC、Garnter、Forrester Research等公司的云计算安全评估报告进行了分析,得出云计算目前的安全现状;最后从云计算安全的技术、法规、审计和安全组织等几个方面给出了云计算安全的防范措施。     

数字化教学资源存储方案设计

教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件和小文件资源的存储方案,并在教学实践中分别分析了其文件传输速率,证实了存储方案设计的可用性。     

大数据时代,数字出版需要关注什么

随着信息技术的高速发展和云计算、物联网等新服务、新应用的日益丰富,人们在互联网上的言行记录形成了海量数据,推动着信息社会迎来了大数据时代。大数据时代的来临,不仅给各行各业带来了根本性变革,也给数字出版行业带来了新的机遇与挑战。大数据关键技术及应用大数据的关键技术主要有两项,一是分布式文件系统,二是并行计算框架。目前在全世界范围内,分布式文件系统和并行计算框架有两种实现,一是谷歌的MapReduce,另一个是     

应用先进管理技术实现海量数据统一管理

文章通过分析柳工计算机网络环境下的海量数据管理的现状,阐述了在复合网络环境下的海量数据管理的管理思想和实务。提出应用分布式文件系统的模式来实现对海量文件型数据的统一管理,并给出了应用实例,为相似的网络环境和需求提供了新的思考方向和解决办法。     

一种保护用户数据私密性的云存储方法

针对云存储中的数据私密性保护问题,提出了基于SSL安全连接和封闭计算环境加密的云存储方案——CB CSS。其思想是首先云租户在客户端向云端提出加密请求,然后云端为其申请专门的封闭计算环境,在此环境中用户使用自己的对称密钥对数据加密,最后将数据密文存入云的分布式文件系统。相对于客户端加密的云存储方案,CB CSS方案降低了客户端负担;相对于云端加密的云存储方案,CB CSS方案不仅可以为用户数据从客户端到云端以及云内传输和存储提供一条完备的私密性通道,从而有效防范数据泄漏问题,而且减轻了块数据服务器负担。实验结果表明,对于用户数据的私密性而言,引入SSL安全传输、封闭计算环境加密造成的性能损失是可以接受的。     

下一代技术体系下新华社商业数据库建设研究

2009年从军同志提出将我社多媒体数据库打造成国际一流的现代商业数据库,近期要求多媒体数据库建设应遵循"总体规划,分步实施,突出重点,对接市场,打造品牌,赢得效益"十六字方针。三年来,多媒体数据库在商业化道路上虽然取得一定成绩,但距离真正商业数据库的目标还存在很大差距。本文以Factiva和淘宝为参照,结合多媒体数据库现状,     

局域网中共享资源统一管理的具体实现

在介绍WINDOWS2000SERVER提供的分布式文件系统（DFS）的基础上，提出了在局域网中实现对共享资源统一管理的具体方法，使得原本在网络中分散分布的共享资源通过一个中心点便可以全部访问到，从而提高了局域网上共享资源的利用率和网络环境下协同工作的效率。