分布式Crawler系统研究与设计

分布式Crawler系统是在传统集中式信息采集系统基础上,结合分布式并行技术的产物,是搜索引擎的一个重要组成部分。研究了分布式Crawler系统中并行调度和URL处理的主要实现技术,并设计了一个分布式Crawler系统,对其中的任务划分机制和URL检索算法作了详细描述。     

基于网格的叠前深度偏移程序自动并行化模型

针对地震资料数据处理方法中的三维叠前Kirchhoff深度偏移方法,分析其特点及自动并行化特征,提出一种基于网格环境的自动并行化模型.该模型可以自动分析识别串行程序中潜在的并行性,自动完成串行三维叠前深度偏移(PSDM)程序的分割、并行重构和调度,最终生成串行PSDM程序的并行化源代码.     

大数据环境下并行化先进先出成本算法研究

传统计算机算法在大数据环境下效率较差。为此,从数据处理并行角度出发探索大数据环境下实现先进先出的新算法逻辑,通过先进先出算法实现对成本的有效计算,尤其是提高计算容错性,利用优化的并行化计算模式提高算法时间效率。对传统成本算法与新的并行化先进先出成本算法在实际数据上进行比较实验,结果表明并行化的先进先出成本算法在时间效率上优于传统成本算法,且随着数据量的不断扩大时间效率更加明显,而先进先出的计算模型与传统算法在计算误差上并无扩大,说明并行化的先进先出成本算法在大数据环境下优于传统成本算法。     

多处理机系统任务调度研究

目前大规模的并行分布多处理机系统中,调度算法好坏直接影响计算系统的高性能计算潜力能否发挥,调度的目的就是如何分配资源使系统性能最优。本文主要讨论分布式多处理机系统进行任务调度时的关键问题,包括问题模型的描述,调度策略,常用算法,评估标准,数据平台以及该问题的发展趋势。     

商立方体分布式查询研究

传统数据库处理分析大量历史数据的性能有限,无法达到满意效果。针对该问题,通过对商立方体的研究,提出等价区间的概念,并利用区间之间的独立性,使商立方体能更好地适应分布式环境下的查询。同时,提出了商立方体在Spark集群上的并行查询算法,充分利用等价区间点查询面命中的特性,使在保证查询有效的情况下尽可能并行化。最后,通过实验验证了算法高效性。     

云计算环境下多媒体资源的权衡调度方法

在云计算环境下对多媒体资源进行优化权衡调度,以提高对多媒体资源的分布式访问和计算能力。传统方法采用网格调度法,随着资源分布网格的增多,导致多媒体资源的分配效果不好。提出一种基于自适应层阶调度的云计算环境下多媒体资源的权衡调度算法。首先构建了云计算环境下的多媒体资源分布结构模型,采用多路复用的网格计算方法实现对云计算数据的融合和特征提取,通过自适应层阶调度实现云计算环境下多媒体资源的权衡调度。仿真结果表明,利用该算法进行云计算环境下多媒体资源的权衡调度,可降低数据丢包率、提高调度准确性、改善云计算性能。     

分布式渲染调度策略优化研究与实现

围绕如何提高分布式渲染任务执行效率这一目标,重点研究了LSF作业管理系统工作原理以及扩展调度插件机制,设计并实现了依据服务节点负载量及处理能力选择候选主机的分布式渲染调度算法(DRS),并利用LSF调度插件嵌入自定义调度模块,该模块能与系统内置调度模块协同工作。最后构造仿真集群执行环境,通过模型渲染验证了算法的有效性。     

分布式渲染调度策略优化研究与实现

围绕如何提高分布式渲染任务执行效率这一目标,重点研究了LSF作业管理系统工作原理以及扩展调度插件机制,设计并实现了依据服务节点负载量及处理能力选择候选主机的分布式渲染调度算法(DRS),并利用LSF调度插件嵌入自定义调度模块,该模块能与系统内置调度模块协同工作。最后构造仿真集群执行环境,通过模型渲染验证了算法的有效性。     

基于语义网格环境的资源共享模型与分布式资源调度算法研究

为解决多资源文件共享和语义网格环境下异构资源共享管理问题,提出了一种新的分布式调度算法。该算法采用语义网格的分布式技术,充分利用资源共享模型实现高效的资源调度。仿真实验表明,该算法具有较好的执行效率。与其它算法相比,在相同任务数量时响应更快。     

一种云计算环境下的改进FP-GROWTH算法

关联规则算法作为数据挖掘领域的一类重要算法在很多领域都具有较高的实用价值,然而传统的关联挖掘算法难以满足海量数据处理需求。采用相关支持度二维表对经典FP Growth算法进行改进,借助MapReduce编程模型完成算法的并行化改进。实验证明,改进算法相较于经典算法在单机和并行化环境下都具有更低的时间复杂度。     

基于区域分解的共轭梯度法的有限元结构分析并行计算

1 Introduction Large and complex engineering problems often needmuch computation ti me and storage to run on ordinaryuniprocessor computers . Even if they can be solved ,powerful computation capability is required to obtainaccurate and reliable results within reasonable ti me .Parallel computing can meet requirements of high per-formance computing[1].Various types of parallel hard-ware architectures have been developed and parallelalgorithms adapted to these hardware architecturesproposed[2 ,3…     

Parallel computing for finite element structural analysis using conjugategradient method based on domain decomposition

1 Introduction Large and complex engineering problems often needmuch computation ti me and storage to run on ordinaryuniprocessor computers . Even if they can be solved ,powerful computation capability is required to obtainaccurate and reliable results within reasonable ti me .Parallel computing can meet requirements of high per-formance computing[1].Various types of parallel hard-ware architectures have been developed and parallelalgorithms adapted to these hardware architecturesproposed[2 ,3…     

Application-adaptive resource scheduling in a computational grid

INTRODUCTION The computational grid (Foster and Kesselman, 1998) combines computing, network and storage resources to support the running of large-scale ap- plications, which may be computation-intensive or communication-intensive. There are many technical challenges for deploying large-scale applications over this distributed computing environment due to the vast diversity of resources involved. Efficient and application-adaptive resource management and scheduling are challenging tasks i…     

分布式供电技术在现代电力系统中的应用

传统能源供电对环境产生的污染问题日益严重.分布式能源供电技术作为传统集中式供电方式的重要补充,可充分发挥地域可再生资源优势,并在节能减排、保护环境及电网经济运行等方面有重要意义.对分布式能源供电技术及应用现状进行了整理归纳,针对分布式供电系统并网运行对现代电力系统可能产生的各方面影响进行了详细地分析,提出了该技术领域进一步的研究方向.     

在线学习环境下移动协作服务集成的设计

移动学习与在线电子学习系统的运行平台、展示环境以及传输能的区别,把电子学习资源移植到移动学习终端设备时,存在学习数据格式转换、数据传输、展示自动匹配方面的问题。为了让移动学习平台能处理移动数据传输不稳定和多媒体学习资源以及原有学习平台数据格式异构情况。作者提出学习服务器和移动终端设备之间设置移动协作服务的先进软件解决方案。移动协作服务是为满足移动电子学习情景需求引入了一个新的中间层技术,它提供了各类移动客户端的兼容性学习对象,并允许分布式平台用户访问。     

Technology,learning and instruction: distributed cognition in the secondary English classroom

In this paper, we analyse interactions between secondary students and pre‐service teachers in an online environment in order to understand how their meaning‐making processes embody distributed cognition. We begin by providing a theoretical review of the ways in which literacy learning is distributed across learners, objects, tools, symbols, technologies and the environment in modern English language arts classrooms. This is followed by a case study where we identify how programme values, textual resources and cultural schema function as distributed tools. In traditional schools, with an emphasis on taking standardised tests, the learning environment is designed on the view that learning is a transaction that happens solely ‘inside the head’. Unfortunately, this pushes many students to the margins of classroom engagement and participation. By analysing students' and pre‐service teachers' online discourse, we argue that virtual spaces can facilitate critical dialogue and can act as catalysts for a distributed theory of mind.     

云环境下的 Java Web 课程项目自动管理系统

Java Web 是计算机专业核心实践课程。传统课程管理方法需要教师手动逐个部署、运行并检查学生项目程序,效率极低且极易发生错误,实现 Java Web 课程项目自动管理和分析势在必行。近年来飞速发展的在线教育、云计算及程序在线评判系统为该类需要复杂分布式部署和运行环境的课程项目管理提供了新思路。因此,设计并实现一个基于云环境的 Java Web 课程管理系统。该系统可实现学生提交课程项目的云端在线自动部署和运行,解决其中负载均衡、命名冲突等问题,并提供项目相似性检测等分析功能。与人工评阅方法相比,该系统可节省至少 57%的评阅时间,同时可提供准确性达 97%的项目相似性检测功能,大幅提高 Java Web课程管理自动化程度和教师工作效率。     

基于物联网技术的校园智能照明控制系统研究

针对学校传统照明控制系统的不足和电能浪费现象,设计并实现一套基于物联网技术的智能照明控制系统。该系统以红外热释电式传感器、光敏电阻为感知层,实现对室内人数情况和外界环境光强度等信息进行监测,获得的有效监测信息将送至STC12C5410AD单片机构成的下位机控制电路,实现室内照明灯的自动分组控制;同时由蓝牙模块构成的网络层把室内情况传送到作为应用层的PC上位机软件平台,实现远程监控。系统测试及初步应用表明:该系统使用灵活、管理方便、性价比高,能有效节约电能,具有较大应用价值和市场前景。     

分布式入侵检测系统模型研究

为适应高速网络的发展,入侵检测系统从传统架构向分布式架构的转换势在必行。分析构建了一个分布式IDS框架模型,讨论了用数据融合提取的方法,将大量松散数据内聚,来评估计算机网络的安全,并用数据缩减的方法来提高控制中心的处理效率。     

A flexible architecture for job management in a grid environment

INTRODUCTION The Grid is capable of coordinated resourcesharing and problem solving in dynamic andmulti-institutional virtual organizations (Foster et al.,2001). As a kind of grid, the computational grid pro-vides a new method to deal with engineering andscientific computation, and by using it we launch theMultidisciplinary ApplicationS-oriented SImulationand Visualization Environment (MASSIVE) project(Zheng et al., 2004). The aims of the MASSIVEproject are to use Grid technolog…