基于OPC的实时数据集成系统设计

针对目前数据集成系统中集成能力、可操作性和可扩展能力存在的问题,研究了工业自动化中数据集成的关键技术,提出一个基于OPC和消息中间件的实时数据集成方案,在此基础上进行了集成平台的实现,结果显示该系统能够提高数据集成的质量和效率.     

基于XML的异构数据集成研究

在企事业单位内部,由于部门间相对独立,构建系统时缺乏统一的规划和标准。所以造成了现有的应用系统是分散、异构、封闭的系统,相互之间不能共享信息,形成了一个个“信息孤岛”．本文首先对数据集成涉及的相关技术进行了研究．分析了目前流行的数据集成方法．按照不同的实现技术,将数据集成方法分为三类,即数据转换方法、数据聚合方法以及析取、转换和装载（Exact、Transform and Load,ETL）方法．然后,借鉴数据转换方法以及ETL方法的数据集成实现思想,结合目前中小企业数据集成的需求,提出基于Java和XML技术实现异构数据交换集成的通用解决方案．     

面向服务的数据集成设计与实现

本文通过分析SOA技术和SOA实现平台的组件,提出基于SOA数据集成平台是由数据层、交换层、集成层和服务层组成,该平台与软件和平台无关,具有松耦合的特性,可以有效地实现高校异构系统间的数据集成。     

基于数据质量控制的ETL

提出了一种基于数据质量进行控制的ETL技术,在传统的ETL操作流程中增加脏数据处理模块及抽样数据质量评估模块,并将数据质量控制思想融入到ETL的操作流程设计中,控制ETL过程的数据质量。实验表明,带有质量控制的ETL算法设计优化了ETL工作流程,提高了进入数据挖掘中数据的质量。     

基于流程化,组件化的ETL工具的研究与设计

具有良好质量的数据仓库是数据挖掘的先决条件,一个支持数据抽取,清洗,转换和装载的工具是实现数据仓库必不可少的因素。本文介绍了ETL的技术及相关概念,在数据仓库建设中的重要作用,提出一种流程化,组件化的ETL工具设计思路,对应各个功能在流程中设计和实现方法。     

基于数据仓库的ETL技术研究

支持数据抽取、转换、清晰、装载的工具集ETL对任何数据仓库工程都是一个必不可少的关键部件。结合应用重点探讨了ETL技术中的数据转换技术及数据质量问题。     

ETL系统的设计及其研究

ETL(Extraction,Transformation,Load)即数据抽取、转换和加载,是构建数据仓库和数据集市的重要组成部分。ETL过程关系到数据仓库的质量,是基于数据仓库所有商业智能应用的基石。阐述了ETL设计中的各个基本步骤,并讨论分析了ETL工具的实现关键技术,对ETL设计人员提供强有力的支持。     

数据仓库增量ETL的设计及优化

数据增量更新是数据仓库应用领域的重要问题。设计增量数据的获取方式。对增量数据的冗余问题进行了重点研究,提出了预处理方法并设计了相应算法,该方法实现了增量数据的压缩,提高了增量数据的质量及ETL过程的处理效率。给出了增量ETL过程的具体实现。     

广东地税基于ETL元数据管理征管系统的研究与实现

提出了一种ETL元数据管理框架．论述了元数据管理架构在税收分析系统中的应用,分析了该系统的总体架构,并论述了ETL的实现、ETL的流程图、配置方案在税收分析系统中的应用。     

基于ETL的考试信息资源整合系统的设计与研究

随着天津市教育招生考试院信息化的建设,院内积累了大量软硬件平台各异的应用系统,并且在各种应用系统中存储了丰富的异构数据资源。本文分析了当前数据集成技术的优缺点,并基于ETL技术设计实现了考试信息资源系统的整合。该系统能够收集、处理和合并各种不同的考试数据信息,以便将有用的数据应用到数据仓库、数据集市、OLAP和分析报告程序当中。目前该系统已经投入使用,实现了考试相关的信息资源的统一管理和协同,为考试院的发展提供了决策支持。     

数字图书馆分布式存储设计

数字图书馆传统的数据存储模式不能适应当前存储要求,应用分布式存储能够有效缓解这一矛盾。基于数字图书馆的分布式存储要求,研究特定数字资源的存储与管理及数字资源存储与管理的组成结构,并对服务管理系统和数字资源集成进行了设计。     

校园异构数据集成平台研究

本文从校园异构数据集成的需要出发,研究实现了基于XML模式的异构数据集成平台建设。丈中主要讨论了数据集成平台的架构及主要的工作流程,并重点研究了数据集成平台中查询模块的实现。     

浅析基于ETL技术和全表扫描哈希对比的数据同步方法

数据同步技术随着企业对各个信息系统之间数据共享的重视而变得越来越重要,数据同步的方法有很多,本文主要介绍基于ETL技术和基于全表扫描及哈希对比两种数据同步方法。基于ETL技术的数据同步是基于中间逻辑表完成数据转换,再通过主键和时间戳的对比而完成数据同步过程。本文以Kettle工具为例进行分析;基于全表扫描及哈希对比的数据同步是基于视图完成数据转换,再通过hash算法扫描对比而完成数据同步过程。     

基于流程化，组件化的ETL工具的研究与设计

具有良好质量的数据仓库是数据挖掘的先决条件，一个支持数据抽取，清洗，转换和装载的工具是实现数据仓库必不可少的因素。本文介绍了ETL的技术及相关概念，在数据仓库建设中的重要作用，提出一种流程化，组件化的ETL工具设计思路，时应各个功能在流程中设计和实现方法。     

国土资源遥感数据集成关键技术研究

本文以全国省级国土资源遥感综合调查成果数据集成信息系统的建设为背景,对多比例尺、多格式、多专题设置的国土资源遥感数据集成所面临的问题进行了阐述和分析,提出了一套数据整理和集成的解决方案,并对其中的各项关键技术进行了研究。     

基于SOA的离散数据集成系统分析与研究

文章针对分布式环境下离散数据集成容易产生内部耦合度不高、不易跨平台等问题,分析了Web Service技术与SOA构架的特点与优势,在此基础上设计了基于SOA的离散数据集成系统体系框架,详细阐述了系统框架的组成部分和系统实现的关键技术。     

数据仓库维度建模与ETL过程

数据仓库的架构模型包括了星型架构与雪花型架构等模式。数据仓库建模的一般流程一般包括确立数据分析主题、确定度量值、确定维度和数据粒度和创建事实表等环节。ETL是数据仓库实施过程中的一个重要处理环节,在数据仓库的构建中,ETL贯穿于项目始终,包括了数据清洗、整合、转换、加载等各个环节。所以ETL在整个数据仓库项目中起着十分关键的作用。     

利用高分子结构对数据集成的研究

借鉴高分子的概念，通过阐述加集成与缩集成两种集成方式的工作流程，系统地描述了数据集成的过程，并为其后的数据挖掘提供了理论基础与思维方向．     

利用VBA实现职工保险数据的集成与转换

某事业单位人事部门的保险数据来源于社保管理部门的业务处理系统,与财务部门所要求的数据格式和数据规范等有一定差异,无法快速完成数据的匹配与对接。要想实现两个部门之间数据的高效流转,就需要设计一个职工保险数据集成与转换程序,对数据进行自动处理,从而实现不同部门数据的顺利对接。在分析原始数据特点和接口功能需求的基础上,系统设计与编码,利用Excel函数与VBA技术,实现了对社保数据的导入、汇总集成、报表生成、综合查询等功能,完美满足了与财务部门的数据要求。     

基于云计算的数据仓库ETL系统研究与优化

随着数据仓库中数据规模的日益膨胀和数据实时性需求的不断提高,如何改进ETL体系已经成为保障数据仓库数据质量的关键内容.本文通过借鉴云计算模式强大的计算能力和存储能力,拟构建一种基于云计算的数据仓库ETL系统,该系统的基本理念是在充分利用现有设备、资源和技术的基础上,通过利用云计算"低硬件成本、高综合利用率、可扩展性强、高可靠性"的特点,优化现有ETL工作流程,以提升数据仓库ETL性能和效率.