导航
目前,信息技术在信息数据采集、传输、存储、加工、分析等各个应用环节已发挥了显著作用。但是,也存在着数据标准不统一、数据共享程度低、数据利用率不高、数据表现手段贫乏等问题,解决上述问题就必须进行数据整合。
人大金仓在多年研究和实践的基础上,研发了针对数据整合的一体化工具——金仓数据整合工具(简称KingbaseDI),用于解决数据整合、数据中心建设或数据开放平台建设过程中数据无法被方便高效地抽取、转换和装载的问题。
ETL核心在于过程设计,KingbaseDI的ETL过程设计器采用图形化的用户界面,支持流程化的设计方式,用户可以通过简单的拖拽操作即可完成数据的整合设计工作。
KingbaseDI对于设计好的作业提供任务调度和监控的平台,通过该平台可以辅助实施人员进行周期性的无人值守任务执行及任务监控。
通常情况下,KingbaseDI自带的转换步骤即可满足大部分应用的需求,对于特殊需求,可以通过使用内置的 Java 脚本和开发相关的插件扩展转换步骤。
金仓数据整合工具可以支持跨不同数据源访问数据。包括KingbaseES、KingbaseAnalyticDB、南大通用、达梦、Oracle、SQLServer、DB2、Mysql、Derby、PostgreSQL、Sybase、Teradata、Access数据库、Hive、HDFS等Hadoop组件、被定制封装的应用、WEB服务、文本文件、XML文件、JSON文件、存储过程、CSV文件和基于XML的消息等,同时用户可根据需求依标准开发自定义数据
在保证兼容性的基础上,KingbaseDI针对不同的数据库系统自身的特点,在数据抽取、转换、容错等方面进行了优化,运行效率更高,系统更为健壮。
KingbaseDI日志设置了从最小级别到调试级别的不同的级别,每个级别输出的日志信息粒度不同。在实际部署中,将日志级别调到最小级别,在调试阶段时,可以将日志设置到调试级别。
KingbaseDI在多种基于x86的系统平台中进行了适配测试,运行平稳,功能完备。系统包括Windows系列、CentOS/RedHat系列、Ubuntu系列及主流国产系统。
以转换为中心目标,提供抽取、清洗转换、装载各环节的数据处理能力,如建立连接、获取元数据、数据排序、执行脚本、行列转换、数学计算等多种操作。用户也可根据自身特点需要依标准开发自定义转换组件。
转换作为ETL作业过程中的单元操作,作业作为ETL整体过程,按逻辑顺序执行转换操作,以完成一次ETL过程。