实时数据同步方案
1 功能概述
本方案基于数据库日志解析技术,实时捕获源库交易事务中的数据DML变更操作,并将变更操作根据实际情况进行过滤转换后在目标库执行,实现同构或异构数据库间的实时数据同步,满足数据共享或数据分析需求。
灵蜂数据集成软件BeeDI提供实时数据同步功能,支持以下数据库日志解析:
- Oracle(8i、9i、10g、11g、12c、18c)。
- SQL Server(2005、2008、2012、2014、2016、2019)。
- MySQL(5.6、5.7、8.0)。
- DB2(9.5、9.7、10.5)。
- Gbase 8a(8.3)。
- PostgreSQL(10.5、11.8、12.3、13.6、14.2、15.12)。
- DM(8.1)。
- Kingbase(8.3)。
- Vastbase G100。
- HighGo(6.0)。
BeeDI通过对同步任务秒级定时触发,达到对变化数据的实时同步。数据从抽取到装载采用原子事务操作,充分保证传输数据的完整性。
2 产品实施
2.1 任务配置
查看数据库系统信息,确认数据库开启归档及其它相关选项,满足变化数据捕获条件。
指定抽取表,设置增量抽取相关参数。
预览变更数据。
指定装载表,完成同步任务定义。
2.2 任务运行
启动任务,查看任务运行日志。
2.3 数据比对
比较源表与目标表数据,确保数据一致。