高频面试题：如何保证数据库和es数据一致性

背景

在实际项目开发中，我们经常将MySQL作为业务数据库，ES作为查询数据库，用来实现读写分离，缓解MySQL数据库的查询压力，应对海量数据的复杂查询，这其中有一个很重要的问题，就是如何实现MySQL数据库和ES的数据同步，今天和大家聊聊MySQL和ES数据同步的各种方案，我们先看看下面5种常用的数据同步。

在生产上，为了便于商品的聚合搜索，高速搜索，采用两大优化方案：

• 把商品数据冗余存储在Elasticsearch中，实现高速搜索
• 把商品数据冗余存储在redis 中，实现高速缓存
  

要保持分布式数据的一致性，这个问题其实是一样的，关于redis的一致性问题在 《聊聊数据库和缓存一致性的几种实现方式》 。

一、同步双写

这是一种最为简单的方式，在将数据写到MySQL时，同时将数据写到ES。

优点： 1、业务逻辑简单 2、实时性高

缺点

• 业务耦合，这种方式代码侵入性强，商品的管理中耦合大量数据同步代码，在每个写 mysql 的地方也都要加写 es 的代码。

• 高风险：存在双写失败丢数据风险

• 影响性能，写入两个存储，响应时间变长，本来 MySQL 的性能不是很高，再加一个 ES，系统的性能必然会下降。

二、异步双写

针对多数据源写入的场景，可以借助MQ实现异步的多源写入。

异步双写优点：

• 性能高；
• 不易出现数据丢失问题，主要基于 MQ 消息的消费保障机制，比如 ES 宕机或者写入失败，还能重新消费 MQ 消息；
• 多源写入之间相互隔离，便于扩展更多的数据源写入。

异步双写缺点

• 硬编码问题，接入新的数据源需要实现新的消费者代码；
• 系统复杂度增加，引入了消息中间件；
• MQ是异步消费模型，用户写入的数据不一定可以马上看到，造成延时。

三、定时同步

上面两种方案中都存在硬编码问题，代码的侵入性太强，如果对实时性要求不高的情况下，可以考虑用定时器来处理。

1、数据库的相关表中增加一个字段为 timestamp 的字段，任何 CURD 操作都会导致该字段的时间发生变化；

2、原来程序中的 CURD 操作不做任何变化；

3、增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取出来；

4、逐条写入到 ES 中。

优点

• 不改变原来代码，没有侵入性，没有硬编码。
• 没有业务强偶合，不改变原来程序的性能。
• worker代码编写简单，不需要考虑增删改查。

缺点

• 时效性较差，由于是采用定时器，根据固定频率查询表来同步数据，尽管将同步周期设置到秒级，也还是会存在一定时间的延迟。
• 对数据库有一定的轮询压力，改进方法是将轮询放到压力不大的从库上，经典方案借助logstash实现数据同步，其底层实现原理就是，根据配置定期使用SQL查询新增的数据写入ES中，实现数据的增量同步。

四、Binlog实时同步

上面三种方案要么有代码侵入，要么有硬编码，要么有延迟，那么有没有一种方案既能保证数据同步的实时性又没有代码侵入呢？

当然有，可以利用MySQL的Binlog来进行同步。

具体步骤如下：

1、读取MySQL的binlog日志，获取指定表的日志信息；

2、将读取的信息转为MQ；

3、编写一个MQ消费程序；

4、不断消费MQ，每消费完一条消息将消息写入到ES中；

优点：

• 没有代码侵入，没有硬编码
• 原有系统不需要任何变化，没有感知
• 性能高
• 业务解耦，不需要关注原来系统的业务逻辑

缺点

• 构建binlog系统复杂
• 如果采用MQ消费解析的binlog信息，也会像方案二一样存在MQ延时的风险

MySQL通过binlog订阅实现主从同步，Canal Server 就是一个伪装的slave节点，接收到binlog日志后，发送到MQ，从而实现CDC（Change Data Capture），将已提交的更改发送到下游，包括insert，delete，update。

主要流程为：

1、Canal服务端向MySQL的master节点传输dumb协议。

2、MySQL的master节点接收到dump请求后推送binlog日志给Canal服务端，解析binlog对象（原始为byte
流）转成Json格式。

3、Canal客户端通过TCP协议或MQ形式监听Canal服务端，同步数据到ES。

下面是canal执行的核心流程：

五、etl工具

MySQL同步到Redis、MySQL同步到hbase、MySQL同步到es、或机房同步、主从同步等，都可以考虑使用etl工具。

什么是etl工具呢？

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

常用的etl工具有： databus、canal （方案四用了这个组件，有etl 的部分功能）、otter 、kettle等。

本文的一些专业名词是跟大数据有关的，所以放上一张大数据架构图，方便大家理解。

欢迎大家点赞、观看、收藏，一键三连~