MySQL集群高可用架构之MMM
一、MMM概述
1.1 MMM 简介
MMM（Master-Master replication manager for MvSQL，MySQL主主复制管理器）是一套支持双主故障切换和双主日常管理的脚本程序。
MMM 使用 Perl 语言开发，主要用来监控和管理 MySQL Master-Master （双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时备选主的预热，可以说MMM这套脚本程序一方面实现了故障切换的功能，另一方面其内部附加的工具脚本也可以实现多个 Slave 的 read 负载均衡。
MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip，同时它还可以备份数据，实现两节点之间的数据同步等。
由于MMM无法完全保证数据的一致性，所以MMM适用于对数据的一致性要求不是很高，但是又想最大程度地保证业务可用性的场景。
MMM是一套灵活的脚本程序，基于perl实现，用来对 mysql replication 进行监控和故障迁移，并能管理 MySQL Master-Master 复制的配置。
1.2 MMM高可用架构
关于 MMM 高可用架构的说明如下：
●mmm_mon：监控进程，负责所有的监控工作，决定和处理所有节点角色活动。此脚本需要在监控主机上运行。
●mmm_agent：运行在每个MySQL服务器上的代理进程，完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。
●mmm_control：一个简单的脚本，提供管理 mmm_mon 进程的命令。
●mysql-mmm 的监管端会提供多个虚拟 IP（VIP），包括一个可写 VIP，多个可读 VIP，通过监管的管理，这些 IP 会绑定在可用 MySQL 之上，当某一台 MySQL 宕机时，监管会将 VIP 迁移至其他 MySQL。
在整个监管过程中，需要在 MySQL 中添加相关授权用户，以便让 MySQL 可以支持监控主机的维护。 授权的用户包括一个 mmm_monitor 用户和一个 mmm_agent 用户。
1.3 MMM故障切换流程
Monitor 检测到 Master1 连接失败
Monitor 发送 set_offline 指令到 Master1 的 Agent
Master1 Agent 如果存活，下线写 VIP，尝试把 Master1 设置为 read_only=1
Moniotr 发送 set_online 指令到 Master2
Master2 Agent 接收到指令，执行 select master_pos_wait() 等待同步完毕
Master2 Agent 上线写 VIP，把 Master2 节点设为 read_only=0
Monitor 发送更改同步对象的指令到各个 Slave 节点的 Agent
各个 Slave 节点向新 Master 同步数据
二、MMM高可用双主双从架构部署
| 节点服务器 | 所需服务及组件 | IP地址 |
|---|---|---|
| Master1(db1) | mysql5.7、mysql-mmm | 192.168.2.100 |
| Master2(db2) | mysql5.7、mysql-mmm | 192.168.2.102 |
| Slave1(db3) | mysql5.7、mysql-mmm | 192.168.2.103 |
| Slave2(db4) | mysql5.7、mysql-mmm | 192.168.2.105 |
| monitor(db5) | mysql-mmm | 192.168.2.106 |
#所有服务器
#关闭防火墙
systemctl disable firewalld --now
#关闭selinux
vim /etc/selinux/config
SELINUX=disabled
Step1 配置主主复制（master），主从复制（slave）
1）修改 Master1的MySQL配置文件
vim /etc/my.cnf
......
[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 1 #每台 Mysql 主机的 server-id 不能相同
log-error=/usr/local/mysql/data/mysql_error.log #错误日志
general_log=ON #通用查询日志
general_log_file=/usr/local/mysql/data/mysql_general.log
slow_query_log=ON #慢查询日志
slow_query_log_file=mysql_slow_query.log
long_query_time=5
binlog-ignore-db=mysql,information_schema #不需要同步的库名
log_bin=mysql_bin #开启二进制日志用于主从数据复制
log_slave_updates=true #允许slave从master复制数据时可以写入到自己的二进制日志
sync_binlog=1 #"双1设置"，MySQL 在每写一次二进制日志时都会同步到磁盘中去
innodb_flush_log_at_trx_commit=1 #"双1设置"，每次事务提交时MySQL都会把缓存的数据写入日志文件，并且刷到磁盘中去
auto_increment_increment=2 #自增字段一次递增多少
auto_increment_offset=1 #自增字段的起始值
2）把配置文件复制到其它 3 台数据库服务器上并启动服务器
注意：配置文件中的 server_id 要修改
scp /etc/my.cnf root@192.168.2.102:/etc/
scp /etc/my.cnf root@192.168.2.103:/etc/
scp /etc/my.cnf root@192.168.2.105:/etc/
systemctl restart mysqld
#修改Master2 Slave1 Slave2的Mysql配置文件
#修改server_id 每个服务器不一致
3）配置主主复制，两台主服务器相互复制
#在两台主服务器上都执行授予从的权限
#从服务器上不需要执行
grant replication slave on *.* to 'replication'@'192.168.2.%' identified by '123456';
#在两台主服务器上查看，记录日志文件名称和同步点
show master status;
#在Master1上配置同步
change master to master_host='192.168.2.102',master_user='replication',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=459;
start slave;
show slave status\G
#在Master2上配置同步
change master to master_host='192.168.2.100',master_user='replication',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=459;
start slave;
show slave status\G
4）配置主从复制，在两台从服务器上做
#同一时间只能有一个主服务器工作
change master to master_host='192.168.2.100',master_user='replication',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=459
start slave;
show slave status\G
5）测试主主、主从 同步情况
create database db_test;
Step2 安装配置 MySQL-MMM
1）在所有服务器上安装 MySQL-MMM
#获取软件包
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#安装依赖和软件
yum -y install epel-release
yum -y install mysql-mmm*
2）在 Master1上对 MySQL-MMM 进行配置
cd /etc/mysql-mmm/
vim mmm_common.conf
……
<host default>
cluster_interface ens33
……
replication_user replication
replication_password 123456
agent_user mmm_agent
agent_password 123456
<host db1>
ip 192.168.2.100
mode master
peer db2
</host>
<host db2>
ip 192.168.2.102
mode master
peer db1
</host>
<host db3>
ip 192.168.2.103
mode slave
</host>
<host db4>
ip 192.168.2.105
mode slave
</host>
<role writer>
hosts db1, db2
ips 192.168.2.188
mode exclusive #只有一个 host 可以进行写操作模式
</role>
<role reader>
hosts db3, db4
ips 192.168.2.198, 192.168.2.199
mode balanced #多个 slave 主机可以进行读操作模式
</role>
4）修改所有数据库服务器的代理配置文件 mmm_agent.conf
修改 mmm_agent.conf
vim /etc/mysql-mmm/mmm_agent.conf
include mmm_common.conf
this db1 #根据不同的主机分别修改为 db1,db2,db3,db4
5） 在 monitor 监控服务器上修改监控配置文件 mmm_mon.conf
vim /etc/mysql-mmm/mmm_mon.conf
include mmm_common.conf
<monitor>
.....
ping_ips 192.168.2.100,192.168.2.102,192.168.2.103,192.168.2.105 #指定所有数据库服务器的 IP
auto_set_online 10 #指定自动上线时间
</monitor>
<host default>
monitor_user mmm_monitor #指定 mmm_monitor 的用户名
monitor_password 123456 #指定 mmm_monitor 的密码
</host>
6）在所有数据库上为 mmm_agent（代理进程）和mmm_moniter（监控进程）授权
grant super, replication client, process on *.* to 'mmm_agent'@'192.168.2.%' identified by '123456';
grant replication client on *.* to 'mmm_monitor'@'192.168.2.%' identified by '123456';
flush privileges;
7）在所有数据库服务器上启动 mysql-mmm-agent
systemctl enable mysql-mmm-agent.service --now
8）在 monitor 服务器上启动 mysql-mmm-monitor
systemctl start mysql-mmm-monitor.service
9）在 monitor 服务器上测试群集
查看各节点的情况
mmm_control show
检测监控功能是否都完善
mmm_control checks all
#需要各种OK
#指定绑定 VIP 的主机
mmm_control move_role writer db2
mmm_control move_role writer db1
mmm_control show
Step3 故障测试及恢复
1）模拟Master宕机以及恢复
1.停止Master1的mysql服务
systemctl stop mysqld
2.查看VIP漂移情况
#切换到Monitor服务器
mmm_control show
#VIP成功漂移至master2，且master1显示HARD_OFFLINE
3.重启Master1的mysql服务
systemctl start mysqld
4.查看Master1是否恢复
#切换至monitor
mmm_control show
#显示等待恢复
#继续查看节点状况
#等待数秒后重新查看，发现Master1在线，但未能获得VIP
mmm_control show
Master01 主服务器恢复服务后，不会抢占
2）模拟从服务器宕机以及恢复
1.停止Slave1的mysql服务
#Slave1
systemctl stop mysqld
2.查看VIP漂移情况
#切换至monitor
mmm_control show
#Slave1 离线
#VIP漂移至Slave2,服务不影响
3.重启Slave1的MySQL服务
#切换到Slave1
systemctl start mysqld
4.查看slave1是否恢复
#切换至monitor
mmm_control show
#多次执行
3）客户端测试
1.在Master1服务器上为monitor服务器地址授权登录
#切换到Master1
mysql -u root -p123321
grant all on *.* to 'testdba'@'192.168.2.106' identified by '123456';
flush privileges;
2.在monitor服务器上使用写VIP登录
#切换到monitor
mysql -utestdba -p123456 -h 192.168.2.188
3.创建数据，测试同步情况
#monitor服务器
create database client_test;
#Master1服务器
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| client_test |
| mysql |
| performance_schema |
| sys |
| test |
+--------------------+
6 rows in set (0.00 sec)
#Master2服务器
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| client_test |
| mysql |
| performance_schema |
| sys |
| test |
+--------------------+
6 rows in set (0.00 sec)
#Slave1服务器
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| client_test |
| mysql |
| performance_schema |
| sys |
| test |
+--------------------+
6 rows in set (0.00 sec)
#Slave2服务器
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| client_test |
| mysql |
| performance_schema |
| sys |
| test |
+--------------------+
6 rows in set (0.00 sec)