MySQL高可用(GaleraCluster)

Galera Cluster简介

Galera Cluster是集成了Galera插件的MySQL集群，是一种新型的，数据不共享的，高度冗余的高可用方案，目前Galera Cluster有两个版本，分别是Percona Xtradb Cluster和MariaDB Cluster，Galera本时是具有多主特性，即采用Multi-master的集群架构，是一个即稳健，又在数据一致性、完整性及高性能方面有出色表现的高可用解决方案

Galera Cluster内部机制

Galera Cluster种每个MySQLServer之间相互为主主的关系，当客户端发送指令到一个数据库时，数据库将数据修改后返回一个OK，表示用户的请求已经被收到，但是事务并没有结束依旧可以撤销。当事务结束时用户发送一个commit(提交)，服务器收到后会将数据的更新发送给其他的MySQLServer，此时会开启一个全局性的事务ID给组内的其他服务器，其他服务器会查看是否有事务冲突，如果没有冲突就确认更改成功。

Galera Cluster特点

多主架构：真正的多点读写的集群，在任何时候读写数据都是最新的
同步复制：集群不同节点之间数据同步，没有延迟，在数据库挂掉之后，数据不会丢失,而Master/Slave模式是异步的,不同slave上的binlog可能是不同的
并发复制：从节点APPLY数据时，支持并行执行有更好的性能。
故障切换：数据库故障时，因为支持多点写入，切换容易
热插拔：在服务期间，如果数据库挂了，只要监控程序发现的够快，不可服务的时间就会非常少。在节点故障期间，节点本身对集群的影响非常小
自动节点克隆：在新增节点，或者停机维护时，增量数据或者基础数据不需要人工手动备份提供，Galera Cluster会自动拉取在线节点数据，最终集群会变为一直
对应用透明：集群的维护，对应用程序是透明的

优点：

多主写入，无延迟复制，能保证数据强一致性；
有成熟的社区，有互联网公司在大规模的使用；
自动故障转移，自动添加、剔除节点；

缺点：

需要为原生MySQL节点打wsrep补丁
只支持innodb储存引擎
至少三节点；

Galera Cluster搭建

环境准备

准备3台msyql服务器	主机名	ip地址
node1	192.168.73.110
node2	192.168.73.111
node3	192.168.73.112

一、配置YUM源

在每个节点上配置YUM源

[root@node1 ~]# vim /etc/yum.repos.d/mysql.repo
[mysql]
name=galera cluster
baseurl=http://mirrors.neusoft.edu.cn/mariadb//mariadb-10.0.38/yum/centos7-amd64/
gpgcheck=0

二、安装MariaDB-Galera-server

(1)在每个节点上安装MariaDB-Galera-server

[root@node1 ~]# yum install MariaDB-Galera-server -y

(2)MySQL 使用wsrep补丁版本扩展

https://galeracluster.com/downloads/
http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/
https://galeracluster.com/library/documentation/install.html

启用yum存储库
对于基于RPM的发行版，例如CentOS，Red Hat和Fedora，您可以通过向目录添加galera.repo文件来启用Codership存储库/etc/yum.repos.d/。
使用首选文本编辑器创建galera.repo文件。

在该baseurl字段中，对Web地址进行以下更改：
[galera]
name = Galera
baseurl = https://releases.galeracluster.com/galera-3/DIST/RELEASE/ARCH
gpgkey = https://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1

[mysql-wsrep]
name = MySQL-wsrep
baseurl = https://releases.galeracluster.com/mysql-wsrep-VERSION/DIST/RELEASE/ARCH
gpgkey = https://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1

VERSION表示所需的MySQL-wsrep版本。例如，5.6
DIST表示分发名称。例如，centos或fedora。
RELEASE表示分发版本号。例如，6对于CentOS 20或21Fedora。
ARCH表示硬件的体系结构。例如，x86_64对于64位系统。
Codership存储库中的软件包现在可以通过安装进行安装yum。

三、修改配置文件

配置文件在/etc/my.cnf.d/server.cnf，有必须设置和可选设置两个配置

# Mandatory settings                    #这里的项目为必填
wsrep_provider=                         #添加模块路径
wsrep_cluster_address=                  #添加所有服务器的地址gcomm服务器间代替通讯协议
binlog_format=row                       #启用二进制日志

# Optional setting                      #以下项为可选项
#wsrep_slave_threads=1
#innodb_flush_log_at_trx_commit=0
#wsrep_cluster_name=\'testcluster\'       #集群的名称
#wsrep_node_name=\'node1\'                #当前节点的名称
#wsrep_node_address=\'192.168.73.110\'    #当前节点的地址

对每个节点配置文件进行修改，此处以node1为例

[root@node1 ~]# vim /etc/my.cnf.d/server.cnf 
[galera]
# Mandatory settings
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address="gcomm://192.168.73.110,192.168.73.111,192.168.73.112"
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
bind-address=0.0.0.0

四、启动服务

第一个启动的节点需要添加--wsrep-new-cluster选项，说明这是一个新的集群，其余节点启动服务无需添加参数

[root@node1 ~]# service mysql start --wsrep-new-cluster

node2节点启动服务

[root@node2 ~]# service mysql start

node3节点启动服务

[root@node3 ~]# service mysql start

五、测试

1.测试同步

从node1导入数据库

[root@node1 ~]# mysql

node2查看

[root@node2 ~]# mysql -e "SHOW DATABASES;"
+--------------------+
| Database           |
+--------------------+
| hellodb            |
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+

node3查看

[root@node3 ~]# mysql -e "SHOW DATABASES;"
+--------------------+
| Database           |
+--------------------+
| hellodb            |
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+

2.测试冲突

同时在3节点创建表
在node2节点成功，其余节点都失败

[root@node2 ~]# mysql -e "CREATE TABLE hellodb.test(id int auto_increment primary key,name char(20));"
[root@localhost ~]#

node1节点

[root@node1 ~]# mysql -e "CREATE TABLE hellodb.test(id int auto_increment primary key,name char(20));"
ERROR 1050 (42S01) at line 1: Table \'test\' already exists

node3节点

[root@node3 ~]# mysql -e "CREATE TABLE hellodb.test(id int auto_increment primary key,name char(20));"
ERROR 1050 (42S01) at line 1: Table \'test\' already exists

其他

Galera Cluster系统和状态变量
1.查看状态变量:SHOW STATUS LIKE \'wsrep_%\'

MariaDB [(none)]> SHOW STATUS LIKE \'wsrep_%\';
+------------------------------+-------------------------------------------------------------+
| Variable_name                | Value                                                       |
+------------------------------+-------------------------------------------------------------+
| wsrep_local_state_uuid       | e9f07cd3-7253-11e9-b27e-174ea2b4587d                        |
| wsrep_protocol_version       | 9                                                           |
| wsrep_last_committed         | 38                                                          |
| wsrep_replicated             | 36                                                          |
| wsrep_replicated_bytes       | 18960                                                       |
| wsrep_repl_keys              | 144                                                         |
| wsrep_repl_keys_bytes        | 2016                                                        |
| wsrep_repl_data_bytes        | 14522                                                       |
| wsrep_repl_other_bytes       | 0                                                           |
| wsrep_received               | 12                                                          |
| wsrep_received_bytes         | 1782                                                        |
| wsrep_local_commits          | 6                                                           |
| wsrep_local_cert_failures    | 0                                                           |
| wsrep_local_replays          | 0                                                           |
| wsrep_local_send_queue       | 0                                                           |
| wsrep_local_send_queue_max   | 1                                                           |
| wsrep_local_send_queue_min   | 0                                                           |
| wsrep_local_send_queue_avg   | 0.000000                                                    |
| wsrep_local_recv_queue       | 0                                                           |
| wsrep_local_recv_queue_max   | 1                                                           |
| wsrep_local_recv_queue_min   | 0                                                           |
| wsrep_local_recv_queue_avg   | 0.000000                                                    |
| wsrep_local_cached_downto    | 1                                                           |
| wsrep_flow_control_paused_ns | 0                                                           |
| wsrep_flow_control_paused    | 0.000000                                                    |
| wsrep_flow_control_sent      | 0                                                           |
| wsrep_flow_control_recv      | 0                                                           |
| wsrep_cert_deps_distance     | 1.000000                                                    |
| wsrep_apply_oooe             | 0.000000                                                    |
| wsrep_apply_oool             | 0.000000                                                    |
| wsrep_apply_window           | 1.000000                                                    |
| wsrep_commit_oooe            | 0.000000                                                    |
| wsrep_commit_oool            | 0.000000                                                    |
| wsrep_commit_window          | 1.000000                                                    |
| wsrep_local_state            | 4                                                           |
| wsrep_local_state_comment    | Synced                                                      |
| wsrep_cert_index_size        | 82                                                          |
| wsrep_causal_reads           | 0                                                           |
| wsrep_cert_interval          | 0.026316                                                    |
| wsrep_open_transactions      | 0                                                           |
| wsrep_open_connections       | 0                                                           |
| wsrep_incoming_addresses     | 192.168.73.110:3306,192.168.73.111:3306,192.168.73.112:3306 |
| wsrep_cluster_weight         | 3                                                           |
| wsrep_desync_count           | 0                                                           |
| wsrep_evs_delayed            |                                                             |
| wsrep_evs_evict_list         |                                                             |
| wsrep_evs_repl_latency       | 0/0/0/0/0                                                   |
| wsrep_evs_state              | OPERATIONAL                                                 |
| wsrep_gcomm_uuid             | e9efec79-7253-11e9-8e15-9f3e0cc2d8a1                        |
| wsrep_cluster_conf_id        | 3                                                           |
| wsrep_cluster_size           | 3                                                           |
| wsrep_cluster_state_uuid     | e9f07cd3-7253-11e9-b27e-174ea2b4587d                        |
| wsrep_cluster_status         | Primary                                                     |
| wsrep_connected              | ON                                                          |
| wsrep_local_bf_aborts        | 0                                                           |
| wsrep_local_index            | 0                                                           |
| wsrep_provider_name          | Galera                                                      |
| wsrep_provider_vendor        | Codership Oy <info@codership.com>                           |
| wsrep_provider_version       | 25.3.25(r3836)                                              |
| wsrep_ready                  | ON                                                          |
| wsrep_thread_count           | 2                                                           |
+------------------------------+-------------------------------------------------------------+

2.查看系统变量:SHOW VARIABLES like \'wsrep_%\'\G;

MariaDB [(none)]> SHOW VARIABLES like \'wsrep_%\'\G;
*************************** 1. row ***************************
Variable_name: wsrep_auto_increment_control
        Value: ON
*************************** 2. row ***************************
Variable_name: wsrep_causal_reads
        Value: OFF
*************************** 3. row ***************************
Variable_name: wsrep_certification_rules
        Value: strict
*************************** 4. row ***************************
Variable_name: wsrep_certify_nonpk
        Value: ON
*************************** 5. row ***************************
Variable_name: wsrep_cluster_address
        Value: gcomm://192.168.73.110,192.168.73.111,192.168.73.112
*************************** 6. row ***************************
Variable_name: wsrep_cluster_name
        Value: testcluster
*************************** 7. row ***************************
Variable_name: wsrep_convert_lock_to_trx
        Value: OFF
*************************** 8. row ***************************
Variable_name: wsrep_data_home_dir
        Value: /var/lib/mysql/
*************************** 9. row ***************************
Variable_name: wsrep_dbug_option
        Value: 
*************************** 10. row ***************************
Variable_name: wsrep_debug
        Value: OFF
*************************** 11. row ***************************
Variable_name: wsrep_desync
        Value: OFF
*************************** 12. row ***************************
Variable_name: wsrep_dirty_reads
        Value: OFF
*************************** 13. row ***************************
Variable_name: wsrep_drupal_282555_workaround
        Value: OFF
*************************** 14. row ***************************
Variable_name: wsrep_forced_binlog_format
        Value: NONE
*************************** 15. row ***************************
Variable_name: wsrep_load_data_splitting
        Value: ON
*************************** 16. row ***************************
Variable_name: wsrep_log_conflicts
        Value: OFF
*************************** 17. row ***************************
Variable_name: wsrep_max_ws_rows
        Value: 0
*************************** 18. row ***************************
Variable_name: wsrep_max_ws_size
        Value: 2147483647
*************************** 19. row ***************************
Variable_name: wsrep_mysql_replication_bundle
        Value: 0
*************************** 20. row ***************************
Variable_name: wsrep_node_address
        Value: 192.168.73.110
*************************** 21. row ***************************
Variable_name: wsrep_node_incoming_address
        Value: AUTO
*************************** 22. row ***************************
Variable_name: wsrep_node_name
        Value: node1
*************************** 23. row ***************************
Variable_name: wsrep_notify_cmd
        Value: 
*************************** 24. row ***************************
Variable_name: wsrep_on
        Value: ON
*************************** 25. row ***************************
Variable_name: wsrep_osu_method
        Value: TOI
*************************** 26. row ***************************
Variable_name: wsrep_provider
        Value: /usr/lib64/galera/libgalera_smm.so
*************************** 27. row ***************************
Variable_name: wsrep_provider_options
        Value: base_dir = /var/lib/mysql/; base_host = 192.168.73.110; base_port = 4567; cert.log_cOnflicts= no; cert.optimistic_pa = yes; debug = no; evs.auto_evict = 0; evs.causal_keepalive_period = PT1S; evs.debug_log_mask = 0x1; evs.delay_margin = PT1S; evs.delayed_keep_period = PT30S; evs.inactive_check_period = PT0.5S; evs.inactive_timeout = PT15S; evs.info_log_mask = 0; evs.install_timeout = PT7.5S; evs.join_retrans_period = PT1S; evs.keepalive_period = PT1S; evs.max_install_timeouts = 3; evs.send_window = 4; evs.stats_report_period = PT1M; evs.suspect_timeout = PT5S; evs.use_aggregate = true; evs.user_send_window = 2; evs.version = 0; evs.view_forget_timeout = P1D; gcache.dir = /var/lib/mysql/; gcache.keep_pages_size = 0; gcache.mem_size = 0; gcache.name = /var/lib/mysql//galera.cache; gcache.page_size = 128M; gcache.recover = no; gcache.size = 128M; gcomm.thread_prio = ; gcs.fc_debug = 0; gcs.fc_factor = 1.0; gcs.fc_limit = 16; gcs.fc_master_slave = no; gcs.max_packet_size = 64500; gcs.max_throttle = 0.25; gcs.recv_q_hard_limit = 9223372036854775807; gcs.recv_q_soft_limit = 0.25; gcs.sync_dOnor= no; gmcast.listen_addr = tcp://0.0.0.0:4567; gmcast.mcast_addr = ; gmcast.mcast_ttl = 1; gmcast.peer_timeout = PT3S; gmcast.segment = 0; gmcast.time_wait = PT5S; gmcast.version = 0; ist.recv_addr = 192.168.73.110; pc.announce_timeout = PT3S; pc.checksum = false; pc.ignore_quorum = false; pc.ignore_sb = false; pc.linger = PT20S; pc.npvo = false; pc.recovery = true; pc.version = 0; pc.wait_prim = true; pc.wait_prim_timeout = PT30S; pc.weight = 1; protonet.backend = asio; protonet.version = 0; repl.causal_read_timeout = PT30S; repl.commit_order = 3; repl.key_format = FLAT8; repl.max_ws_size = 2147483647; repl.proto_max = 9; socket.checksum = 2; socket.recv_buf_size = 212992; 
*************************** 28. row ***************************
Variable_name: wsrep_recover
        Value: OFF
*************************** 29. row ***************************
Variable_name: wsrep_replicate_myisam
        Value: OFF
*************************** 30. row ***************************
Variable_name: wsrep_restart_slave
        Value: OFF
*************************** 31. row ***************************
Variable_name: wsrep_retry_autocommit
        Value: 1
*************************** 32. row ***************************
Variable_name: wsrep_slave_fk_checks
        Value: ON
*************************** 33. row ***************************
Variable_name: wsrep_slave_threads
        Value: 1
*************************** 34. row ***************************
Variable_name: wsrep_slave_uk_checks
        Value: OFF
*************************** 35. row ***************************
Variable_name: wsrep_sst_auth
        Value: 
*************************** 36. row ***************************
Variable_name: wsrep_sst_donor
        Value: 
*************************** 37. row ***************************
Variable_name: wsrep_sst_donor_rejects_queries
        Value: OFF
*************************** 38. row ***************************
Variable_name: wsrep_sst_method
        Value: rsync
*************************** 39. row ***************************
Variable_name: wsrep_sst_receive_address
        Value: AUTO
*************************** 40. row ***************************
Variable_name: wsrep_start_position
        Value: 00000000-0000-0000-0000-000000000000:-1
*************************** 41. row ***************************
Variable_name: wsrep_sync_wait
        Value: 0
41 rows in set (0.00 s

监测参数说明

监测状态说明
1. 集群完整性检查:
wsrep_cluster_state_uuid:在集群所有节点的值应该是相同的,有不同值的节点,说明其没有连接入集群.
wsrep_cluster_conf_id:正常情况下所有节点上该值是一样的.如果值不同,说明该节点被临时”分区”了.当节点之间网络连接恢复的时候应该会恢复一样的值.
wsrep_cluster_size:如果这个值跟预期的节点数一致,则所有的集群节点已经连接.
wsrep_cluster_status:集群组成的状态.如果不为”Primary”,说明出现”分区”或是”split-brain”状况.
2. 节点状态检查:
wsrep_ready: 该值为ON,则说明可以接受SQL负载.如果为Off,则需要检查wsrep_connected.
wsrep_connected: 如果该值为Off,且wsrep_ready的值也为Off,则说明该节点没有连接到集群.(可能是wsrep_cluster_address或wsrep_cluster_name等配置错造成的.具体错误需要查看错误日志)
wsrep_local_state_comment:如果wsrep_connected为On,但wsrep_ready为OFF,则可以从该项查看原因.
3. 复制健康检查:
wsrep_flow_control_paused:表示复制停止了多长时间.即表明集群因为Slave延迟而慢的程度.值为0~1,越靠近0越好,值为1表示复制完全停止.可优化wsrep_slave_threads的值来改善.
wsrep_cert_deps_distance:有多少事务可以并行应用处理.wsrep_slave_threads设置的值不应该高出该值太多.
wsrep_flow_control_sent:表示该节点已经停止复制了多少次.
wsrep_local_recv_queue_avg:表示slave事务队列的平均长度.slave瓶颈的预兆.