热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

MySQL20个高性能架构设计原则(值得收藏)_Mysql

这篇文章主要介绍了MySQL20个高性能架构设计原则,帮助大家更好的理解和使用MySQL,感

开源数据库架构设计原则

01. 技术选型

选择成熟的平台和技术,同时是最熟悉的,能做到极致的,用好不用坏,用熟不用生。目前业界的MySQL主流分支版本有Oracle官方版本的MySQL、Percona Server、MariaDB。

02. 高可用选择

高可用解决方案探讨的本质上是低宕机时间解决方案,可以理解成高可用的反面是不可用,绝大部分情况下数据库宕机才会导致数据库不可用。随着技术发展,开源数据库方面很多高可用组件(主从复制、半同步、MGR、MHA、Galera Cluster),对应场景,只有适合的,没有万能的,需要理解每个高可用优缺点。

03. 表设计

表设计方面目前一致坚持和提倡的原则:

  • 单表数据量

所有表都需要添加注释,单表数据量建议控制在 3000 万以内

  • 不保存大字段数据

不在数据库中存储图片、文件等大数据

  • 表使用规范

拆分大字段和访问频率低的字段,分离冷热数据

单表字段数控制在 20 个以内

  • 索引规范

1.单张表中索引数量不超过 5 个

2.单个索引中的字段数不超过 5 个

3.INNODB 主键推荐使用自增列,主键不应该被修改,字符串不应该做主键,

如果不指定主键,INNODB 会使用唯一且非空值索引代替

4.如果是复合索引,区分最大的字段放在索引前面

5. 避免冗余或重复索引:合理创建联合索引(避免冗余)

6. 不在低基数列上建立索引,例如‘性别'

7. 不在索引列进行数学运算和函数运算

  • 字符集utf8mb4(偏生字,表情符)

04. 优化原则

05. 复制方式

MySQL复制方式提供异步方式、半同步方式、全局事务强一致性、binglog同步。需要不同业务系统间 或 两个数据库间进行同步。异步方式可以防止故障和效率问题的蔓延,扩大化;但强一致性会更复杂,并发、事务大小都有求限制。

06. 分离原则

区分核心的业务,重要业务,渠道,内部业务的业务系统,对不同的系统设置不同的架构。为核心业务设置 最佳为分库,多活 专用高速公路,其他业务可以做读写分离,缓存。

07. 扩展性

对于系统来说扩展性很重要,尽量做到水平扩展。避免过度依赖纵向扩展,同时具备纵向,横向扩展的能力,例如无状态应用应该多套负载均衡多活部署,数据库分库架构。

08. 读写分离

  • 读多写少场景(10%写 90%读)
  • 复制存在延迟,业务对延迟不敏感的
  • 实现方式:

1. 通过应用代码配置读写分离,

2. 通过中间代理方式路由只读库 &

3. 业务和数据库为一个单位

09. 分库分表

  • 当表中数据记录的数量超过3000万条,再好的索引也已经不能提高数据查询的速度,这时需要将表拆分成更多的小表,增加性能,增加弹性,避免发生垮库进行操作。
  • 引入中间价要考虑性能代价,聚合需求。
  • 分库原则尽量在app 上层进行分库,就是流量。
  • 分多少合适:可用性和性能满足TPS。
  • 路由:写入配置文件 或则 插表 或则 zookeeper。

10. 归档原则

历史数据定期进行归档 或则 移到其他大数据平台。能让轻量级数据库更多缓存有用的数据。

在MySQL分区表里 注意要避免分区锁,只能写读的场景。

11. 连接池的要求

长链接,自动重链,延时和异常记录, 弹性链接,检测满,异常告警,进阶要求

是记录所有访问情况,可以扩展出很多能力。

应用和数据库连接池设置,数据库允许的连接数设置,常见问题。

A )应用的数据库连接池设置偏小,一旦数据库相应慢(新上线应用,缺少索引 等)则应。

用排队严重,甚至雪崩,而遗憾的是数据库能力还远为用尽。

B )不具备失效及时发现和重新链接数据库能力。

C )隔离级别设置:RR 和 RC下不同的表现。

12. 应用解耦

通过应用访问数据库而不是直接访问,重要业务不能依赖低保障级别的系统,应用层重要业务和普通业务解耦,关键业务要独立。

13. 组件失效免疫能力

单一应用,单一硬件,甚至单一基础设施,单一站点容灾,业务影响,故障恢复能力,要季度级别进行演练。

14. 关键词组件减负

特别是数据库访问,数据库成本最高,扩展性最难,可用性保障最难,恢复难度和时间最大。

减负:能不用就不用,使用最简单,成本最低的语句,避免大事务,慎用两阶段事务。

15. 灰度数据库

减少发布时变更数据库对全局的影响,只有应用程序灰度是不够的,还要有专门的灰度数据库。在分库、读写分离架构下,一套含数据库的完整应用架构,变的很自然。

所为灰度环境就是生产环境,生产数据,所影响的也是生产环境,只是范围比测试环境更广,更真实。其实就是小范围的生产环境。类似于游戏内测。

16. 高仿真架构体系

建立高仿真架构体系

  • 数据库,操作系统升级:应用是否适应,性能会变好, 还是变坏
  • 应用上线发布,系统变更(列如换平台),提前判断业务影响和性能瓶颈
  • 应对突发交易量,例如双十一,性能极限在哪里,瓶颈在哪里。

17. 容灾保障

高可用是运维核心要求,容灾是最后屏障

例如 双活比单活好,MGR比复制架构好,重要系统要做好高可用,容灾建设。

18. 多中心建设

冗余是基础,多中心建设是为了提升容灾能力和扩展能力,并保障业务。

19. 应用和数据库是一个整体

应用和运维人员一起,解决应用解耦,数据库解耦,追账补数,业务监控,应用路由,故障切换等。可用性,效率,故障恢复等方面都要一起参与。

20. 性能提升

开源数据库使用应该合理且有效的结合周边的其他类型数据库,做到性能最大化。比如:Redis、MongoDB、ES、ClickHouse等。

总结

1. 最适合的架构是结合软件特性和业务场景,又能取得成本收益平衡;

2. 大数据情况下可以是利用读写分离、分库分表,但要选择合适的;

3. 不适合分库的应该考虑竭尽所能把核心库做小,然后通过垂直扩展来扩容;

4. 用尽各种技术, 高可用 和 容灾手段保证其可用。


推荐阅读
  • 在单位的一台4cpu的服务器上部署了esxserver,挂载了6个虚拟机,目前运行正常。在安装部署过程中,得到了cnvz.net论坛精华区 ... [详细]
  • 14亿人的大项目,腾讯云数据库拿下!
    全国人 ... [详细]
  • t-io 2.0.0发布-法网天眼第一版的回顾和更新说明
    本文回顾了t-io 1.x版本的工程结构和性能数据,并介绍了t-io在码云上的成绩和用户反馈。同时,还提到了@openSeLi同学发布的t-io 30W长连接并发压力测试报告。最后,详细介绍了t-io 2.0.0版本的更新内容,包括更简洁的使用方式和内置的httpsession功能。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 单点登录原理及实现方案详解
    本文详细介绍了单点登录的原理及实现方案,其中包括共享Session的方式,以及基于Redis的Session共享方案。同时,还分享了作者在应用环境中所遇到的问题和经验,希望对读者有所帮助。 ... [详细]
  • Vagrant虚拟化工具的安装和使用教程
    本文介绍了Vagrant虚拟化工具的安装和使用教程。首先介绍了安装virtualBox和Vagrant的步骤。然后详细说明了Vagrant的安装和使用方法,包括如何检查安装是否成功。最后介绍了下载虚拟机镜像的步骤,以及Vagrant镜像网站的相关信息。 ... [详细]
  • 篇首语:本文由编程笔记#小编为大家整理,主要介绍了软件测试知识点之数据库压力测试方法小结相关的知识,希望对你有一定的参考价值。 ... [详细]
  • k8s+springboot+Eureka如何平滑上下线服务
    k8s+springboot+Eureka如何平滑上下线服务目录服务平滑上下线-k8s版本目录“上篇介绍了springboot+Euraka服务平滑上下线的方式,有部分小伙伴反馈k ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
  • Nginxgaodaima.comnginx属于七层架构,支持的是http协议,本身对tcp协议没有支持。所以不能代理mysql等实现负载均衡。但是lvs这个东西不熟悉,主要是公司 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • Redis的默认端口、数据库使用和多端口配置
    本文介绍了Redis的默认端口、数据库使用和多端口配置的方法。通过选择不同的数据库和使用flushdb命令可以实现对不同数据库的访问和清除数据。同时,本文还介绍了在同一台机器上启用多个Redis实例的方法,并讨论了配置认证密码的步骤和注意事项。 ... [详细]
  • 域名解析系统DNS
    文章目录前言一、域名系统概述二、因特网的域名结构三、域名服务器1.根域名服务器2.顶级域名服务器(TLD,top-leveldomain)3.权威(Authoritative)域名 ... [详细]
  • 目录Atlas介绍Atlas部署Atlas基本管理Atlas结合MHA故障恢复读写分离建议Atlas介绍Atlas是由Qihoo360Web平台部基础架构团队开发维护的一个基于My ... [详细]
  • php网站设计实验报告,php网站开发实训报告
    本文目录一览:1、php动态网站设计的关键技术有哪些软件,及搭建步骤需要哪些页面,分别完成 ... [详细]
author-avatar
捕鱼达人2502931267
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有