被怼到绝望的我，docker文件映射权限

为什么要分库分表&＃xff1f;

首先回答一下为什么要分库分表&＃xff0c;答案很简单&＃xff1a;数据库出现性能瓶颈。用大白话来说就是数据库快扛不住了。

数据库出现性能瓶颈&＃xff0c;对外表现有几个方面&＃xff1a;

• 大量请求阻塞在高并发场景下&＃xff0c;大量请求都需要操作数据库&＃xff0c;导致连接数不够了&＃xff0c;请求处于阻塞状态。
• SQL 操作变慢如果数据库中存在一张上亿数据量的表&＃xff0c;一条 SQL 没有命中索引会全表扫描&＃xff0c;这个查询耗时会非常久。
• 存储出现问题业务量剧增&＃xff0c;单库数据量越来越大&＃xff0c;给存储造成巨大压力。

从机器的角度看&＃xff0c;性能瓶颈无非就是CPU、内存、磁盘、网络这些&＃xff0c;要解决性能瓶颈最简单粗暴的办法就是提升机器性能&＃xff0c;但是通过这种方法成本和收益投入比往往又太高了&＃xff0c;不划算&＃xff0c;所以重点还是要从软件角度入手。

数据库相关优化方案

数据库优化方案很多&＃xff0c;主要分为两大类&＃xff1a;软件层面、硬件层面。

软件层面包括&＃xff1a;SQL 调优、表结构优化、读写分离、数据库集群、分库分表等&＃xff1b;

硬件层面主要是增加机器性能。

SQL 调优

SQL 调优往往是解决数据库问题的第一步&＃xff0c;往往投入少部分精力就能获得较大的收益。

SQL 调优主要目的是尽可能地让那些慢 SQL 变快&＃xff0c;手段其实也很简单就是让 SQL 执行尽量命中索引。

开启慢 SQL 记录

如果你使用的是 Mysql&＃xff0c;需要在 Mysql 配置文件中配置几个参数即可。

slow_query_log&＃61;on
long_query_time&＃61;1
slow_query_log_file&＃61;/path/to/log


调优的工具

常常会用到 explain 这个命令来查看 SQL 语句的执行计划&＃xff0c;通过观察执行结果很容易就知道该 SQL 语句是不是全表扫描、有没有命中索引。

select id, age, gender from user where name &＃61; &＃39;爱笑的架构师&＃39;;


返回有一列叫“type”&＃xff0c;常见取值有&＃xff1a;

ALL、index、range、 ref、eq_ref、const、system、NULL&＃xff08;从左到右&＃xff0c;性能从差到好&＃xff09;

ALL 代表这条 SQL 语句全表扫描了&＃xff0c;需要优化。一般来说需要达到range 级别及以上。

表结构优化

以一个场景举例说明&＃xff1a;

“user”表中有 user_id、nickname 等字段&＃xff0c;“order”表中有order_id、user_id等字段&＃xff0c;如果想拿到用户昵称怎么办&＃xff1f;一般情况是通过 join 关联表操作&＃xff0c;在查询订单表时关联查询用户表&＃xff0c;从而获取到用户昵称。

但是随着业务量增加&＃xff0c;订单表和用户表肯定也是暴增&＃xff0c;这时候通过两个表关联数据就比较费力了&＃xff0c;为了取一个昵称字段而不得不关联查询几十上百万的用户表&＃xff0c;其速度可想而知。

这个时候可以尝试将 nickname 这个字段加到 order 表中&＃xff08;order_id、user_id、nickname&＃xff09;&＃xff0c;这种做法通常叫做数据库表冗余字段。这样做的好处展示订单列表时不需要再关联查询用户表了。

冗余字段的做法也有一个弊端&＃xff0c;如果这个字段更新会同时涉及到多个表的更新&＃xff0c;因此在选择冗余字段时要尽量选择不经常更新的字段。

架构优化

当单台数据库实例扛不住&＃xff0c;我们可以增加实例组成集群对外服务。

当发现读请求明显多于写请求时&＃xff0c;我们可以让主实例负责写&＃xff0c;从实例对外提供读的能力&＃xff1b;

如果读实例压力依然很大&＃xff0c;可以在数据库前面加入缓存如 redis&＃xff0c;让请求优先从缓存取数据减少数据库访问。

缓存分担了部分压力后&＃xff0c;数据库依然是瓶颈&＃xff0c;这个时候就可以考虑分库分表的方案了&＃xff0c;后面会详细介绍。

硬件优化

硬件成本非常高&＃xff0c;一般来说不可能遇到数据库性能瓶颈就去升级硬件。

在前期业务量比较小的时候&＃xff0c;升级硬件数据库性能可以得到较大提升&＃xff1b;但是在后期&＃xff0c;升级硬件得到的收益就不那么明显了。

分库分表详解

下面我们以一个商城系统为例逐步讲解数据库是如何一步步演进。

单应用单数据库

在早期创业阶段想做一个商城系统&＃xff0c;基本就是一个系统包含多个基础功能模块&＃xff0c;最后打包成一个 war 包部署&＃xff0c;这就是典型的单体架构应用。

如上图&＃xff0c;商城系统包括主页 Portal 模板、用户模块、订单模块、库存模块等&＃xff0c;所有的模块都共有一个数据库&＃xff0c;通常数据库中有非常多的表。

因为用户量不大&＃xff0c;这样的架构在早期完全适用&＃xff0c;开发者可以拿着 demo到处找&＃xff08;骗&＃xff09;投资人。

一旦拿到投资人的钱&＃xff0c;业务就要开始大规模推广&＃xff0c;同时系统架构也要匹配业务的快速发展。

多应用单数据库

在前期为了抢占市场&＃xff0c;这一套系统不停地迭代更新&＃xff0c;代码量越来越大&＃xff0c;架构也变得越来越臃肿&＃xff0c;现在随着系统访问压力逐渐增加&＃xff0c;系统拆分就势在必行了。

为了保证业务平滑&＃xff0c;系统架构重构也是分了几个阶段进行。

第一个阶段将商城系统单体架构按照功能模块拆分为子服务&＃xff0c;比如&＃xff1a;Portal 服务、用户服务、订单服务、库存服务等。

如上图&＃xff0c;多个服务共享一个数据库&＃xff0c;这样做的目的是底层数据库访问逻辑可以不用动&＃xff0c;将影响降到最低。

多应用多数据库

随着业务推广力度加大&＃xff0c;数据库终于成为了瓶颈&＃xff0c;这个时候多个服务共享一个数据库基本不可行了。我们需要将每个服务相关的表拆出来单独建立一个数据库&＃xff0c;这其实就是“分库”了。

单数据库的能够支撑的并发量是有限的&＃xff0c;拆成多个库可以使服务间不用竞争&＃xff0c;提升服务的性能。

如上图&＃xff0c;从一个大的数据中分出多个小的数据库&＃xff0c;每个服务都对应一个数据库&＃xff0c;这就是系统发展到一定阶段必要要做的“分库”操作。

现在非常火的微服务架构也是一样的&＃xff0c;如果只拆分应用不拆分数据库&＃xff0c;不能解决根本问题&＃xff0c;整个系统也很容易达到瓶颈。

分表

说完了分库&＃xff0c;那什么时候分表呢&＃xff1f;

如果系统处于高速发展阶段&＃xff0c;拿商城系统来说&＃xff0c;一天下单量可能几十万&＃xff0c;那数据库中的订单表增长就特别快&＃xff0c;增长到一定阶段数据库查询效率就会出现明显下降。

因此&＃xff0c;当单表数据增量过快&＃xff0c;业界流传是超过500万的数据量就要考虑分表了。当然500万只是一个经验值&＃xff0c;大家可以根据实际情况做出决策。

那如何分表呢&＃xff1f;

分表有几个维度&＃xff0c;一是水平切分和垂直切分&＃xff0c;二是单库内分表和多库内分表。

水平拆分和垂直拆分

就拿用户表&＃xff08;user&＃xff09;来说&＃xff0c;表中有7个字段&＃xff1a;id,name,age,sex,nickname,description&＃xff0c;如果 nickname 和 description 不常用&＃xff0c;我们可以将其拆分为另外一张表&＃xff1a;用户详细信息表&＃xff0c;这样就由一张用户表拆分为了用户基本信息表&＃43;用户详细信息表&＃xff0c;两张表结构不一样相互独立。但是从这个角度来看垂直拆分并没有从根本上解决单表数据量过大的问题&＃xff0c;因此我们还是需要做一次水平拆分。

还有一种拆分方法&＃xff0c;比如表中有一万条数据&＃xff0c;我们拆分为两张表&＃xff0c;id 为奇数的&＃xff1a;1&＃xff0c;3&＃xff0c;5&＃xff0c;7……放在 user1&＃xff0c; id 为偶数的&＃xff1a;2&＃xff0c;4&＃xff0c;6&＃xff0c;8……放在 user2中&＃xff0c;这样的拆分办法就是水平拆分了。

水平拆分的方式也很多&＃xff0c;除了上面说的按照 id 拆表&＃xff0c;还可以按照时间维度去拆分&＃xff0c;比如订单表&＃xff0c;可以按每日、每月等进行拆分。

• 每日表&＃xff1a;只存储当天的数据。
• 每月表&＃xff1a;可以起一个定时任务将前一天的数据全部迁移到当月表。
• 历史表&＃xff1a;同样可以用定时任务把时间超过 30 天的数据迁移到 history表。

总结一下水平拆分和垂直拆分的特点&＃xff1a;

• 垂直切分&＃xff1a;基于表或字段划分&＃xff0c;表结构不同。
• 水平切分&＃xff1a;基于数据划分&＃xff0c;表结构相同&＃xff0c;数据不同。

单库内拆分和多库拆分

拿水平拆分为例&＃xff0c;每张表都拆分为了多个子表&＃xff0c;多个子表存在于同一数据库中。比如下面用户表拆分为用户1表、用户2表。

在一个数据库中将一张表拆分为几个子表在一定程度上可以解决单表查询性能的问题&＃xff0c;但是也会遇到一个问题&＃xff1a;单数据库存储瓶颈。

所以在业界用的更多的还是将子表拆分到多个数据库中。比如下图中&＃xff0c;用户表拆分为两个子表&＃xff0c;两个子表分别存在于不同的数据库中。

多库拆分

一句话总结&＃xff1a;分表主要是为了减少单张表的大小&＃xff0c;解决单表数据量带来的性能问题。

分库分表带来的复杂性

既然分库分表这么好&＃xff0c;那我们是不是在项目初期就应该采用这种方案呢&＃xff1f;不要激动&＃xff0c;冷静一下&＃xff0c;分库分表的确解决了很多问题&＃xff0c;但是也给系统带来了很多复杂性&＃xff0c;下面简要说一说。

&＃xff08;1&＃xff09;跨库关联查询

在单库未拆分表之前&＃xff0c;我们可以很方便使用 join 操作关联多张表查询数据&＃xff0c;但是经过分库分表后两张表可能都不在一个数据库中&＃xff0c;如何使用 join 呢&＃xff1f;

有几种方案可以解决&＃xff1a;

• 字段冗余&＃xff1a;把需要关联的字段放入主表中&＃xff0c;避免 join 操作&＃xff1b;
• 数据抽象&＃xff1a;通过ETL等将数据汇合聚集&＃xff0c;生成新的表&＃xff1b;
• 全局表&＃xff1a;比如一些基础表可以在每个数据库中都放一份&＃xff1b;
• 应用层组装&＃xff1a;将基础数据查出来&＃xff0c;通过应用程序计算组装&＃xff1b;

&＃xff08;2&＃xff09;分布式事务

单数据库可以用本地事务搞定&＃xff0c;使用多数据库就只能通过分布式事务解决了。

常用解决方案有&＃xff1a;基于可靠消息&＃xff08;MQ&＃xff09;的解决方案、两阶段事务提交、柔性事务等。

&＃xff08;3&＃xff09;排序、分页、函数计算问题

在使用 SQL 时 order by&＃xff0c; limit 等关键字需要特殊处理&＃xff0c;一般来说采用分片的思路&＃xff1a;

先在每个分片上执行相应的函数&＃xff0c;然后将各个分片的结果集进行汇总和再次计算&＃xff0c;最终得到结果。

&＃xff08;4&＃xff09;分布式 ID

如果使用 Mysql 数据库在单库单表可以使用 id 自增作为主键&＃xff0c;分库分表了之后就不行了&＃xff0c;会出现id 重复。

常用的分布式 ID 解决方案有&＃xff1a;

• UUID
• 基于数据库自增单独维护一张 ID表
• 号段模式
• Redis 缓存
• 雪花算法&＃xff08;Snowflake&＃xff09;
• 百度uid-generator
• 美团Leaf
• 滴滴Tinyid

这些方案后面会写文章专门介绍&＃xff0c;这里不再展开。

&＃xff08;5&＃xff09;多数据源

分库分表之后可能会面临从多个数据库或多个子表中获取数据&＃xff0c;一般的解决思路有&＃xff1a;客户端适配和代理层适配。

业界常用的中间件有&＃xff1a;

• shardingsphere&＃xff08;前身 sharding-jdbc&＃xff09;
• Mycat

总结

大型分布式系统犹如一个生命&＃xff0c;系统中各个服务犹如骨骼&＃xff0c;其中的数据犹如血液&＃xff0c;而Kafka犹如经络&＃xff0c;串联整个系统。这份Kafka源码笔记通过大量的设计图展示、代码分析、示例分享&＃xff0c;把Kafka的实现脉络展示在读者面前&＃xff0c;帮助读者更好地研读Kafka代码。

需要免费领取这份Kafka源码笔记的铁汁们&＃xff0c;麻烦帮忙转发一下这篇文章&＃43;关注我&＃xff0c;然后戳这里免费获取&＃xff01;

总结

大型分布式系统犹如一个生命&＃xff0c;系统中各个服务犹如骨骼&＃xff0c;其中的数据犹如血液&＃xff0c;而Kafka犹如经络&＃xff0c;串联整个系统。这份Kafka源码笔记通过大量的设计图展示、代码分析、示例分享&＃xff0c;把Kafka的实现脉络展示在读者面前&＃xff0c;帮助读者更好地研读Kafka代码。

需要免费领取这份Kafka源码笔记的铁汁们&＃xff0c;麻烦帮忙转发一下这篇文章&＃43;关注我&＃xff0c;然后戳这里免费获取&＃xff01;