热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

mysql的垂直分表和水平分表

1,水平分表:一条记录一条记录切断分出来!2,垂直分表:把常用的,不常用的,字段很长的拆出来!目前很多互联网系统都存在单表数据量过大的问题,这就降低了查询速度,影响了客户体验。

1,水平分表: 一条记录一条记录切断分出来!
2, 垂直分表: 把常用的 ,不常用的,字段很长的拆出来!

目前很多互联网系统都存在单表数据量过大的问题,这就降低了查询速度,影响了客户体验。为了提高查询速度,我们可以优化sql语句,优化表结构和索引,不过度那些百万级,千万级的数据库表,即便优化过后,查询速度还是满足不了要求。这时候我们就可以通过分表降低单次查询数据量,从而提高查询速度,一般分表的方式有2种:水平拆分和垂直拆分,俩者各有利弊,适用于不同的情况。

 

水平拆分

水平拆分是指数据表行的拆分,表的行数超过了200万时,就会变慢,这时候可以把一张表的数据拆成多张表来存放。

 

通常情况下,我们使用取模的方式来进行表的拆分。比如一张有400万的用户表users,为提高其查询效率我们把其分成4张表user1,user2,user3,user4
通过ID 取模的方式把数据分散到四张表内Id %4+1=[1,2,3,4];
然后查询,更新,删除也是通过取模的方式来查询。
例:QQ的登录表。假设QQ的用户有100亿,如果只有一张表,每个用户登录的时候数据库都要从这100亿中查找,会很慢很慢。如果将这一张表分成100份,每张表有1亿条,就小了很多,比如qq0,qq1,qq1…qq99表。
用户登录的时候,可以将用户的id0,那么会得到0-99的数,查询表的时候,将表名qq和取模的数连接起来,就构建了表名。比如:123456789用户,取模的89,那么就得到qq89表查询,查询的时间将会大大缩短。
另外部分业务逻辑也可以通过地区,年份等字段来进行归档拆分,进行拆分后的表,只满足部分查询的高效查询需求。这时候就要在产品策划上,从界面上约束用户查询行为,比如,我们是按年来进行归档拆分的,这个时候在页面设计上就约束用户必须要选择年,然后才能进行查询

水平拆分的优点
表关联基本能够在数据库端全部完成;
不会存在某些超大型数据量和高负载的表遇到瓶颈的问题;
应用程序端整体架构改动相对较少;
事物处理相对简单
只要切分规则能定义好,基本上较难遇到扩展性限制;

水平切分的缺点:

切分规则相对更为复杂,很难抽象出一个能满足整个数据库的切分规则;
后期数据的维护难度有所增加,人为手工定位数据更为困难;
应用系统各模块耦合度较高,可能会对后面数据的迁移拆分造成一定的困难。

 

 

垂直拆分

垂直拆分是指表数据列的拆分,把一张列比较多的表拆分成多张表。表的记录并不多,但是字段却很长,表占用空间很大,检索表的时候需要执行大量的IO,严重降低了性能。这时候需要把大的字段拆分到另外一个表,并且该表与原表是一对一的关系。

 

通常我们按照以下规则进行垂直拆分:
1,把不常用的字段单独放在一个表;
2,把text,blob等大字段拆分出来放在附表中;
3,经常组合查询的列放在一张表中;

 

如果我们只想查询id为8的学生的分数:select 分数 from tt where id = 8;虽然知识查询分数,但是题目和回答这两个大字段也是要被扫描的,很消耗性能。但是我们只关心分数,并不想查询题目和回答。这就可以使用垂直分割。我们可以把题目单独放到一张表中,通过id与tt表建立一对一的关系,同样将回答单独放到一张表中。这样我们插叙tt中的分数的时候就不会扫描题目和回答了

 

垂直切分的优点
数据库的拆分简单明了,拆分规则明确
应用程序模块清晰明确,整合容易
数据维护方便易行,容易定位

垂直切分的缺点

部分表关联无法再数据库级别完成,需要在程序中完成
对于访问极其频繁且数据量超大的表仍然存在性能瓶颈,不一定满足需求;
事务处理相对更为复杂;
切分达到一定程度后。扩展性会遇到限制
过度切分可能会带来系统过度复杂而难以维护;

 

 



推荐阅读
  • 本文介绍了如何在MySQL中将零值替换为先前的非零值的方法,包括使用内联查询和更新查询。同时还提供了选择正确值的方法。 ... [详细]
  • Java实战之电影在线观看系统的实现
    本文介绍了Java实战之电影在线观看系统的实现过程。首先对项目进行了简述,然后展示了系统的效果图。接着介绍了系统的核心代码,包括后台用户管理控制器、电影管理控制器和前台电影控制器。最后对项目的环境配置和使用的技术进行了说明,包括JSP、Spring、SpringMVC、MyBatis、html、css、JavaScript、JQuery、Ajax、layui和maven等。 ... [详细]
  • Metasploit攻击渗透实践
    本文介绍了Metasploit攻击渗透实践的内容和要求,包括主动攻击、针对浏览器和客户端的攻击,以及成功应用辅助模块的实践过程。其中涉及使用Hydra在不知道密码的情况下攻击metsploit2靶机获取密码,以及攻击浏览器中的tomcat服务的具体步骤。同时还讲解了爆破密码的方法和设置攻击目标主机的相关参数。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 本文介绍了在SpringBoot中集成thymeleaf前端模版的配置步骤,包括在application.properties配置文件中添加thymeleaf的配置信息,引入thymeleaf的jar包,以及创建PageController并添加index方法。 ... [详细]
  • 本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识,包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说,本文提供了一些有价值的参考内容。 ... [详细]
  • 本文由编程笔记小编整理,介绍了PHP中的MySQL函数库及其常用函数,包括mysql_connect、mysql_error、mysql_select_db、mysql_query、mysql_affected_row、mysql_close等。希望对读者有一定的参考价值。 ... [详细]
  • Spring特性实现接口多类的动态调用详解
    本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍,以及getBeansOfType方法的应用,解决了在实际工作中遇到的接口及多个实现类的问题。同时,文章还提到了SPI使用的不便之处,并介绍了借助ApplicationContext实现需求的方法。阅读本文,你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]
  • 数据库(外键及其约束理解)(https:www.cnblogs.comchenxiaoheip6909318.html)My ... [详细]
  • 本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面,并总结了项目存在的问题,如前后端未分离、代码混乱等。作者表示希望通过记录和规划,能够理清思路,进一步完善该平台。 ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
  • yum安装_Redis —yum安装全过程
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了Redis—yum安装全过程相关的知识,希望对你有一定的参考价值。访问https://redi ... [详细]
  • 解决VS写C#项目导入MySQL数据源报错“You have a usable connection already”问题的正确方法
    本文介绍了在VS写C#项目导入MySQL数据源时出现报错“You have a usable connection already”的问题,并给出了正确的解决方法。详细描述了问题的出现情况和报错信息,并提供了解决该问题的步骤和注意事项。 ... [详细]
  • 本文介绍了关于apache、phpmyadmin、mysql、php、emacs、path等知识点,以及如何搭建php环境。文章提供了详细的安装步骤和所需软件列表,希望能帮助读者解决与LAMP相关的技术问题。 ... [详细]
  • 本文介绍了通过mysql命令查看mysql的安装路径的方法,提供了相应的sql语句,并希望对读者有参考价值。 ... [详细]
author-avatar
os灵敏度吧
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有