当前位置: 开发笔记 > 后端 > 正文

MySQL基于时间字段进行分区的方案总结_MySQL

作者：善良历史代言人_749 | 来源：互联网 | 2018-04-27 12:12

MySQL支持的分区类型一共有四种：RANGE，LIST，HASH，KEY。其中，RANGE又可分为原生RANGE和RANGECOLUMNS，LIST分为原生LIST和LISTCOLUMNS，HASH分为原生HASH和LINEARHASH，KEY包含原生KEY和LINEARHASH

MySQL支持的分区类型一共有四种：RANGE，LIST，HASH，KEY。其中，RANGE又可分为原生RANGE和RANGE COLUMNS，LIST分为原生LIST和LIST COLUMNS，HASH分为原生HASH和LINEAR HASH，KEY包含原生KEY和LINEAR HASH。关于这些分区之间的差别，改日另写文章进行阐述。

最近，碰到一个需求，要对表的时间字段（类型：datetime）基于天进行分区。于是遍历MySQL官方文档分区章节，总结如下：

实现方式

主要是以下几种：

1. 基于RANGE

2. 基于RANGE COLUMNS

3. 基于HASH

测试数据

为了测试以上三种方案，特构造了100万的测试数据，放在test表中，test表只有两列：id和hiredate，其中hiredate只包含10天的数据，从2015-12-01到2015-12-10。具体信息如下：

mysql> show create table test\G
*************************** 1. row ***************************
       Table: test
Create Table: CREATE TABLE `test` (
  `id` int(11) DEFAULT NULL,
  `hiredate` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

mysql> select min(hiredate),max(hiredate) from test;
+---------------------+---------------------+
| min(hiredate)       | max(hiredate)       |
+---------------------+---------------------+
| 2015-12-01 00:00:00 | 2015-12-10 23:59:56 |
+---------------------+---------------------+
1 row in set (0.44 sec)

mysql> select date(hiredate),count(*) from test group by date(hiredate);
+----------------+----------+
| date(hiredate) | count(*) |
+----------------+----------+
| 2015-12-01     |    99963 |
| 2015-12-02     |   100032 |
| 2015-12-03     |   100150 |
| 2015-12-04     |    99989 |
| 2015-12-05     |    99908 |
| 2015-12-06     |    99897 |
| 2015-12-07     |   100137 |
| 2015-12-08     |   100171 |
| 2015-12-09     |    99851 |
| 2015-12-10     |    99902 |
+----------------+----------+
10 rows in set (0.98 sec)

测试的维度

测试的维度主要从两个方面进行，

一、分区剪裁

针对特定的查询，是否能进行分区剪裁（即只查询相关的分区，而不是所有分区）

二、查询时间

鉴于该批测试数据是静止的（即没有并发进行的insert，update和delete操作），数据量也不太大，从这个维度来考量貌似意义也不是很大。

因此，重点测试第一个维度。

基于RANGE的分区方案

在这里，选用了TO_DAYS函数

CREATE TABLE range_datetime(
    id INT,
    hiredate DATETIME
)
PARTITION BY RANGE (TO_DAYS(hiredate) ) (
    PARTITION p1 VALUES LESS THAN ( TO_DAYS(&＃39;20151202&＃39;) ),
    PARTITION p2 VALUES LESS THAN ( TO_DAYS(&＃39;20151203&＃39;) ),
    PARTITION p3 VALUES LESS THAN ( TO_DAYS(&＃39;20151204&＃39;) ),
    PARTITION p4 VALUES LESS THAN ( TO_DAYS(&＃39;20151205&＃39;) ),
    PARTITION p5 VALUES LESS THAN ( TO_DAYS(&＃39;20151206&＃39;) ),
    PARTITION p6 VALUES LESS THAN ( TO_DAYS(&＃39;20151207&＃39;) ),
    PARTITION p7 VALUES LESS THAN ( TO_DAYS(&＃39;20151208&＃39;) ),
    PARTITION p8 VALUES LESS THAN ( TO_DAYS(&＃39;20151209&＃39;) ),
    PARTITION p9 VALUES LESS THAN ( TO_DAYS(&＃39;20151210&＃39;) ),
    PARTITION p10 VALUES LESS THAN ( TO_DAYS(&＃39;20151211&＃39;) )
);

插入数据并查看特定查询的执行计划

mysql> insert into range_datetime select * from test;                                                                    
Query OK, 1000000 rows affected (8.15 sec)
Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from range_datetime where hiredate >= &＃39;20151207124503&＃39; and hiredate<=&＃39;20151210111230&＃39;; 
+----+-------------+----------------+--------------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table          | partitions   | type | possible_keys | key  | key_len | ref  | rows   | Extra       |
+----+-------------+----------------+--------------+------+---------------+------+---------+------+--------+-------------+
|  1 | SIMPLE      | range_datetime | p7,p8,p9,p10 | ALL  | NULL          | NULL | NULL    | NULL | 400061 | Using where |
+----+-------------+----------------+--------------+------+---------------+------+---------+------+--------+-------------+
1 row in set (0.03 sec)

注意执行计划中的partitions的内容，只查询了p7，p8，p9，p10三个分区，由此来看，使用to_days函数确实可以实现分区裁剪。

基于RANGE COLUMNS的分区方案

RANGE COLUMNS可以直接基于列，而无需像上述RANGE那种，分区的对象只能为整数。

创表语句如下：

CREATE TABLE range_columns ( 
    id INT,
    hiredate DATETIME
)
PARTITION BY RANGE COLUMNS(hiredate) (
    PARTITION p1 VALUES LESS THAN ( &＃39;20151202&＃39; ),
    PARTITION p2 VALUES LESS THAN ( &＃39;20151203&＃39; ),
    PARTITION p3 VALUES LESS THAN ( &＃39;20151204&＃39; ),
    PARTITION p4 VALUES LESS THAN ( &＃39;20151205&＃39; ),
    PARTITION p5 VALUES LESS THAN ( &＃39;20151206&＃39; ),
    PARTITION p6 VALUES LESS THAN ( &＃39;20151207&＃39; ),
    PARTITION p7 VALUES LESS THAN ( &＃39;20151208&＃39; ),
    PARTITION p8 VALUES LESS THAN ( &＃39;20151209&＃39; ),
    PARTITION p9 VALUES LESS THAN ( &＃39;20151210&＃39; ),
    PARTITION p10 VALUES LESS THAN (&＃39;20151211&＃39; )
);

插入数据并查看上述查询的执行计划

mysql> insert into range_columns select * from test;                                                                    
Query OK, 1000000 rows affected (9.20 sec)
Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from range_columns where hiredate >= &＃39;20151207124503&＃39; and hiredate<=&＃39;20151210111230&＃39;; 
+----+-------------+---------------+--------------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table         | partitions   | type | possible_keys | key  | key_len | ref  | rows   | Extra       |
+----+-------------+---------------+--------------+------+---------------+------+---------+------+--------+-------------+
|  1 | SIMPLE      | range_columns | p7,p8,p9,p10 | ALL  | NULL          | NULL | NULL    | NULL | 400210 | Using where |
+----+-------------+---------------+--------------+------+---------------+------+---------+------+--------+-------------+
1 row in set (0.11 sec)

同样，使用该分区方案也实现了分区剪裁。

基于HASH的分区方案

因HASH分区对象同样只能为整数，所以我们无法像上述RANGE COLUMNS那种直接引用列，在这里，同样用了TO_DAYS函数进行转换。

创表语句如下：

CREATE TABLE hash_datetime (
   id INT,
   hiredate DATETIME
)
PARTITION BY HASH( TO_DAYS(hiredate) )
PARTITIONS 10;

插入数据并查看上述查询的执行计划

mysql> insert into hash_datetime select * from test;
Query OK, 1000000 rows affected (9.43 sec)
Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from hash_datetime where hiredate >= &＃39;20151207124503&＃39; and hiredate<=&＃39;20151210111230&＃39;;
+----+-------------+---------------+-------------------------------+------+---------------+------+---------+------+---------+-------------+
| id | select_type | table         | partitions                    | type | possible_keys | key  | key_len | ref  | rows    | Extra       |
+----+-------------+---------------+-------------------------------+------+---------------+------+---------+------+---------+-------------+
|  1 | SIMPLE      | hash_datetime | p0,p1,p2,p3,p4,p5,p6,p7,p8,p9 | ALL  | NULL          | NULL | NULL    | NULL | 1000500 | Using where |
+----+-------------+---------------+-------------------------------+------+---------------+------+---------+------+---------+-------------+
1 row in set (0.00 sec)

不难看出，使用hash分区并不能有效的实现分区裁剪，至少在本例，基于天的需求中如此。

以上三种方案都是基于datetime的，那么，对于timestamp类型，又该如何选择呢？

事实上，MySQL提供了一种基于UNIX_TIMESTAMP函数的RANGE分区方案，而且，只能使用UNIX_TIMESTAMP函数，如果使用其它函数，譬如to_days，会报如下错误：“ERROR 1486 (HY000): Constant, random or timezone-dependent expressions in (sub)partitioning function are not allowed”。

而且官方文档中也提到“Any other expressions involving TIMESTAMP values are not permitted. (See Bug #42849.)”。

下面来测试一下基于UNIX_TIMESTAMP函数的RANGE分区方案，看其能否实现分区裁剪。

针对TIMESTAMP的分区方案

创表语句如下：

CREATE TABLE range_timestamp (
    id INT,
    hiredate TIMESTAMP
)
PARTITION BY RANGE ( UNIX_TIMESTAMP(hiredate) ) (
    PARTITION p1 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-02 00:00:00&＃39;) ),
    PARTITION p2 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-03 00:00:00&＃39;) ),
    PARTITION p3 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-04 00:00:00&＃39;) ),
    PARTITION p4 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-05 00:00:00&＃39;) ),
    PARTITION p5 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-06 00:00:00&＃39;) ),
    PARTITION p6 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-07 00:00:00&＃39;) ),
    PARTITION p7 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-08 00:00:00&＃39;) ),
    PARTITION p8 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-09 00:00:00&＃39;) ),
    PARTITION p9 VALUES LESS THAN ( UNIX_TIMESTAMP(&＃39;2015-12-10 00:00:00&＃39;) ),
    PARTITION p10 VALUES LESS THAN (UNIX_TIMESTAMP(&＃39;2015-12-11 00:00:00&＃39;) )
);

插入数据并查看上述查询的执行计划

mysql> insert into range_timestamp select * from test;
Query OK, 1000000 rows affected (13.25 sec)
Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from range_timestamp where hiredate >= &＃39;20151207124503&＃39; and hiredate<=&＃39;20151210111230&＃39;;
+----+-------------+-----------------+--------------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table           | partitions   | type | possible_keys | key  | key_len | ref  | rows   | Extra       |
+----+-------------+-----------------+--------------+------+---------------+------+---------+------+--------+-------------+
|  1 | SIMPLE      | range_timestamp | p7,p8,p9,p10 | ALL  | NULL          | NULL | NULL    | NULL | 400448 | Using where |
+----+-------------+-----------------+--------------+------+---------------+------+---------+------+--------+-------------+
1 row in set (0.00 sec)

同样也能实现分区裁剪。

总结：

1. 经过对比，个人倾向于第二种方案，即基于RANGE COLUMNS的分区实现。

2. 在5.7版本之前，对于DATA和DATETIME类型的列，如果要实现分区裁剪，只能使用YEAR() 和TO_DAYS()函数，在5.7版本中，又新增了TO_SECONDS()函数。

3. 其实LIST也能实现基于天的分区方案，但在这个需求上，相比于RANGE，还是显得很鸡肋。

4. TIMESTAMP类型的列，只能基于UNIX_TIMESTAMP函数进行分区，切记！

mysql

推荐阅读

php
如何限制php数据库链接数和连接超时时间？

本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目，以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数，以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]

蜡笔小新 2023-12-14 14:06:10
php
Redis数据结构之string应用场景解析

本文介绍了Redis的基础数据结构string的应用场景，并以面试的形式进行问答讲解，帮助读者更好地理解和应用Redis。同时，描述了一位面试者的心理状态和面试官的行为。 ... [详细]

蜡笔小新 2023-12-14 14:02:42
php
PHP中的MySQL函数库及其常用函数介绍

本文由编程笔记小编整理，介绍了PHP中的MySQL函数库及其常用函数，包括mysql_connect、mysql_error、mysql_select_db、mysql_query、mysql_affected_row、mysql_close等。希望对读者有一定的参考价值。 ... [详细]

蜡笔小新 2023-12-14 08:19:53
java
Spring特性实现接口多类的动态调用详解

本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍，以及getBeansOfType方法的应用，解决了在实际工作中遇到的接口及多个实现类的问题。同时，文章还提到了SPI使用的不便之处，并介绍了借助ApplicationContext实现需求的方法。阅读本文，你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]

蜡笔小新 2023-12-14 03:24:19
java
数据库知识集合

数据库（外键及其约束理解）（https:www.cnblogs.comchenxiaoheip6909318.html）My ... [详细]

蜡笔小新 2023-12-13 19:24:01
java
高校天文共享平台开发过程中的思考与规划

本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面，并总结了项目存在的问题，如前后端未分离、代码混乱等。作者表示希望通过记录和规划，能够理清思路，进一步完善该平台。 ... [详细]

蜡笔小新 2023-12-13 18:08:58
pdo
解决Mac上无法使用localhost连接mysql的问题

本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题，并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别，指出了使用socket方式连接导致连接失败的原因。此外，还提供了相关链接供读者深入了解。 ... [详细]

蜡笔小新 2023-12-13 17:48:58
pdo
yum安装_Redis —yum安装全过程

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Redis—yum安装全过程相关的知识，希望对你有一定的参考价值。访问https://redi ... [详细]

蜡笔小新 2023-12-13 17:27:43
php
解决VS写C#项目导入MySQL数据源报错“You have a usable connection already”问题的正确方法

本文介绍了在VS写C#项目导入MySQL数据源时出现报错“You have a usable connection already”的问题，并给出了正确的解决方法。详细描述了问题的出现情况和报错信息，并提供了解决该问题的步骤和注意事项。 ... [详细]

蜡笔小新 2023-12-13 16:31:57
php
phpBB安装环境配置及如何搭建php环境

本文介绍了关于apache、phpmyadmin、mysql、php、emacs、path等知识点，以及如何搭建php环境。文章提供了详细的安装步骤和所需软件列表，希望能帮助读者解决与LAMP相关的技术问题。 ... [详细]

蜡笔小新 2023-12-13 13:33:01
php
如何查看mysql的安装路径

本文介绍了通过mysql命令查看mysql的安装路径的方法，提供了相应的sql语句，并希望对读者有参考价值。 ... [详细]

蜡笔小新 2023-12-13 13:23:09
php
MySQL表分区的创建、增加和删除方法详解

本文详细介绍了MySQL表分区的创建、增加和删除方法，包括查看分区数据量和全库数据量的方法。欢迎大家阅读并给予点评。 ... [详细]

蜡笔小新 2023-12-13 12:26:11
java
C#制作Java+Mysql+Tomcat环境安装程序，一键式安装教程

本文介绍了如何使用C#制作Java+Mysql+Tomcat环境安装程序，实现一键式安装。通过将JDK、Mysql、Tomcat三者制作成一个安装包，解决了客户在安装软件时的复杂配置和繁琐问题，便于管理软件版本和系统集成。具体步骤包括配置JDK环境变量和安装Mysql服务，其中使用了MySQL Server 5.5社区版和my.ini文件。安装方法为通过命令行将目录转到mysql的bin目录下，执行mysqld --install MySQL5命令。 ... [详细]

蜡笔小新 2023-12-12 19:29:55
router
mysql-cluster集群sql节点高可用keepalived的故障处理过程

本文描述了mysql-cluster集群sql节点高可用keepalived的故障处理过程，包括故障发生时间、故障描述、故障分析等内容。根据keepalived的日志分析，发现bogus VRRP packet received on eth0 !!!等错误信息，进而导致vip地址失效，使得mysql-cluster的api无法访问。针对这个问题，本文提供了相应的解决方案。 ... [详细]

蜡笔小新 2023-12-12 19:20:50
php
众筹商城与传统商城的区别及php众筹网站的程序源码

本文介绍了众筹商城与传统商城的区别，包括所售产品和玩法不同以及运营方式不同。同时还提到了php众筹网站的程序源码和方维众筹的安装和环境问题。 ... [详细]

蜡笔小新 2023-12-12 19:00:31

善良历史代言人_749

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章