热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

【原创】InnoDB和TokuDB的读写分析与比较

我们知道,在MySQL单机版本里面最流行的也是唯一支持全事务的引擎为INNODB。其特点是数据本身是用B-TREE来组织,数据本身即是庞大的根据主键聚簇的B-TREE索引。

我们知道,在MySQL单机版本里面最流行的也是唯一支持全事务的引擎为INNODB。其特点是数据本身是用B-TREE来组织,数据本身即是庞大的根据主键聚簇的B-TREE索引。

我们知道,在MySQL单机版本里面最流行的也是唯一支持全事务的引擎为INNODB。 其特点是数据本身是用B-TREE来组织,数据本身即是庞大的根据主键聚簇的B-TREE索引。 所以在这点上,写入速度就会有些降低,因为要每次写入要用一次IO来做索引树的重排。 特别是当数据量本身比内存大很多的情况下,CPU本身被磁盘IO纠缠的做不了其他事情了。 这时我们要考虑如何减少对磁盘的IO来排解CPU的处境,那么如何做呢? (当然,如果数据足够放到内存里面,这些事情大可不必考虑。)

1. 可以把INNODB 个PAGE增大?(默认16KB)但是增大也就带来了一些缺陷。 比如,对磁盘进行CHECKPOINT的时间将延后。

2. 把日志文件放到更快速的磁盘上?比如SSD?


其实这时,我们可以考虑用另外一个知名的引擎TokuDB。 谁叫MySQL 天生支持随意可插拔呢!

TokuDB 其实本身数据存储用到了B-TREE的变形版本Fractal-Tree。 Fractal-Tree 也就是在B-Tree原来的非叶子节点增加了一个缓存,无论对这个树怎么操作,都是一个模式:即父亲节点的缓存满了,,就流淌到儿子节点,然后儿子节点的缓存满了后,再次流淌到孙子节点等等一系列最后到了叶子节点,然后等到叶子节点的PAGE足够大的时候,进行CHECK POINT。当然不管如何做缓存,每次事务后,还是得首先刷新到REDO 日志,要不数据一致性就很难保证了。


接下来,这里测试下同样的环境InnoDB和TokuDB的性能差异。当然,我没有做压力测试,只是简单的手动执行了几次SQL而已。

(5.6.10-enterprise-commercial-advanced-log MySQL Enterprise Server - Advanced Edition (Commercial))

用来导入的文件大概为35M。


1. INNODB. 对应的参数: innodb_buffer_pool_size=32M bulk_insert_buffer_size=20M query_cache_size = 0 导入性能:(InnoDB在这里慢在CPU一直忙于IO置换。) mysql> load data infile '/tmp/t3_push.csv' into table t3_push; Query OK, 955527 rows affected (30 min 44.03 sec) Records: 955527 Deleted: 0 Skipped: 0 Warnings: 0 读性能:(读的性能还是很好的,这里用到5.6的ICP以及MRR特性。) mysql> select count(*) from t3_push where rank1 <20 and rank2 <30; +----------+ | count(*) | +----------+ | 49 | +----------+ 1 row in set (0.06 sec) 调大 innodb_buffer_pool=128M mysql> load data infile '/tmp/t3_push.csv' into table t3_push; Query OK, 955527 rows affected (38.72 sec) Records: 955527 Deleted: 0 Skipped: 0 Warnings: 0 调大后,其实导入性能还是不错的。


2. TokuDB. (5.5.30-tokudb-7.1.0-e-log TokuDB Enterprise Server (GPL) ) 对应的参数: tokudb_cache_size=32M tokudb_loader_memory_size=20M query_cache_size = 0 写性能:(这里IO次数很少,所以导入速度很快。) mysql> load data infile '/tmp/t3_push.csv' into table t3_push; Query OK, 955527 rows affected (19.73 sec) Records: 955527 Deleted: 0 Skipped: 0 Warnings: 0 读性能:(读的速度比INNODB稍微慢了些。) mysql> select count(*) from t3_push where rank1 <20 and rank2 <30; +----------+ | count(*) | +----------+ | 49 | +----------+ 1 row in set (0.54 sec) mysql> select count(*) from t3_push where rank1 <200 and rank2 <300; +----------+ | count(*) | +----------+ | 5759 | +----------+ 1 row in set (4.13 sec) 但是TokuDB可以给二级索引变聚簇,所以这点上如果只读的话,还是会比InnoDB快。 给列rank2 加聚簇索引, mysql> alter table t3_push add clustering index idx_rank2(rank2); Query OK, 0 rows affected (6.79 sec) Records: 0 Duplicates: 0 Warnings: 0 现在所有的基于索引idx_rank2 的查询都是瞬间的。 mysql> select count(*) from t3_push where rank1 <20 and rank2 <30; +----------+ | count(*) | +----------+ | 49 | +----------+ 1 row in set (0.00 sec) mysql> select count(*) from t3_push where rank1 <200 and rank2 <300; +----------+ | count(*) | +----------+ | 5759 | +----------+ 1 row in set (0.01 sec)


本文出自 “上帝,咱们不见不散!” 博客,请务必保留此出处

推荐阅读
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 本文介绍了如何在MySQL中将零值替换为先前的非零值的方法,包括使用内联查询和更新查询。同时还提供了选择正确值的方法。 ... [详细]
  • 在数据分析工作中,我们通常会遇到这样的问题,一个业务部门由若干业务组构成,需要筛选出每个业务组里业绩前N名的业务员。这其实是一个分组排序的 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • Oracle Database 10g许可授予信息及高级功能详解
    本文介绍了Oracle Database 10g许可授予信息及其中的高级功能,包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明,指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识,包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说,本文提供了一些有价值的参考内容。 ... [详细]
  • 本文由编程笔记小编整理,介绍了PHP中的MySQL函数库及其常用函数,包括mysql_connect、mysql_error、mysql_select_db、mysql_query、mysql_affected_row、mysql_close等。希望对读者有一定的参考价值。 ... [详细]
  • Spring特性实现接口多类的动态调用详解
    本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍,以及getBeansOfType方法的应用,解决了在实际工作中遇到的接口及多个实现类的问题。同时,文章还提到了SPI使用的不便之处,并介绍了借助ApplicationContext实现需求的方法。阅读本文,你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • 本文介绍了使用postman进行接口测试的方法,以测试用户管理模块为例。首先需要下载并安装postman,然后创建基本的请求并填写用户名密码进行登录测试。接下来可以进行用户查询和新增的测试。在新增时,可以进行异常测试,包括用户名超长和输入特殊字符的情况。通过测试发现后台没有对参数长度和特殊字符进行检查和过滤。 ... [详细]
  • 使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]
  • 本文介绍了Oracle数据库中tnsnames.ora文件的作用和配置方法。tnsnames.ora文件在数据库启动过程中会被读取,用于解析LOCAL_LISTENER,并且与侦听无关。文章还提供了配置LOCAL_LISTENER和1522端口的示例,并展示了listener.ora文件的内容。 ... [详细]
  • Java String与StringBuffer的区别及其应用场景
    本文主要介绍了Java中String和StringBuffer的区别,String是不可变的,而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象,内存使用上要优于String类。因此,在需要频繁对字符串进行修改的情况下,使用StringBuffer更加适合。同时,文章还介绍了String和StringBuffer的应用场景。 ... [详细]
  • Oracle分析函数first_value()和last_value()的用法及原理
    本文介绍了Oracle分析函数first_value()和last_value()的用法和原理,以及在查询销售记录日期和部门中的应用。通过示例和解释,详细说明了first_value()和last_value()的功能和不同之处。同时,对于last_value()的结果出现不一样的情况进行了解释,并提供了理解last_value()默认统计范围的方法。该文对于使用Oracle分析函数的开发人员和数据库管理员具有参考价值。 ... [详细]
author-avatar
多盟乄丶
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有