超详细的MySQL工作原理体系结构

超详细的MySQL工作原理 体系结构

妖精的杂七杂八 2020-08-13 13:54:12

了解MySQL&＃xff08;超详细的MySQL工作原理 体系结构&＃xff09;

• 1.MySQL体系结构
• 2.MySQL内存结构
• 3.MySQL文件结构
• 4.innodb体系结构一、了解MySQL前你需要知道的引擎是什么:MySQL中的数据用各种不同的技术存储在文件(或者内存)中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术&＃xff0c;你能够获得额外的速度或者功能&＃xff0c;从而改善你的应用的整体功能。当我们理解了引擎这个概念&＃xff0c;自然而然就知道引擎层的作用就提供各种不同引擎给你选择&＃xff0c;然后用你选出来的引擎去处理sql语句二、MySQL体系结构MySQL 最重要、最与众不同的特性是它的存储引擎架构&＃xff0c;这种架构的设计将查询处理 &＃xff08;Query Processing&＃xff09;及其他系统任务&＃xff08;Server Task&＃xff09;和数据的存储/提取相分离。这种 处理和存储分离的设计可以在使用时根据性能、特性&＃xff0c;以及其他需求来选择数据存储 的方式。

由图&＃xff0c;可以看出MySQL最上层是连接组件。下面服务器是由连接池、管理工具和服务、SQL接口、解析器、优化器、缓存、存储引擎、文件系统组成。

• 用户&＃xff1a;进行数据库连接的人。
• 支持接口&＃xff1a;是第三方语言提供和数据库连接的接口&＃xff0c;常见的有jdbc,odbc,c的标准api函数等等。
• 管理工具和服务&＃xff1a;系统管理和控制工具&＃xff0c;例如备份恢复、Mysql复制、集群等&＃xff08;见图&＃xff09;
• 连接层&＃xff1a;提供与用户的连接服务&＃xff0c;用于验证登录服务。

—> 连接池&＃xff1a;由于每次建立建立需要消耗很多时间&＃xff0c;连接池的作用就是将这些连接缓存下来&＃xff0c;下次可以直接用已经建立好的连接&＃xff0c;提升服务器性能。

• 服务层&＃xff1a;完成大多数的核心服务功能。有sql接口&＃xff0c;解析器parser,优化器optimizer,查询缓存 cache/buffer 。

​ —>SQL接口&＃xff1a;接受用户的SQL命令&＃xff0c;并且返回用户需要查询的结果。比如select * from就是调用SQL Interface

​ —>解析器: SQL命令传递到解析器的时候会被解析器验证和解析。解析器是由Lex和YACC实现的&＃xff0c;是一个很长的脚本。其功能是&＃xff1a;

a.将SQL语句分解成数据结构&＃xff0c;并将这个结构传递到后续步骤&＃xff0c;以后SQL语句的传递和处理就是基于这个结构的。

​ b.如果在分解构成中遇到错误&＃xff0c;那么就说明这个sql语句是不合理的。

​ —>优化器&＃xff1a;查询优化器&＃xff0c;SQL语句在查询之前会使用查询优化器对查询进行优化。他使用的是“选取-投影-联接”策略进行查询。举一个例子&＃xff1a;

select * from users where uname&＃61;&＃39;admin&＃39;;

1.这个select查询先根据where语句进行选取&＃xff0c;而不是先将表全部查询出来以后再进行uname过滤。&＃xff08;选取&＃xff09;

​ 2.这个select查询先根据*进行属性投影&＃xff0c;而不是将属性全部取出以后再进行过滤。&＃xff08;投影&＃xff09;

​ 3.将这两个查询条件联接起来生成最终查询结果。(联接)

​ —>缓存器&＃xff1a; 查询缓存&＃xff0c;如果查询缓存有命中的查询结果&＃xff0c;查询语句就可以直接去查询缓存中取数据。通过LRU算法将数据的冷端溢出&＃xff0c;未来得及时刷新到磁盘的数据页&＃xff0c;叫脏页。这个缓存机制是由一系列小缓存组成的。比如表缓存&＃xff0c;记录缓存&＃xff0c;key缓存&＃xff0c;权限缓存等

​ 简而言之&＃xff0c; 服务层执行过程&＃xff1a;sql语句通过sql接口&＃xff0c;服务器如果缓存cache有命中查询结果&＃xff0c;直接读取数据。如果没有命中查询结果&＃xff0c;由解析器进行sql语句的解析&＃xff0c;预处理&＃xff0c;经过优化器进行优化后提交给引擎层。通俗地说—>服务层告诉引擎层要做什么。

• 引擎层: 提供各种存储引擎&＃xff0c;真正的负责MySQL中数据的存储和提取。常见有innodb myisam 。innodb支持全文索引&＃xff0c;事务&＃xff08;高并发&＃xff09;&＃xff0c;行锁&＃xff0c;myisam 性能优先。 mysql中查询引擎语句:show engines.通俗地说—>引擎层会转发服务层解析出来的sql语句告诉存储层要做什么(增删改查)并且告诉存储层要以何种方式做(innodb myisam等等)。
• 存储层&＃xff1a; 数据存储层&＃xff0c;主要是将数据存储在运行于裸设备的文件系统之上&＃xff0c;并完成与存储引擎的交互。SQL的执行流程&＃xff1a;数据库通常不会被单独使用&＃xff0c;而是由其它编程语言通过SQL支持接口调用MySQL。由MySQL处理并返回执行结果。首先&＃xff0c;其它编程语言通过SQL支持接口调用MySQL&＃xff0c;MySQL收到请求后&＃xff0c;会将该请求暂时放在连接池&＃xff0c;并由管理服务与工具进行管理。当该请求从等待队列进入到处理队列时&＃xff0c;管理器会将该请求传给SQL接口&＃xff0c;SQL接口接收到请求后&＃xff0c;它会将请求进行hash处理并与缓存中的数据进行对比&＃xff0c;如果匹配则通过缓存直接返回处理结果&＃xff1b;否则&＃xff0c;去文件系统查询&＃xff1a;由SQL接口传给后面的解析器&＃xff0c;解析器会判断SQL语句是否正确&＃xff0c;若正确则将其转化为数据结构。解析器处理完毕后&＃xff0c;便将处理后的请求传给优化器控制器&＃xff0c;它会产生多种执行计划&＃xff0c;最终数据库会选择最优的方案去执行。确定最优执行计划后&＃xff0c;SQL语句交由存储引擎处理&＃xff0c;存储引擎将会到文件系统中取得相应的数据&＃xff0c;并原路返回。在我们专业老师的pdf资料里面每一层也讲得很细 见下

创建新表时如果不指定存储引擎&＃xff0c;那么系统就会使用默认存储引擎&＃xff0c;MySQL5.5 之前的 默认存储引擎是 MyISAM&＃xff0c;5.5 之后改为了 InnoDB。 MySQL 中同一个数据库&＃xff0c;不同的表格可以选择不同的存储引擎。

• MyISAM 不支持事务、也不支持外键&＃xff0c;其优势是访问的速度快&＃xff0c;对事务完整性 没有要求或者以 SELECT、INSERT 为主的应用。每个 MyISAM 在磁盘上存储成 三个文件。第一个文件的名字以表的名字开始&＃xff0c;扩展名指出文件类型。.frm 文件存储表定义。数据文件的扩展名为.MYD (MYData)。索引文件的扩展名是.MYI (MYIndex)
• InnoDB 存储引擎提供了具有提交、回滚和崩溃恢复能力的事务安全。但是对比 MyISAM 的存储引擎&＃xff0c;InnoDB 写的处理效率差一些&＃xff0c;并且会占用更多的磁盘空 间以保存数据和索引。InnoDB&＃xff1a;所有的表都保存在同一个数据文件中&＃xff0c;InnoDB 表的大小只受限于操作系统文件的大小限制。Myisam 只缓存索引&＃xff0c;不缓存真实数据&＃xff1b;Innodb 不仅缓存索引还要缓存真实数据&＃xff0c;对内存要求较高&＃xff0c;而且内存大小对性能有决定性的影响。
• MEMORY 存储引擎使用存在于内存中的内容来创建表。MEMORY 类型的表访问非常的快&＃xff0c;因为它的数据是放在内存中的&＃xff0c;并且默认使用 HASH 索引&＃xff0c;但是 一旦服务关闭&＃xff0c;表中的数据就会丢失。主要用于那些内容变化不频繁的代码表或者作为统计操作的中间结果表。三、MySQL内存结构MySQL中内存大致分为&＃xff1a;全局内存&＃xff08;Global buffer&＃xff09;、线程内存&＃xff08;Thread buffer&＃xff09; 两大部分。

全局内存&＃xff1a;缓冲池里面有数据缓存、索引缓存、锁信息、插入缓存等等。此外还有重做日志缓存、额外的内存池。线程内存&＃xff1a;Master Thread、IO Thread、Purage Thread、Page Cleaner Thread。

CheckPoint技术&＃xff1a;缓冲池的设计目的为了协调CPU速度与磁盘速度的鸿沟。因此跟新或者删除的时候直接操作的是内存的数据&＃xff0c;先写入重做日志&＃xff0c;然后再修改内存池里面的数据&＃xff0c;最后定时刷新到磁盘上。

四、MySQL文件结构

1. 参数文件&＃xff1a;启动MySQL实例的时候&＃xff0c;指定一些初始化参数&＃xff0c;比如&＃xff1a;缓冲池大小、数据库文件路径、用户名密码等。my.cnf读取优先级是从左自右的顺序,但是当默认读取路径都有配置文件时,最后读取的参数的值&＃xff0c;会覆盖前面读取的参数的值。/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf~/.my.cnf
2. 日志文件&＃xff1a;比如&＃xff1a;错误日志、二进制日志、慢查询日志、查询日志等等。例如&＃xff1a;通过show variables like "error_log"来查看错误日志存放内容。
3. socket文件&＃xff1a;当用UNIX域套接字方式进行连接的时候需要的文件。
4. pid文件&＃xff1a;MySQL实例的进程ID文件。
5. 表结构文件&＃xff1a;用来存放MySQL表结构定义文件。.frm后缀命名的文件都是表结构文件&＃xff0c;和存储引擎类型无关。所有的表都会生成一个.frm文件&＃xff1b;
6. 存储引擎文件&＃xff1a;存储引擎正在存储了记录和索引等数据。

表空间可以在逻辑上管理多个数据文件&＃xff0c;而这些数据文件又可以分布在不同磁盘中这就使得一个表的数据、索引等信息可以被记录在多个磁盘中。

&＃xff08;1&＃xff09;共享表空间&＃xff1a;共享表空间文件以.ibdata*来命名&＃xff1b; 共享表空间下&＃xff0c;innodb所有数据保存在一个单独的表空间里面&＃xff0c;而这个表空间可以由很多个文件组成&＃xff0c;一个表可以跨多个文件存在&＃xff0c;所以其大小限制不再是文件大小的限制&＃xff0c;而是其自身的限制。从Innodb的官方文档中可以看到&＃xff0c;其表空间的最大限制为64TB&＃xff0c;也就是说&＃xff0c;Innodb的单表限制基本上也在64TB左右了&＃xff0c;当然这个大小是包括这个表的所有索引等其他相关数据。共享表空间主要存放double write、undo log&＃xff08;undo log没有独立的表空间&＃xff0c;需要存放在共享表空间&＃xff09;

&＃xff08;2&＃xff09;独立表空间&＃xff1a;每个表拥有自己独立的表空间用来存储数据和索引。

&＃xff08;3&＃xff09;查看数据库是否启用独立表空间&＃xff1a;show variables like ‘innodb_file_per_table’;查看&＃xff0c;innodb_file_per_table&＃61;ON,表示启用了独立表空间&＃xff1b;

&＃xff08;4&＃xff09;使用独立表空间的优点&＃xff1a;a.如果使用软链接将大表分配到不同的分区上&＃xff0c;易于管理数据文件b.易于监控解决IO资源使用的问题&＃xff1b;c.易于修复和恢复损坏的数据&＃xff1b;d.相互独立的&＃xff0c;不会影响其他innodb表&＃xff1b;e.导出导入只针对单个表&＃xff0c;而不是整个共享表空间&＃xff1b;f.解决单个文件大小的限制&＃xff1b;g.对于大量的delete操作&＃xff0c;更易于回收磁盘空间&＃xff1b;h.碎片较少&＃xff0c;易于整理optimize table&＃xff1b;i.易于安全审计&＃xff1b;j.易于备份如果在innodb表已创建后设置innodb_file_per_table&＃xff0c;那么数据将不会迁移到单独的表空间上&＃xff0c;而是续集使用之前的共享表空间。只有新创建的表才会分离到自己的表空间文件。

&＃xff08;5&＃xff09;共享表空间的数据文件配置&＃xff1a;innodb_data_file_path参数&＃xff1a;设置innoDB共享表空间数据文件的名字和大小&＃xff0c;例如innodb_data_file_path&＃61;ibdata1:12M:autoextend&＃xff08;初始大小12M&＃xff0c;不足自增&＃xff09;innodb_data_home_dir参数&＃xff1a;innodb引擎的共享表空间数据文件的存放目录目前主要是使用独立表空间&＃xff0c;但是共享表空间也是需要的&＃xff0c;共享表空间主要存放double write、undo log等。

五、InnoDB表存储结构

表空间∶表空间可看做是InnoDB存储引擎逻辑结构的最高层。

段 &＃xff1a;表空间由各个段组成&＃xff0c;常见的段有数据段、索引段、回滚段等。

区 &＃xff1a;由64个连续的页组成&＃xff0c;每个页大小为16kb&＃xff0c;即每个区大小为1MB。页:每页16kb&＃xff0c;且不能更改。常见的页类型有∶数据页、Undo页、系统页、事务数据页、插入缓冲位图页、插入缓冲空闲列表页、未压缩的二进制大对象页、压缩的二进制大对象页。

行 &＃xff1a;InnoDB存储引擎是面向行的(row-oriented)&＃xff0c;每页最多允许存放7992行数据。

a.每页&＃61;16Kb&＃xff08;页类型&＃xff1a;数据页、undo页、系统页、事务数据页、插入缓冲位图页、插入缓冲空闲列表页、未压缩的二进制大对象页、压缩的二进制大对象页&＃xff09;

b.区&＃61;64个连续的页&＃61;64*16Kb&＃61;1MB

作者&＃xff1a;#YF#

来源&＃xff1a;http://22j.co/cPZR