热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

个人经验总结:MySQL数据库优化技巧集锦_MySQL

个人经验总结:MySQL数据库优化技巧集锦
bitsCN.com

一、我们可以且应该优化什么?


硬件


操作系统/软件库


SQL服务器(设置和查询)


应用编程接口(API)


应用程序


二、优化硬件


如果你需要庞大的数据库表(>2G),你应该考虑使用64位的硬件结构,像Alpha、Sparc或即将推出的IA64。因为MySQL内部使用大量64位的整数,64位的CPU将提供更好的性能。


对大数据库,优化的次序一般是RAM、快速硬盘、CPU能力。


更多的内存通过将最常用的键码页面存放在内存中可以加速键码的更新。


如果不使用事务安全(transaction-safe)的表或有大表并且想避免长文件检查,一台UPS就能够在电源故障时让系统安全关闭。


对于数据库存放在一个专用服务器的系统,应该考虑1G的以太网。延迟与吞吐量同样重要。


三、优化磁盘


为系统、程序和临时文件配备一个专用磁盘,如果确是进行很多修改工作,将更新日志和事务日志放在专用磁盘上。

低寻道时间对数据库磁盘非常重要。对与大表,你可以估计你将需要log(行数)/log(索引块长度/3*2/(键码长度 + 数据指针长度))+1次寻到才能找到一行。对于有500000行的表,索引Mediun int类型的列,需要log(500000) / log(1024/3*2/(3 + 2))+1=4次寻道。上述索引需要500000*7*3/2=5.2M的空间。实际上,大多数块将被缓存,所以大概只需要1-2次寻道。

然而对于写入(如上),你将需要4次寻道请求来找到在哪里存放新键码,而且一般要2次寻道来更新索引并写入一行。

对于非常大的数据库,你的应用将受到磁盘寻道速度的限制,随着数据量的增加呈N log N数据级递增。

将数据库和表分在不同的磁盘上。在MySQL中,你可以为此而使用符号链接。

条列磁盘(RAID 0)将提高读和写的吞吐量。

带镜像的条列(RAID 0+1)将更安全并提高读取的吞吐量。写入的吞吐量将有所降低。

不要对临时文件或可以很容易地重建的数据所在的磁盘使用镜像或RAID(除了RAID 0)。

在Linux上,在引导时对磁盘使用命令hdparm -m16 -d1以启用同时读写多个扇区和DMA功能。这可以将响应时间提高5~50%。

在Linux上,用async (默认)和noatime挂载磁盘(mount)。

对于某些特定应用,可以对某些特定表使用内存磁盘,但通常不需要。

四、优化操作系统


不要交换区。如果内存不足,增加更多的内存或配置你的系统使用较少内存。

不要使用NFS磁盘(会有NFS锁定的问题)。

增加系统和MySQL服务器的打开文件数量。(在safe_mysqld脚本中加入ulimit -n #)。

增加系统的进程和线程数量。

如果你有相对较少的大表,告诉文件系统不要将文件打碎在不同的磁道上(Solaris)。

使用支持大文件的文件系统(Solaris)。

选择使用哪种文件系统。在Linux上的Reiserfs对于打开、读写都非常快。文件检查只需几秒种。

五、选择应用编程接口


PERL

可在不同的操作系统和数据库之间移植。

适宜快速原型。

应该使用DBI/DBD接口。

PHP

比PERL易学。

使用比PERL少的资源。

通过升级到PHP4可以获得更快的速度。

C

MySQL的原生接口。

较快并赋予更多的控制。

低层,所以必须付出更多。

C++

较高层次,给你更多的时间来编写应用。

仍在开发中

ODBC

运行在Windows和Unix上。

几乎可在不同的SQL服务器间移植。

较慢。MyODBC只是简单的直通驱动程序,比用原生接口慢19%。

有很多方法做同样的事。很难像很多ODBC驱动程序那样运行,在不同的领域还有不同的错误。

问题成堆。Microsoft偶尔还会改变接口。

不明朗的未来。(Microsoft更推崇OLE而非ODBC)

ODBC

运行在Windows和Unix上。

几乎可在不同的SQL服务器间移植。

较慢。MyODBC只是简单的直通驱动程序,比用原生接口慢19%。

有很多方法做同样的事。很难像很多ODBC驱动程序那样运行,在不同的领域还有不同的错误。

问题成堆。Microsoft偶尔还会改变接口。

不明朗的未来。(Microsoft更推崇OLE而非ODBC)

JDBC

理论上可在不同的操作系统何时据库间移植。

可以运行在web客户端。

Python和其他

可能不错,可我们不用它们。

六、优化应用


应该集中精力解决问题。

在编写应用时,应该决定什么是最重要的:

速度

操作系统间的可移植性

SQL服务器间的可移植性

使用持续的连接。.

缓存应用中的数据以减少SQL服务器的负载。

不要查询应用中不需要的列。

不要使用SELECT * FROM table_name...

测试应用的所有部分,但将大部分精力放在在可能最坏的合理的负载下的测试整体应用。通过以一种模块化的方式进行,你应该能用一个快速“哑模块”替代找到的瓶颈,然后很容易地标出下一个瓶颈。

如果在一个批处理中进行大量修改,使用LOCK TABLES。例如将多个UPDATES或DELETES集中在一起。

七、应该使用可移植的应用


Perl DBI/DBD

ODBC

JDBC

Python(或其他有普遍SQL接口的语言)

你应该只使用存在于所有目的SQL服务器中或可以很容易地用其他构造模拟的SQL构造。[url]www.mysql.com上的Crash-me页可以帮助你。[/url]

为操作系统/SQL服务器编写包装程序来提供缺少的功能。

八、如果你需要更快的速度,你应该:


找出瓶颈(CPU、磁盘、内存、SQL服务器、操作系统、API或应用)并集中全力解决。

使用给予你更快速度/灵活性的扩展。

逐渐了解SQL服务器以便能为你的问题使用可能最快的SQL构造并避免瓶颈。

优化表布局和查询。

使用复制以获得更快的选择(select)速度。

如果你有一个慢速的网络连接数据库,使用压缩客户/服务器协议。

不要害怕时应用的第一个版本不能完美地移植,在你解决问题时,你总是可以在以后优化它。


九、优化MySQL


挑选编译器和编译选项。

位你的系统寻找最好的启动选项。

通读MySQL参考手册并阅读Paul DuBios的《MySQL》一书。(已有中文版-译注)

多用EXPLAIN SELECT、SHOW VARIABLES、SHOW STATUS和SHOW PROCESSLIST。

了解查询优化器的工作原理。

优化表的格式。

维护你的表(myisamchk、CHECK TABLE、 OPTIMIZE TABLE)

使用MySQL的扩展功能以让一切快速完成。

如果你注意到了你将在很多场合需要某些函数,编写MySQL UDF函数。

不要使用表级或列级的GRANT,除非你确实需要。

购买MySQL技术支持以帮助你解决问题:)

十、编译和安装MySQL


通过位你的系统挑选可能最好的编译器,你通常可以获得10-30%的性能提高。

在Linux/Intel平台上,用pgcc(gcc的奔腾芯片优化版)编译MySQL。然而,二进制代码将只能运行在Intel奔腾CPU上。

对于一种特定的平台,使用MySQL参考手册上推荐的优化选项。

一般地,对特定CPU的原生编译器(如Sparc的Sun Workshop)应该比gcc提供更好的性能,但不总是这样。

用你将使用的字符集编译MySQL。

静态编译生成mysqld的执行文件(用--with-mysqld-ldflags=all-static)并用strip sql/mysqld整理最终的执行文件。

注意,既然MySQL不使用C++扩展,不带扩展支持编译MySQL将赢得巨大的性能提高。

如果操作系统支持原生线程,使用原生线程(而不用mit-pthreads)。

用MySQL基准测试来测试最终的二进制代码。

十一、维护


如果可能,偶尔运行一下OPTIMIZE table,这对大量更新的变长行非常重要。

偶尔用myisamchk -a更新一下表中的键码分布统计。记住在做之前关掉MySQL。

如果有碎片文件,可能值得将所有文件复制到另一个磁盘上,清除原来的磁盘并拷回文件。

如果遇到问题,用myisamchk或CHECK table检查表。

用mysqladmin -i10 precesslist extended-status监控MySQL的状态。

用MySQL GUI客户程序,你可以在不同的窗口内监控进程列表和状态。

使用mysqladmin debug获得有关锁定和性能的信息。

十二、优化SQL


扬SQL之长,其它事情交由应用去做。使用SQL服务器来做:


找出基于WHERE子句的行。

JOIN表

GROUP BY

ORDER BY

DISTINCT

不要使用SQL来做:


检验数据(如日期)

成为一只计算器

技巧:


明智地使用键码。

键码适合搜索,但不适合索引列的插入/更新。

保持数据为数据库第三范式,但不要担心冗余信息或这如果你需要更快的速度,创建总结表。

在大表上不做GROUP BY,相反创建大表的总结表并查询它。

UPDATE table set count=count+1 where key_column=constant非常快。

对于大表,或许最好偶尔生成总结表而不是一直保持总结表。

充分利用INSERT的默认值。

十三、不同SQL服务器的速度差别(以秒计)


 


通过键码读取2000000行: NT Linux

mysql 367 249

mysql_odbc 464  

推荐阅读
  • PHP组合工具以及开发所需的工具
    本文介绍了PHP开发中常用的组合工具和开发所需的工具。对于数据分析软件,包括Excel、hihidata、SPSS、SAS、MARLAB、Eview以及各种BI与报表工具等。同时还介绍了PHP开发所需的PHP MySQL Apache集成环境,包括推荐的AppServ等版本。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的详细步骤
    本文详细介绍了搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的步骤,包括环境说明、相关软件下载的地址以及所需的插件下载地址。 ... [详细]
  • 腾讯安全平台部招聘安全工程师和数据分析工程师
    腾讯安全平台部正在招聘安全工程师和数据分析工程师。安全工程师负责安全问题和安全事件的跟踪和分析,提供安全测试技术支持;数据分析工程师负责安全产品相关系统数据统计和分析挖掘,通过用户行为数据建模为业务决策提供参考。招聘要求包括熟悉渗透测试和常见安全工具原理,精通Web漏洞,熟练使用多门编程语言等。有相关工作经验和在安全站点发表作品的候选人优先考虑。 ... [详细]
  • 本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容,主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • 本文介绍了在Hibernate配置lazy=false时无法加载数据的问题,通过采用OpenSessionInView模式和修改数据库服务器版本解决了该问题。详细描述了问题的出现和解决过程,包括运行环境和数据库的配置信息。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • Java String与StringBuffer的区别及其应用场景
    本文主要介绍了Java中String和StringBuffer的区别,String是不可变的,而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象,内存使用上要优于String类。因此,在需要频繁对字符串进行修改的情况下,使用StringBuffer更加适合。同时,文章还介绍了String和StringBuffer的应用场景。 ... [详细]
  • 本文介绍了RPC框架Thrift的安装环境变量配置与第一个实例,讲解了RPC的概念以及如何解决跨语言、c++客户端、web服务端、远程调用等需求。Thrift开发方便上手快,性能和稳定性也不错,适合初学者学习和使用。 ... [详细]
  • 高质量SQL书写的30条建议
    本文提供了30条关于优化SQL的建议,包括避免使用select *,使用具体字段,以及使用limit 1等。这些建议是基于实际开发经验总结出来的,旨在帮助读者优化SQL查询。 ... [详细]
  • 如何在服务器主机上实现文件共享的方法和工具
    本文介绍了在服务器主机上实现文件共享的方法和工具,包括Linux主机和Windows主机的文件传输方式,Web运维和FTP/SFTP客户端运维两种方式,以及使用WinSCP工具将文件上传至Linux云服务器的操作方法。此外,还介绍了在迁移过程中需要安装迁移Agent并输入目的端服务器所在华为云的AK/SK,以及主机迁移服务会收集的源端服务器信息。 ... [详细]
  • CentOS 7部署KVM虚拟化环境之一架构介绍
    本文介绍了CentOS 7部署KVM虚拟化环境的架构,详细解释了虚拟化技术的概念和原理,包括全虚拟化和半虚拟化。同时介绍了虚拟机的概念和虚拟化软件的作用。 ... [详细]
  • 本文介绍了在CentOS上安装Python2.7.2的详细步骤,包括下载、解压、编译和安装等操作。同时提供了一些注意事项,以及测试安装是否成功的方法。 ... [详细]
author-avatar
黑马@梦想
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有