热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

关于sql语句的优化

最近在做mysql的数据库优化以及对sql语句优化的指导,写了一点文档,这个大家共勉一下!数据库参数进行优化所获得的性能提升全部加起来只占数据库应用系统性能提升的40%左右,其余60%的系统性能提升全部来自对应用程序的优化。许多优化专家甚至认为对应用程序的优化可以得到80%的系统性能提升。因此可以肯定,通过优化应用程序

最近在做mysql的数据库优化以及对sql语句优化的指导,写了一点文档,这个大家共勉一下!

数据库参数进行优化所获得的性能提升全部加起来只占数据库应用系统性能提升的40%左右,其余60%的系统性能提升全部来自对应用程序的优化。许多优化专家甚至认为对应用程序的优化可以得到80%的系统性能提升。因此可以肯定,通过优化应用程序来对数据库系统进行优化能获得更大的收益。

通常可分为两个方面: SQL语句的优化和数据库性能调优。应用程序对数据库的操作最终要表现为SQL语句对数据库的操作。而数据库性能调优是结合硬件,软件,数据量等的一个综合解决方案,这个需要测试人员进行性能测试,和开发人员配合进行性能调优。

SQL语句优化

3.1关键词优化

所有关键词都大写。如:SELECT,FORM,WHERE,AND,CREATE,TABLE等等,例如:使用mysql管理工具导出sql文件,我们可以看到大部分关键词都是大写。如下图:

解释:这是因为,sql的处理底层,默认就将所有的sql语句,进行大写转换。

3.2 sql语句中不能存在*

在所有的查询sql语句中,不能存在*符号。即,SELECT *FORM 。举例我们的部门表的查询。错误写法:SELECT * FROM tdepartment 正确写法:SELECT idepartmentid,scompanycode,sdepartmentname,iparentdepartmentid,sdeptposttype,sifdeleted,sleafnode,sdesc FROM tdepartment。原因:*号会检索全部字段,

*号效率低,就相当于for循环和foreach一样。用*号,sql语句查询底层会默认去字      

典库里查询公有多少个字段,然后在一个一个的取。如果不使用*,就不是去先查字典库。

3.3 COUNT(*)使用

项目中不能使用COUNT(*)sql语句。COUNT(*)全部替换成COUNT(1)。这在数据量比较小的情况下,不明显,但是在表中数据较多的情况下,效果非常明显。

3.4多用匹配查询,少用like查询

      原因,like查询会直接放弃索引。

3.5主键索引使用

      所有表的主键全是索引。应尽量使用主键查询。如:SELECT * FROM tusers ORDER BY dregistertime DESC效率低于SELECT * FROM tusers ORDER BY iuserid DESC。这是因为所有的主键都默认是索引。而注册时间不是索引字段。 

3.6第12索引排列使用

假设我们的用户表中的scompanycode,dregistertime两个字段都创建了索引。而scompanycode是第一索引。dregistertime是第二索引。那么查询时:SELECT * FROM tusers ORDER BY scompanycode,dregistertime DESC的效率高于SELECT * FROM tusers ORDER BY dregistertime,scompanycode DESC。这是因为第一索引将首先被检索。

3.7建表不要给字段设置默认值

如:`sifaudited` varchar(2) default '0' COMMENT '0:未审核;1:已审核'。默认值会在插入数据时,增加数据库底层判断是否有值情况,进行赋默认值。

3.8字段不要留null值

这是因为null值占用的数据大小比较大。Null和空一般占48个字节。如:`scompanycode` varchar(16) default NULL COMMENT '公司编号(唯一识别)',对于这样的,我们一般把空值改为0,你们应该懂的。

3.9多用子查询

      子查询性能高于连接查询。子查询性能高于左联接、右连接、全连接查询。

3.10连接查询性能高于循环查询

对于部门查询,我们一般是查询根目录,然后循环查询子部门,一直循环到查询结束。性能较低。我们应该采用,连接查询。或者写函数,存储过程进行查询。

4.设计优化

4.1 日志模块,新增队列,当日志达到100条或者200500条的时候,我们采用批量插入n条,减少磁盘的io次数。这样可以延长磁盘的寿命,同时对数据的插入也有了明显的提高。

5.数据库引擎使用

5.1   ENGINE = innodb

    Innodb数据库引擎是对外键,事务进行过优化。我们对创建所有的表都使用innodb引擎。这是错误的,应该对每一个表的用途对应一个不同的数据库引擎。

5.2   ENGINE = MyISAM

MyISAM类型不支持事务处理等高级处理。MyISAM类型的表强调的是性能,其执行数度比InnoDB类型更快,但是不提供事务支持。MyISAM类型的二进制数据文件可以在不同操作系统中迁移。也就是可以直接从Windows系统拷贝到linux系统中使用。这个是默认类型,它是基于传统的ISAM类型,ISAMIndexed Sequential Access Method (有索引的 顺序访问方法的缩写,它是存储记录和文件的标准方法.与其他存储引擎比较,MyISAM具有检查和修复表格的大多数工具. MyISAM表格可以被压缩,而且它们支持全文搜索.它们不是事务安全的,而且也不支持外键。如果事物回滚将造成不完全回滚,不具有原子性。如果执行大量 的SELECTMyISAM是更好的选择。这个类型东海们项目使用的多。最常用的引擎之一。

5.3   ENGINE = BDB

BDB:可替代InnoDB的事务引擎,支持COMMITROLLBACK和其他事务特性。

5.4   ENGINE = Memory

Memory:将所有数据保存在RAM中,在需要快速查找引用和其他类似数据的环境下,可提供极快的访问。

5.5   ENGINE = Merge

Merge:允许MySQL DBA或开发人员将一系列等同的MyISAM表以逻辑方式组合在一起,并作为1个对象引用它们。对于诸如数据仓储等VLDB环境十分适合。

5.6    ENGINE = Archive

Archive:为大量很少引用的历史、归档、或安全审计信息的存储和检索提供了完美的解决方案。

5.7    ENGINE = Federated

 Federated:能够将多个分离的MySQL服务器链接起来,从多个物理服务器创建一个逻辑数据库。十分适合于分布式 环境或数据集市环境。

5.8    ENGINE =Cluster/NDB

Cluster/NDBMySQL的簇式数据库引擎,尤其适合于具有高性能查找要求的应用程序,这类查找需求还要求具有最高的正常工作时间和可用性

5.9    Other:其他存储引擎包括CSV(引用由逗号隔开的用作数据库表的文件),Blackhole(用于临时禁止对数据库的应用程序输入),以及Example引擎(可为快速创建定制的插件式存储引擎提供帮助)。

6.表字段设计

  6.1对于类型限制。是否删除字段,如:`sifdeleted` varchar(2) default '0' COMMENT '0:正常;1:已删除',使用int(1)类型标识,不要使用varchar(2)多占用空间。

     6.2 对于字段长度限制,如手机号11位,我们就没有必要设计更多位数。公司编号可以只设定8位。用户名限制32位等等。

     6.3 少用外键限制

         我们可以使用代码限制。如:级联删除,级联新增,修改等等操作。最好不要设计外键,外键对新增数据不利。

     6.4  少用约束,如:唯一约束。

 6.5  少用自动增长

      在圆通主键没有自动增长,而是使用uuidjava自动生成。考虑到我们数据表数据较少,少用。

 6.6  对于内容较少的表,没有必要创建索引。因为索引浪费空间。

 6.7  表分区使用

      对于日志表,我们可以使用表分区。表分区之后,对于查询效率有很高的提升。默认有时间分区,大小分区,类型分区等等。

 6.8  对表的内容进行限制,如:日志表可以限制条数。再创建表时。我们使用MAX_ROWS进行限制。

7.其他请遵守建表规则

   如:三范式等。

好吧就到这里,欢迎大家关注我的个人博客!

如有疑问,请加qq群:135430763 共同学习!

点击文档下载:
推荐阅读
  • 如何在服务器主机上实现文件共享的方法和工具
    本文介绍了在服务器主机上实现文件共享的方法和工具,包括Linux主机和Windows主机的文件传输方式,Web运维和FTP/SFTP客户端运维两种方式,以及使用WinSCP工具将文件上传至Linux云服务器的操作方法。此外,还介绍了在迁移过程中需要安装迁移Agent并输入目的端服务器所在华为云的AK/SK,以及主机迁移服务会收集的源端服务器信息。 ... [详细]
  • 本文介绍了在Hibernate配置lazy=false时无法加载数据的问题,通过采用OpenSessionInView模式和修改数据库服务器版本解决了该问题。详细描述了问题的出现和解决过程,包括运行环境和数据库的配置信息。 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容,主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的详细步骤
    本文详细介绍了搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的步骤,包括环境说明、相关软件下载的地址以及所需的插件下载地址。 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • Metasploit攻击渗透实践
    本文介绍了Metasploit攻击渗透实践的内容和要求,包括主动攻击、针对浏览器和客户端的攻击,以及成功应用辅助模块的实践过程。其中涉及使用Hydra在不知道密码的情况下攻击metsploit2靶机获取密码,以及攻击浏览器中的tomcat服务的具体步骤。同时还讲解了爆破密码的方法和设置攻击目标主机的相关参数。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 本文讨论了在数据库打开和关闭状态下,重新命名或移动数据文件和日志文件的情况。针对性能和维护原因,需要将数据库文件移动到不同的磁盘上或重新分配到新的磁盘上的情况,以及在操作系统级别移动或重命名数据文件但未在数据库层进行重命名导致报错的情况。通过三个方面进行讨论。 ... [详细]
  • ubuntu用sqoop将数据从hive导入mysql时,命令: ... [详细]
  • 本文介绍了在Linux下安装和配置Kafka的方法,包括安装JDK、下载和解压Kafka、配置Kafka的参数,以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例,帮助读者快速完成Kafka的安装和配置。 ... [详细]
author-avatar
kkka姐姐_244
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有