热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

用人工智能主动对SQL语句进行重写

SQL语句的优化是将性能低下的SQL语句转换成目标雷同的性能优良的SQL语句。人工智能主动SQL优化就是应用人工智能技巧,主动对SQL语句进行重写,从而找到性能最好的等效SQL语句数据

SQL语句的优化是将性能低下的SQL语句转换成目标雷同的性能优良的SQL语句。

人工智能主动SQL优化就是应用人工智能技巧,主动对SQL语句进行重写,从而找到性能最好的等效SQL语句

数据库性能的优化

一个数据库系统的生命周期可以分成:设计开发成品三个阶段。在设计阶段进行数据库性能优化的本钱最低,收益最大。在成品阶段进行数据库性能优化的本钱最高,收益最小。

数据库的优化通常可以通过对网络、硬件、把持系统、数据库参数和利用程序的优化来进行。最常见的优化手段就是对硬件的升级。根据统计,对网络、硬件、把持系统、数据库参数进行优化所获得的性能晋升,全部加起来只占数据库系统性能晋升的40%左右,其余的60%系统性能晋升来自对利用程序的优化。很多优化专家认为,对利用程序的优化可以得到80%的系统性能的晋升。

利用程序的优化

利用程序的优化通常可分为两个方面:源代码和SQL语句。由于涉及到对程序逻辑的转变,源代码的优化在时间本钱和风险上代价很高,而对数据库系统性能的晋升收效有限。

为什么要优化SQL语句

. SQL语句是对数据库进行把持的惟一道路,对数据库系统的性能起着决定性的作用。

. SQL语句耗费了70%至90%的数据库资源。

. SQL语句独立于程序设计逻辑,对SQL语句进行优化不会影响程序逻辑。

. SQL语句有不同的写法,在性能上的差别非常大。

. SQL语句易学,但难精通。

优化SQL语句的传统方法是通过手工重写来对SQL语句进行优化。DBA或资深程序员通过对SQL语句履行打算的分析,依附经验,尝试重写SQL语句,然后对成果和性能进行比拟,以试图找到性能较佳的SQL语句。这种传统上的作法无法找出SQL语句的所有可能写法,且依附于人的经验,非常耗费时间。

SQL优化技巧的发展过程

第一代SQL优化工具是履行打算分析工具。这类工具针对输进的SQL语句,从数据库提取履行打算,并说明履行打算中要害字的含义。

第二代SQL优化工具只能供给增加索引的建议,它通过对输进的SQL语句的履行打算的分析,来产生是否要增加索引的建议。

第三代SQL优化工具不仅分析输进SQL语句的履行打算,还对输进的SQL语句本身进行语法分析,经过火析产生写法上的改良建议。

人工智能主动SQL优化

人工智能主动SQL优化呈现在90年代末。目前在商用数据库范畴,LECCO Technology Limited(灵高科研有限公司)拥有该技巧,并供给应用该技巧的主动优化产品LECCO SQL Expert,它支撑Oracle、Sybase、MS SQL Server和IBM DB2数据库平台。该产品针对数据库利用的开发和保护阶段供给的模块有:SQL语法优化器、PL/SQL集成化开发调试环境(IDE)、扫描器、数据库监督器等。其核心模块SQL 语法优化器的工作原理为:①输进一条源SQL语句;②“人工智能反馈式搜索引擎”对输进的SQL语句,联合检测到的数据库结构和索引进行重写,产生N条等效的SQL语句输出;③产生的N条等效SQL语句再送进“人工智能反馈式搜索引擎”进行重写,直至无法产生新的输出或搜索限额满;④对输出的SQL语句进行过滤,选出具有不同履行打算的SQL语句;⑤对得到的SQL语句进行批量测试,找出性能最好的SQL语句。

LECCO SQL Expert主动优化实例

假设我们从源代码中抽取出这条SQL语句(也可以通过内带的扫描器或监督器获得SQL语句):

SELECT COUNT(*)

 

FROM EMPLOYEE

 

swheresEXISTS (SELECT 'X'

 

FROM DEPARTMENT

 

swheresEMP_DEPT=DPT_ID

 

AND DPT_NAME LIKE 'AC%')

 

AND EMP_ID IN (SELECT SAL_EMP_ID

 

FROM EMP_SAL_HIST B

 

swheresSAL_SALARY > 70000)

按下“优化”按钮后,经过10几秒,SQL Expert就完成了优化的过程,并在这10几秒的时间里重写产生了2267 条等价的SQL语句,其中136条SQL语句有不同的履行打算。

接下来,我们可以对主动重写产生的136条SQL语句进行批运行测试,以选出性能最佳的等效SQL语句。按下“批运行” 按钮,在“终止条件” 页选择“最佳运行时间SQL语句”,按“断定”。

经过几分钟的测试运行后,我们可以发明SQL124的运行时间和反应时间最短。运行速度约有22.75倍的晋升(源SQL语句运行时间为2.73秒,SQL124运行时间为0.12秒)。现在我们就可以把SQL124放进源代码中,结束一条SQL语句的优化工作了。

“边做边学式练习”晋升SQL开发程度

LECCO SQL Expert不仅能够找到最佳的SQL语句,它所供给的“边做边学式练习”还能够教开发职员和数据库治理员如何写出性能最好的SQL语句。LECCO SQL Expert的“SQL比拟器”可以标明源SQL和待选SQL间的不同之处。

以上面优化的成果为例,为了查看源SQL语句和SQL124在写法上有什么不同,我们可以按下“比拟器” 按钮,对SQL124和源SQL语句进行比拟。“SQL 比拟器”将SQL124相对于源SQL语句的不同之处以蓝色彩表现了出来。假如选择“双向比拟”复选框,“SQL 比拟器”可以将两条SQL语句的不同之处以蓝色表现。当然,我们也可以从源语句和重写后的SQL 语句中任选两条进行比拟。

从比拟的成果可以看到,重写后的SQL124把第一个Exists改写成了In;在字段DPT_ID上进行了合并空字符串的把持,以引诱数据库先履行子查询中的

(SELECT DPT_ID||''

 

FROM DEPARTMENT

 

WHERE DPT_NAME LIKE 'AC%')

在子查询完成后,再与EMPLOYEE表进行嵌套循环连接(Nested Loop Join)。

假如感到对写法的转变难以懂得,还可以点中“履行打算”复选框,通过比拟两条SQL语句的履行打算的不同,来懂得其中的差别。在查看履行打算过程中,假如有什么不明白的处所,可以点中“SQL信息按钮”,再点击履行打算看不明白的处所,LECCO SQL Expert的高低文敏感帮助系统将供给履行打算该处的说明。

在“SQL比拟器”中,选中“统计信息”复选框后,可得到具体的两条SQL语句运行时的统计信息比拟,这对于学习不同的SQL写法对数据库资源的耗费很有帮助。

推荐阅读
  • 2018年人工智能大数据的爆发,学Java还是Python?
    本文介绍了2018年人工智能大数据的爆发以及学习Java和Python的相关知识。在人工智能和大数据时代,Java和Python这两门编程语言都很优秀且火爆。选择学习哪门语言要根据个人兴趣爱好来决定。Python是一门拥有简洁语法的高级编程语言,容易上手。其特色之一是强制使用空白符作为语句缩进,使得新手可以快速上手。目前,Python在人工智能领域有着广泛的应用。如果对Java、Python或大数据感兴趣,欢迎加入qq群458345782。 ... [详细]
  • 本文讨论了同事工资打听的话题,包括同工不同酬现象、打探工资的途径、为什么打听别人的工资、职业的本质、商业价值与工资的关系,以及如何面对同事工资比自己高的情况和凸显自己的商业价值。故事中的阿巧发现同事的工资比自己高后感到不满,通过与老公、闺蜜交流和搜索相关关键词来寻求解决办法。 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • 2022年的风口:你看不起的行业,真的很挣钱!
    本文介绍了2022年的风口,探讨了一份稳定的副业收入对于普通人增加收入的重要性,以及如何抓住风口来实现赚钱的目标。文章指出,拼命工作并不一定能让人有钱,而是需要顺应时代的方向。 ... [详细]
  • MySQL中的MVVC多版本并发控制机制的应用及实现
    本文介绍了MySQL中MVCC的应用及实现机制。MVCC是一种提高并发性能的技术,通过对事务内读取的内存进行处理,避免写操作堵塞读操作的并发问题。与其他数据库系统的MVCC实现机制不尽相同,MySQL的MVCC是在undolog中实现的。通过undolog可以找回数据的历史版本,提供给用户读取或在回滚时覆盖数据页上的数据。MySQL的大多数事务型存储引擎都实现了MVCC,但各自的实现机制有所不同。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 本文是一位90后程序员分享的职业发展经验,从年薪3w到30w的薪资增长过程。文章回顾了自己的青春时光,包括与朋友一起玩DOTA的回忆,并附上了一段纪念DOTA青春的视频链接。作者还提到了一些与程序员相关的名词和团队,如Pis、蛛丝马迹、B神、LGD、EHOME等。通过分享自己的经验,作者希望能够给其他程序员提供一些职业发展的思路和启示。 ... [详细]
  • Python字典推导式及循环列表生成字典方法
    本文介绍了Python中使用字典推导式和循环列表生成字典的方法,包括通过循环列表生成相应的字典,并给出了执行结果。详细讲解了代码实现过程。 ... [详细]
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • 35岁程序员连续被2家公司裁掉,网友酸了,成功入职成事业编晒出福利
    这篇文章讲述了一个35岁程序员连续被两家公司裁掉的故事,他在遭遇中年危机后成功入职事业单位,并分享了入职后的福利。文章探讨了程序员在互联网行业中的竞争力下降的原因。 ... [详细]
  • 本文详细介绍了云服务器API接口的概念和作用,以及如何使用API接口管理云上资源和开发应用程序。通过创建实例API、调整实例配置API、关闭实例API和退还实例API等功能,可以实现云服务器的创建、配置修改和销毁等操作。对于想要学习云服务器API接口的人来说,本文提供了详细的入门指南和使用方法。如果想进一步了解相关知识或阅读更多相关文章,请关注编程笔记行业资讯频道。 ... [详细]
  • 如何使用代理服务器进行网页抓取?
    本文介绍了如何使用代理服务器进行网页抓取,并探讨了数据驱动对竞争优势的重要性。通过网页抓取,企业可以快速获取并分析大量与需求相关的数据,从而制定营销战略。同时,网页抓取还可以帮助电子商务公司在竞争对手的网站上下载数百页的有用数据,提高销售增长和毛利率。 ... [详细]
  • Learning to Paint with Model-based Deep Reinforcement Learning
    本文介绍了一种基于模型的深度强化学习方法,通过结合神经渲染器,教机器像人类画家一样进行绘画。该方法能够生成笔画的坐标点、半径、透明度、颜色值等,以生成类似于给定目标图像的绘画。文章还讨论了该方法面临的挑战,包括绘制纹理丰富的图像等。通过对比实验的结果,作者证明了基于模型的深度强化学习方法相对于基于模型的DDPG和模型无关的DDPG方法的优势。该研究对于深度强化学习在绘画领域的应用具有重要意义。 ... [详细]
  • mapreduce数据去重的实现方法
    本文介绍了利用mapreduce实现数据去重的方法,同时还介绍了人工智能AI领域中常用的框架和工具,包括Keras、PyTorch、MXNet、TensorFlow和PaddlePaddle,并提供了深度学习实战的代码下载链接。 ... [详细]
  • GTX1070Ti显卡怎么样?GTX1070Ti显卡首发图赏+参数解读与拆解图
    先来简单回顾一下今年的显卡市场,nvidia自从发布了帕斯卡架构新品之后,可以说是一直都主宰着高端游戏显卡市场,虽说amd也憋了一个hbm2的vega64出来,然而即使是最高贵的水 ... [详细]
author-avatar
Only-安之若素
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有