首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

大量enq:SQ-contention和rowcachelock,LCK进程等待latchFr

作者：enjoy楠神 | 来源：互联网 | 2018-06-12 05:35
客户一套很重要的数据库，一直运行正常，一大早接到告警，发现出现大量的enq:SQ-contention和rowcachelock等待事件，我们立马登上去做检查。出现这种情况，我们一般会先做hanganalyze分析，找出堵塞的源头，进行杀掉阻塞的进程，然后堵塞会话会自行解开。

客户一套很重要的数据库，一直运行正常，一大早接到告警，发现出现大量的enq:SQ-contention和row cache lock等待事件，我们立马登上去做检查。出现这种情况，我们一般会先做hang analyze分析，找出堵塞的源头，进行杀掉阻塞的进程，然后堵塞会话会自行解开。

客户一套很重要的数据库，一直运行正常，一大早接到告警，发现出现大量的enq:SQ-contention和row cache lock等待事件，我们立马登上去做检查。出现这种情况，我们一般会先做hang analyze分析，找出堵塞的源头，进行杀掉阻塞的进程，然后堵塞会话会自行解开。从一般经验上来看，我们觉得是seqnence出现了一些争用。我们做了几个hang分析，找到了源头，确实是在申请相关序列，我们杀完之后，发现系统仍然存在大量的enq:SQ-contention锁和row cache lock等待事件，而我们做hang分析的源头每一次是不尽相同的。不是这个seqnence出问题，就是那个sequence出现问题。在我们杀了大概40-50分钟没有效果的情况下，经过客户的允许，把问题较严重的实例down掉进行了重启，然后顺利的恢复了这次故障。

TO_CHAR(SAMPLE_T EVENT                                                              COUNT(1)
---------------- ---------------------------------------------------------------- ----------
2014-04-23 08:34 enq: SQ - contention                                                      2
2014-04-23 08:40 enq: SQ - contention                                                      3
2014-04-23 08:43 enq: SQ - contention                                                     42
2014-04-23 08:44 enq: SQ - contention                                                     93
2014-04-23 08:45 enq: SQ - contention                                                    180
2014-04-23 08:46 enq: SQ - contention                                                    137
2014-04-23 08:47 enq: SQ - contention                                                     29
2014-04-23 08:48 enq: SQ - contention                                                    171
2014-04-23 08:49 enq: SQ - contention                                                    249
2014-04-23 08:50 enq: SQ - contention                                                    369
2014-04-23 08:51 enq: SQ - contention                                                    292
2014-04-23 08:52 enq: SQ - contention                                                    244
2014-04-23 08:53 enq: SQ - contention                                                    235
2014-04-23 08:54 enq: SQ - contention                                                    108
2014-04-23 08:55 enq: SQ - contention                                                    368
2014-04-23 08:56 enq: SQ - contention                                                    284
2014-04-23 08:57 enq: SQ - contention                                                    261
2014-04-23 08:58 enq: SQ - contention                                                    367
2014-04-23 08:59 enq: SQ - contention                                                    151
2014-04-23 09:00 enq: SQ - contention                                                    221
2014-04-23 09:01 enq: SQ - contention                                                    528
2014-04-23 09:02 enq: SQ - contention                                                    366
2014-04-23 09:03 enq: SQ - contention                                                    477
2014-04-23 09:04 enq: SQ - contention                                                    251
2014-04-23 09:05 enq: SQ - contention                                                     47
2014-04-23 09:06 enq: SQ - contention                                                     21
2014-04-23 09:07 enq: SQ - contention                                                     29
2014-04-23 09:08 enq: SQ - contention                                                     37
2014-04-23 09:09 enq: SQ - contention                                                     32
2014-04-23 09:10 enq: SQ - contention                                                    141
2014-04-23 09:11 enq: SQ - contention                                                    201
SQL> select * from v$rowcache where cache# =13;
CACHE# TYPE  SUBORDINATE# PARAMETER     COUNT USAGE FIXED GETS  GETMISSES SCANS SCANMISSES SCANCOMPLETES MODIFICATIONS FLUSHES  DLM_REQUESTS DLM_CONFLICTS DLM_RELEASES
------ ------------------ ------------------- ----- ----- ---- ---------- ----- ---------- ------------- ------------- -------  ------------ ------------- ------------
    13 PARENT             dc_sequences    42     42     0  1974      1315     0          0             0          1974    1974          3938          1241           32

我一直有一个观点，就是故障处理第一要素就是快速的恢复业务，不管你用什么手段，杀会话也好，重启也好，一定要保障业务的连续性，等业务能正常的访问和操作了，我们在进行问题的一个分析。我们试着想一下，如果系统出现故障，此时此刻你在那里查问题的原因（原因可能没那么好查清楚），而不是进行快速有效的恢复的话，很可能引来很多的投诉。因为有些关键性业务是非常重要的，一分一秒都是不能有耽搁的。只要一分钟，客户可能就会丢失多比订单业务。

在重启之前，我们做了一下AWR快照，把相关的信息进行了一个储存。这是一个关键的操作，因为有了这部分快照信息，我们能够更好的输出AWR和ASH的信息，这一次很幸运，我们通过ASH定位出了最终的问题。我们把出问题时间点的ASH报告做了一个输出，发现了下面的问题。

Top Sessions

  • &＃8216;# Samples Active&＃8217; shows the number of ASH samples in which the session was found waiting for that particular event. The percentage shown in this column is calculated with respect to wall clock time and not total database activity.
  • &＃8216;XIDs&＃8217; shows the number of distinct transaction IDs sampled in ASH when the session was waiting for that particular event
  • For sessions running Parallel Queries, this section will NOT aggregate the PQ slave activity into the session issuing the PQ. Refer to the &＃8216;Top Sessions running PQs&＃8217; section for such statistics.
Sid, Serial# % Activity Event % Event User Program # Samples Active XIDs
13154, 1 1.33 latch free 1.33 SYS oracle@w25k01db (LCK0) 54/60 [ 90%] 0

我们可以看到在出问题的时间点，我们的LCK0进程是Top Sessoion，它在等待Latch Free，那么它等待的Latch从何时开始，究竟是在等什么呢？我们通过dba_hist_active_sess_history进行查询。查到下列信息。

select to_char(SAMPLE_TIME,'YYYY-MM-DD HH24:MI'),event,count(1) from dba_hist_active_sess_history where snap_id between 37775 and 37776
and instance_number=1  and event='latch free'
group by to_char(SAMPLE_TIME,'YYYY-MM-DD HH24:MI'),event 
order by 1;
TO_CHAR(SAMPLE_T EVENT                                                              COUNT(1)
---------------- ---------------------------------------------------------------- ----------
2014-04-23 07:09 latch free                                                                1
2014-04-23 07:19 latch free                                                                1
2014-04-23 07:29 latch free                                                                1
2014-04-23 07:36 latch free                                                                1
2014-04-23 07:37 latch free                                                                1
2014-04-23 07:46 latch free                                                                1
2014-04-23 07:48 latch free                                                                1
2014-04-23 07:50 latch free                                                                1
2014-04-23 07:54 latch free                                                                2
2014-04-23 07:55 latch free                                                                1
2014-04-23 07:56 latch free                                                                1
2014-04-23 07:57 latch free                                                                1
2014-04-23 07:58 latch free                                                                2
2014-04-23 08:00 latch free                                                                3
2014-04-23 08:01 latch free                                                                1
2014-04-23 08:03 latch free                                                                2
2014-04-23 08:05 latch free                                                                2
2014-04-23 08:06 latch free                                                                2
2014-04-23 08:10 latch free                                                                3
2014-04-23 08:11 latch free                                                                2
2014-04-23 08:12 latch free                                                                5
2014-04-23 08:13 latch free                                                                2
2014-04-23 08:14 latch free                                                                5
2014-04-23 08:15 latch free                                                                1
2014-04-23 08:16 latch free                                                                7
2014-04-23 08:17 latch free                                                                9
2014-04-23 08:19 latch free                                                                6
2014-04-23 08:20 latch free                                                                5
2014-04-23 08:21 latch free                                                                6
2014-04-23 08:22 latch free                                                                8
2014-04-23 08:23 latch free                                                                7
2014-04-23 08:24 latch free                                                                5
2014-04-23 08:25 latch free                                                                6
2014-04-23 08:26 latch free                                                               15
2014-04-23 08:27 latch free                                                                5
2014-04-23 08:28 latch free                                                                9
2014-04-23 08:29 latch free                                                               17
2014-04-23 08:30 latch free                                                               22
2014-04-23 08:31 latch free                                                               20
2014-04-23 08:32 latch free                                                               13
2014-04-23 08:33 latch free                                                               13
2014-04-23 08:34 latch free                                                               15
2014-04-23 08:35 latch free                                                                7
2014-04-23 08:36 latch free                                                                4
2014-04-23 08:37 latch free                                                               13
2014-04-23 08:38 latch free                                                               22
2014-04-23 08:39 latch free                                                               10
2014-04-23 08:40 latch free                                                               26
2014-04-23 08:41 latch free                                                               28
2014-04-23 08:42 latch free                                                               29
2014-04-23 08:43 latch free                                                               39
2014-04-23 08:44 latch free                                                               74
2014-04-23 08:45 latch free                                                               99
2014-04-23 08:46 latch free                                                               88
2014-04-23 08:47 latch free                                                               43
2014-04-23 08:48 latch free                                                              121
2014-04-23 08:49 latch free                                                              138
2014-04-23 08:50 latch free                                                              152
2014-04-23 08:51 latch free                                                              101
2014-04-23 08:52 latch free                                                              103
2014-04-23 08:53 latch free                                                               96
2014-04-23 08:54 latch free                                                              121
2014-04-23 08:55 latch free                                                               89
2014-04-23 08:56 latch free                                                              117
2014-04-23 08:57 latch free                                                               83
2014-04-23 08:58 latch free                                                               96
2014-04-23 08:59 latch free                                                               87
2014-04-23 09:00 latch free                                                              113
SQL> select to_char(SAMPLE_TIME,'YYYY-MM-DD HH24:MI') st ,sql_id,event,program,p1,p2,p3 from dba_hist_active_sess_history where snap_id between 37775 and 37776 and instance_number=1 and program like '%LCK%';
ST               SQL_ID        EVENT                                    PROGRAM                                   P1         P2         P3
---------------- ------------- ---------------------------------------- ------------------------------ ------------- ---------- ----------
2014-04-23 07:09               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:19               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:29               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:36               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:37               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:45                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:45                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:45                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:46               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:48                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:48                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:48                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:50                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:50               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:51                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:54               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:54               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:55                                                        oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:56               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:57               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:58               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
2014-04-23 07:58               latch free                               oracle@w25k01db (LCK0)           77597734168         37          0
SQL> select * from v$latchname where latch#=37;
    LATCH# NAME                                                     HASH
---------- -------------------------------------------------- ----------
        37 channel operations parent latch                    3794363110

可以看到LCK0进程是从7点09分出问题的，而它所等待的是37号latch，37号latch代表的是channel operations parent latch。

image

image

对比两份AWR报告，发现这个latch相关的函数上处理特别的慢。通过开SR反映了这一信息，最终确定是Bug 7801939 &＃8211; Contention for "channel operations parent latch" child latch 引起的。打完这个补丁之后，该问题就在也没出现过。那么我们的一个疑问是LCK进程为何会导致sequence数据字典的争用。它们之间的关系是什么？LCK进程又叫lock process(LCK),它是用来管理实例间资源请求和跨实例调用操作，调用操作包括数据字典等对象的访问；并处理非CACEH FUSION的CHACE资源请求（例如：DICTIONARY CACHE或row cache的请求).如果LCK进程出现异常并且有阻塞现象，将导致我们的跨实例的数据字典对象访问失败，而我们的Seqnence是存放在数据字典里面的。所以间接造成了所以的sequence的访问出现enq:SQ和row cache lock的等待。最终影响了我们的数据库正常使用。而LCK进程的阻塞者是谁？谁影响了LCK，根据我们对LCK进程的Blocking Session的分析，发现LCK的阻塞者是应用进程，且时刻在变化，这点也就解释了我们在做Hang Analyze的时候为什么没有发现最上层阻塞会话。而只是发现了部分应用的会话。而BUG的描述有下列信息，显示进程之间消息传递机制有些问题。The interprocess messaging mechanism may exhibit high latch contention under certain workloads.

参考文档：Bug 7801939 &＃8211; Contention for "channel operations parent latch" child latch (文档 ID 7801939.8)

原文地址：大量enq:SQ-contention和row cache lock,LCK进程等待latch Fr, 感谢原作者分享。

推荐阅读
  • 数据库

    SQL日志收缩及截断方法详解

    本文详细介绍了SQL日志收缩的方法，包括截断日志和删除不需要的旧日志记录。通过备份日志和使用DBCC SHRINKFILE命令可以实现日志的收缩。同时，还介绍了截断日志的原理和注意事项，包括不能截断事务日志的活动部分和MinLSN的确定方法。通过本文的方法，可以有效减小逻辑日志的大小，提高数据库的性能。 ... [详细]
  • 数据库

    推荐一个ASP的内容管理框架（ASP Nuke）的优势和适用场景

    推荐一个ASP的内容管理框架（ASP Nuke）的优势和适用场景
    本文推荐了一个ASP的内容管理框架ASP Nuke，并介绍了其主要功能和特点。ASP Nuke支持文章新闻管理、投票、论坛等主要内容，并可以自定义模块。最新版本为0.8，虽然目前仍处于Alpha状态，但作者表示会继续更新完善。文章还分析了使用ASP的原因，包括ASP相对较小、易于部署和较简单等优势，适用于建立门户、网站的组织和小公司等场景。 ... [详细]
  • 数据库

    Hibernate基础映射

    在说Hibernate映射前，我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象，以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 数据库

    postman测试登录后的接口_使用postman进行接口测试的方法(测试用户管理模块)

    本文介绍了使用postman进行接口测试的方法，以测试用户管理模块为例。首先需要下载并安装postman，然后创建基本的请求并填写用户名密码进行登录测试。接下来可以进行用户查询和新增的测试。在新增时，可以进行异常测试，包括用户名超长和输入特殊字符的情况。通过测试发现后台没有对参数长度和特殊字符进行检查和过滤。 ... [详细]
  • 数据库

    MysqlDump_mysqldump全库备份相关知识详解

    本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识，包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说，本文提供了一些有价值的参考内容。 ... [详细]
  • join

    使用 Ubuntu 中的 Python 获取浏览器历史记录

    使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]
  • 数据库

    PHP中的MySQL函数库及其常用函数介绍

    本文由编程笔记小编整理，介绍了PHP中的MySQL函数库及其常用函数，包括mysql_connect、mysql_error、mysql_select_db、mysql_query、mysql_affected_row、mysql_close等。希望对读者有一定的参考价值。 ... [详细]
  • 数据库

    Oracle中tnsnames.ora的作用和配置方法

    本文介绍了Oracle数据库中tnsnames.ora文件的作用和配置方法。tnsnames.ora文件在数据库启动过程中会被读取，用于解析LOCAL_LISTENER，并且与侦听无关。文章还提供了配置LOCAL_LISTENER和1522端口的示例，并展示了listener.ora文件的内容。 ... [详细]
  • 数据库

    Spring特性实现接口多类的动态调用详解

    Spring特性实现接口多类的动态调用详解
    本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍，以及getBeansOfType方法的应用，解决了在实际工作中遇到的接口及多个实现类的问题。同时，文章还提到了SPI使用的不便之处，并介绍了借助ApplicationContext实现需求的方法。阅读本文，你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]
  • 数据库

    Java String与StringBuffer的区别及其应用场景

    Java String与StringBuffer的区别及其应用场景
    本文主要介绍了Java中String和StringBuffer的区别，String是不可变的，而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象，内存使用上要优于String类。因此，在需要频繁对字符串进行修改的情况下，使用StringBuffer更加适合。同时，文章还介绍了String和StringBuffer的应用场景。 ... [详细]
  • sql

    Oracle分析函数first_value()和last_value()的用法及原理

    Oracle分析函数first_value()和last_value()的用法及原理
    本文介绍了Oracle分析函数first_value()和last_value()的用法和原理，以及在查询销售记录日期和部门中的应用。通过示例和解释，详细说明了first_value()和last_value()的功能和不同之处。同时，对于last_value()的结果出现不一样的情况进行了解释，并提供了理解last_value()默认统计范围的方法。该文对于使用Oracle分析函数的开发人员和数据库管理员具有参考价值。 ... [详细]
  • sql

    MyBatis错题分析解析及注意事项

    MyBatis错题分析解析及注意事项
    本文对MyBatis的错题进行了分析和解析，同时介绍了使用MyBatis时需要注意的一些事项，如resultMap的使用、SqlSession和SqlSessionFactory的获取方式、动态SQL中的else元素和when元素的使用、resource属性和url属性的配置方式、typeAliases的使用方法等。同时还指出了在属性名与查询字段名不一致时需要使用resultMap进行结果映射，而不能使用resultType。 ... [详细]
  • insert

    ASP.NET Tips: 获取插入记录的ID的方法详解

    本文详细介绍了在ASP.NET中获取插入记录的ID的几种方法，包括使用SCOPE_IDENTITY()和IDENT_CURRENT()函数，以及通过ExecuteReader方法执行SQL语句获取ID的步骤。同时，还提供了使用这些方法的示例代码和注意事项。对于需要获取表中最后一个插入操作所产生的ID或马上使用刚插入的新记录ID的开发者来说，本文提供了一些有用的技巧和建议。 ... [详细]
  • 数据库

    VB.NET在线急等问题解决方法，如何统计数据库字段下的数据并显示在文本框里？

    本文介绍了一个在线急等问题解决方法，即如何统计数据库中某个字段下的所有数据，并将结果显示在文本框里。作者提到了自己是一个菜鸟，希望能够得到帮助。作者使用的是ACCESS数据库，并且给出了一个例子，希望得到的结果是560。作者还提到自己已经尝试了使用"select sum(字段2) from 表名"的语句，得到的结果是650，但不知道如何得到560。希望能够得到解决方案。 ... [详细]
  • insert

    SpringJdbcTemplate的使用详解

    本文详细介绍了Spring的JdbcTemplate的使用方法，包括执行存储过程、存储函数的call()方法，执行任何SQL语句的execute()方法，单个更新和批量更新的update()和batchUpdate()方法，以及单查和列表查询的query()和queryForXXX()方法。提供了经过测试的API供使用。 ... [详细]
author-avatar
enjoy楠神
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有