热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

IBM小机+ORACLE数据库迅猛提升事物数TPS的方法总结

IBM小机+ORACLE数据库迅猛提升事物数TPS的方法总结:近期一直在搞业务压测,提升系统的事务处理能力。事务处理量从刚开始的三千到如今的接近一万,也积累了一些

IBM小机+ORACLE数据库迅猛提升事物数TPS的方法总结:近期一直在搞业务压测,提升系统的事务处理能力。事务处理量从刚开始的三千到如今的接近一万,也积累了一些

IBM小机+ORACLE数据库迅猛提升事物数TPS的方法总结:近期一直在搞业务压测,提升系统的事务处理能力。事务处理量从刚开始的三千到如今的接近一万,也积累了一些优化方法,分享给各位。首先当然需要你的系统是处理大并发事务的,如果你的系统每秒TPS才一两百,香港服务器,可能事务优化并不是主要的目的。这里一共包含两个部分的优化手段,第一部分是常规的优化手段,第二部分是稍微“邪门”点的优化手段。

大并发事务常规的优化手段:

1)REDO LOG 盘优化:如果是放在存储,可以多拿出几块盘来做LOG 盘,最基本的常识盘要做成RAID 10,不能放RAID 5。根据你盘的情况,可以用6-12块盘不等。这些 盘专门提供给REDO LOG用,剩余的空间也不能提供给其他盘用,以免影响LOG 盘的IO。由于存储一般都带有CACHE,CACHE的大小根据高低中端的不同,网站空间,存储型号的不同而不同,存储的CACHE可以说是存储的灵魂,对于写缓冲的效果非常明显,极大的降低写LOG盘的时间。

2)数据盘的IO要根据你系统的情况来,根据操作系统工具topas -D或iostat -DlRa 1 来看数据盘存不存在瓶颈,如果busy比较大,那么需要继续添加硬盘来提升IOPS。事务型的交易系统数据盘的繁忙主要是写脏数据造成的(可能你的情况跟我不一样),一般对IOPS要求不高。这个要根据系统情况来定。IOPS不够,可以考虑用SSD来提升IOPS,但是存储对SSD的支持不太好,最好让SSD的IO可以打散在存储的多个光纤环路中。

3)ORACLE 的GROUP COMMIT是自动、默认的行为,这块其实不用作优化也没法做优化。

4)对关键业务表设置了CACHE属性,保证事务的数据都在内存里。这一块的优化也非常重要,优化效果也非常明显。ORACLE里可以设置CACHE表。

当时压测是基于P740的一个小机+V7000的一个中端存储,做完以上优化,TPS可以达到6000。

非常规手段的优化:

1)由于P740只有物理16core cpu,CPU使用率到了65%,LOAD 接近40。为了LGWR可以任意时刻获取CUP资源,设置了_high_priority_processes 参数,网站空间,保证LGWR可以随时获得CPU资源,不用排队。

2)操作系统级别设置dscrctl -n -b -s 1 内存预读,效果非常明显,立即可以提升1000+的TPS

3)如果你是万兆网卡,chdev -l hba0 -a cdli_queues=4 -P,加大网卡处理队列,效果也非常明显,可以提升1500+的TPS。事物数超大的系统,网卡往往是瓶颈,优化非常必要。及时你的3个千M网卡处理量还完全没到瓶颈,可是使用万兆网卡做了这个优化,还是非常的能看到立竿见影的下效果。

4)ORACLE的REDO LOG 块大小设置为4K.11GR2的版本可以指定REDO LOG的块大小,一般是磁盘的扇区大小512字节。在我的版本11.2.0.3下修改会报错,说修改值与实际扇区大小不匹配。通过修改隐含参数_disk_sector_size_override为true,可以强制改成功。修改的办法是在alter database add log file xxxx blocksize 4096。如果拿PL/SQL压测,采取commit write immediate wait方式提交,优化前后的差距接近4倍,非常惊人。但是拿我们的业务压测,只是提升了1500+的TPS,也非常的不错了。

经过上面4步的优化,TPS可以接近1W了。在此分享,希望对大家有帮助,很多地方说的不详细,有需要,可以联系我,进一步探讨。

P740,16core 3.55GHZ的内存,32G CPU,3块千M网卡BOND。

V7000 80G 的CACHE。12块LOG 盘。足够多的数据盘。

本文出自 “魏兴华的DBA生活” 博客,请务必保留此出处

推荐阅读
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • 本文详细介绍了SQL日志收缩的方法,包括截断日志和删除不需要的旧日志记录。通过备份日志和使用DBCC SHRINKFILE命令可以实现日志的收缩。同时,还介绍了截断日志的原理和注意事项,包括不能截断事务日志的活动部分和MinLSN的确定方法。通过本文的方法,可以有效减小逻辑日志的大小,提高数据库的性能。 ... [详细]
  • 本文介绍了解决Netty拆包粘包问题的一种方法——使用特殊结束符。在通讯过程中,客户端和服务器协商定义一个特殊的分隔符号,只要没有发送分隔符号,就代表一条数据没有结束。文章还提供了服务端的示例代码。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • 本文介绍了如何找到并终止在8080端口上运行的进程的方法,通过使用终端命令lsof -i :8080可以获取在该端口上运行的所有进程的输出,并使用kill命令终止指定进程的运行。 ... [详细]
  • 本文介绍了如何在MySQL中将零值替换为先前的非零值的方法,包括使用内联查询和更新查询。同时还提供了选择正确值的方法。 ... [详细]
  • 本文介绍了如何使用Power Design(PD)和SQL Server进行数据库反向工程的方法。通过创建数据源、选择要反向工程的数据表,PD可以生成物理模型,进而生成所需的概念模型。该方法适用于SQL Server数据库,对于其他数据库是否适用尚不确定。详细步骤和操作说明可参考本文内容。 ... [详细]
  • 在数据分析工作中,我们通常会遇到这样的问题,一个业务部门由若干业务组构成,需要筛选出每个业务组里业绩前N名的业务员。这其实是一个分组排序的 ... [详细]
  • Oracle Database 10g许可授予信息及高级功能详解
    本文介绍了Oracle Database 10g许可授予信息及其中的高级功能,包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明,指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • 本文介绍了使用postman进行接口测试的方法,以测试用户管理模块为例。首先需要下载并安装postman,然后创建基本的请求并填写用户名密码进行登录测试。接下来可以进行用户查询和新增的测试。在新增时,可以进行异常测试,包括用户名超长和输入特殊字符的情况。通过测试发现后台没有对参数长度和特殊字符进行检查和过滤。 ... [详细]
  • 本文介绍了一个程序,可以输出1000内能被3整除且个位数为6的所有整数。程序使用了循环和条件判断语句来筛选符合条件的整数,并将其输出。 ... [详细]
  • 《数据结构》学习笔记3——串匹配算法性能评估
    本文主要讨论串匹配算法的性能评估,包括模式匹配、字符种类数量、算法复杂度等内容。通过借助C++中的头文件和库,可以实现对串的匹配操作。其中蛮力算法的复杂度为O(m*n),通过随机取出长度为m的子串作为模式P,在文本T中进行匹配,统计平均复杂度。对于成功和失败的匹配分别进行测试,分析其平均复杂度。详情请参考相关学习资源。 ... [详细]
  • 动态规划算法的基本步骤及最长递增子序列问题详解
    本文详细介绍了动态规划算法的基本步骤,包括划分阶段、选择状态、决策和状态转移方程,并以最长递增子序列问题为例进行了详细解析。动态规划算法的有效性依赖于问题本身所具有的最优子结构性质和子问题重叠性质。通过将子问题的解保存在一个表中,在以后尽可能多地利用这些子问题的解,从而提高算法的效率。 ... [详细]
author-avatar
手机用户2502853201
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有