热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

突破Informix固态磁盘I/O瓶颈

至今为止,我在固态硬盘(SSD)上成功运行主Informix开发数据库服务器的时间已经超过一年。我的开发服务器配备12枚CPU内核、24GB的RAM、5TB磁盘空间和一块512GB的固态硬盘。我使用这台服务器开发了Informix数据仓库项目,并对OLTP版本执行

至今为止,我在固态硬盘 (SSD) 上成功运行主 Informix 开发数据库服务器的时间已经超过一年。我的开发服务器配备 12 枚 CPU 内核、24 GB 的 RAM、5 TB 磁盘空间和一块 512 GB 的固态硬盘。我使用这台服务器开发了 Informix 数据仓库项目,并对 OLTP 版本执行

至今为止,我在固态硬盘 (SSD) 上成功运行主 Informix 开发的时间已经超过一年。我的开发配备 12 枚 CPU 内核、24 GB 的 RAM、5 TB 磁盘空间和一块 512 GB 的固态硬盘。我使用这台服务器开发了 Informix 数据仓库项目,并对 OLTP 版本执行了基准测试。去年购买这台服务器之后,我开始尝试使用 SSD。我将主 Informix 空间从一对镜像的磁盘驱动器迁移到了 SSD。我对两个 Informix 服务器都执行了测试:一个是 11.50 版本,另一个是 11.70 版本。两个版本在 SSD 上运行时的速度都有所提升。我使用了到数据库空间的链接,因此可以将空间在常规磁盘驱动器与 SSD 之间来回复制、重置链接并启动服务器,以便测试性能。SSD 的性能要好得多,我完全不希望再回头使用旧的磁盘驱动器。SSD 的稳定性非常出色,所以我推荐对关键生产系统使用 SSD。

多年以来,磁盘驱动器一直是数据库性能瓶颈。磁盘空间越来越大,人们不断在其中存储越来越多的数据,但磁盘驱动器的速度并没有提升。随着磁盘中数据量的增加,吞吐量也成为严重问题。典型情况下,加速磁盘 I/O 的最好方法就是将数据分布到多块磁盘驱动器上,在每个磁盘中都存储较少的数据库。SSD 改变了一切,我认为磁盘驱动器将来会像磁带驱动器一样走向没落。所有人都会在 SSD 上运行程序,磁盘驱动器将仅用作备份介质。在笔记本电脑、台式机和服务器数列中,SSD 的出现频率越来越高。

混合磁盘系统是一种有趣的发明,它将 SSD 与传统硬盘结合使用。部分供应商提供的数列将 SSD 作为一批传统磁盘驱动器的智能缓存。其思路在于,将所有数据页面都存储在传统磁盘驱动器中,而最常用的数据页面则缓存在 SSD 中。我的一位客户使用此类数列获得了极大的成功,实现了显著的性能提升。其他混合趋势包括将 SSD 直接与大容量磁盘驱动器配对,将它们作为磁盘缓存。Seagate 和 OCZ 均推出了混合式磁盘驱动器或磁盘卡。虽然混合的方法能提高性能,但不如纯 SSD 速度快。我认为这只是一些临时措施,最终 SSD 的成本将降低,性价比也将提高。随着 SSD 产量的增加,成本的降低,混合方法将不再必要。

设置基准测试

为了撰写这篇文章,我决定从头开始,执行基准测试来测量 SSD 能提供的性能改进。我想执行压力测试,测量顺序读取、批量顺序读取和随机读取与写入的性能。我重新安装了最新版本的 Informix 11.70 FC4,用全新的安装和脚本从头开始制作我的 Informix 环境。每次测试都使用相同的 ONCONFIG 文件,我通过更改 Informix 磁盘空间的链接在传统磁盘驱动器与 SSD 之间切换。我使用的传统磁盘驱动器是当今大多数生产系统中常见的高速镜像对。图 1 的表格中显示了结果。

基准测试 镜像磁盘设备 SSD 磁盘设备 提高的百分比
1. 配置 Dbspace 和日志 47 分钟 24.986 秒 30 分钟 38.419 秒 64.60
2. 导入数据库 82 分钟 18.984 秒 67 分钟 40.300 秒 82.20
3. 基准测试 2:批量计费作业 3 分钟 21.258 秒 2 分钟 35.227 秒 77.11
4. 基准测试 4:具有 1,000 个用户的 OLTP 5,272 tpmC 116,849 tpmC 2,216.41
5. 数据仓库查询基准测试 4 小时 19 分钟 3 小时 14 分钟 74.90
平均总体提高 503.05

突破Informix固态磁盘I/O瓶颈

图 1:SSD 与 磁盘驱动器基准测试结果对比

下面介绍了各基准测试的测试任务。

1. 配置 Dbspace 和日志 第一项测试测量创建所有 dbspace 和所有逻辑日志花费的时间,并将物理日志移动到独立的 dbspace 中,然后重建基准测试环境。将 Informix 设置为执行直接 I/O,并在两项测试中使用成熟的文件。过去,我直接在 SSD 与传统磁盘驱动器之间复制 dbspace;这次测试在两个系统中重建了整个环境。

2. 导入数据库 下一项任务是执行各配置中使用的各数据库的 dbimport。该任务将对驱动器的写入性能执行压力测试。

3. 基准测试 2:批量计费作业 2009 年,IIUG Informix User Conference 的 Fastest DBA 大赛中执行的就是这项基准测试——过去,我曾在文章中介绍过这一基准测试。测试的目标是磁盘 I/O,因此我并未优化 SQL 来减少读写数量。

4. 基准测试 4:具有 1,000 个用户的 OLTP 这是 2011 IIUG Informix User Conference 的 Fastest Informix DBA 大赛中使用的基准测试。Advanced DataTools 为大赛提供赞助,寻找和奖励速度最快的 Informix DBA。此次大赛是过去三届 Informix 会议中最有趣的活动之一。 测试使用 Open Source BenchmarkSQL Java 程序,生成了 1,000 个会话,对一个 Informix 数据库执行插入、更新和删除操作。Open Source BenchmarkSQL 是一项 JDBC 基准测试,与 TPC-C 的 OLTP 标准极其接近。在大赛中,参赛者需要处理运行 1,000 个 OLTP 用户的 Informix 服务器,在一个小时内对其进行优化,然后评选出谁能实现最高的每分钟事务处理量。由于这属于执行读取和写入操作的随机 I/O 测试,因此会对磁盘驱动器的随机 I/O 功能进行压力测试。SSD 在这次测试中表现最佳,每分钟执行的事务处理量是传统磁盘驱动器的 2,216%。

5. 数据仓库查询基准测试 这是我开发的一个新基准测试,用于测试数据仓库性能。SSD 容量最高为 512 GB,因此我使用一个较小的数据库,运行了 18 个复杂的数据仓库查询。大多数查询需要对一个事实表进行顺序扫描,以获得相关结果,因此可以通过该操作对驱动器的读取访问进行压力测试。

关键考虑事项

在将 Informix dbspace 迁移到 SSD 的过程中,您还需要考虑可能存在磁盘 I/O 瓶颈的其他方面。在数据仓库基准测试中,我初次迁移到 SSD 时并未如期获得出色的性能。受磁盘 I/O 性能影响的另外两个因素是查询报告的临时排序空间和输出空间。将报告的临时空间和输出空间迁移到 SSD 之后,性能获益非常明显。实际上,将 Informix temp dbspace 迁移到 SSD 或许是利用这项新技术的最快方法,同时还能保证不需要重新配置整个服务器。

我与其他管理大型图像处理系统(例如影片制作)的管理员讨论了 SSD 技术。这些系统需要接近实时地访问庞大的图像文件。这些管理员已经成功构建了包含 6 到 8 块 SSD 的 RAID-10 数列。根据他们的报告,RAID-10 的数据镜像与条带化能够提高安全性,还能提高 SSD 原本已经非常出众的性能。我非常希望使用 Informix 数据库亲身体验一下这样的改进。

有关 SSD 的担忧之一就是其作为新技术的可靠性。对我来说,一块 SSD 使用了整整一年,而且完全没有出现过任何问题。而在相同的时间段内,我的三块普通硬盘都发生了故障。任何介质都必然会发生故障,因此最好始终计划备份解决方案。所有磁盘驱动器都需要定期备份。如果我使用 SSD 设计一个新的生产级 Informix 数据库服务器,我会在常规磁盘驱动器上创建一个 Informix 高可用性远程辅助服务器 (RSS) 作为备用系统。这是任何生产数据库服务器的最佳实践。

结束语

在所有数据库中,SSD 都能更快地完成 Informix 数据库任务。在顺序扫描、随机 I/O 和读取与写入中,SSD 的表现始终遥遥领先。SSD 极大地提升了 OLTP 随机磁盘 I/O 基准测试的性能。图 1 中的数字能证明一切。一言以蔽之,提高 Informix 数据库服务器速度最便捷的方法就是将 dbspaces 迁移到 SSD 中。Informix 在 SSD 上的运行表现良好。

推荐阅读
  • 如何实现织梦DedeCms全站伪静态
    本文介绍了如何通过修改织梦DedeCms源代码来实现全站伪静态,以提高管理和SEO效果。全站伪静态可以避免重复URL的问题,同时通过使用mod_rewrite伪静态模块和.htaccess正则表达式,可以更好地适应搜索引擎的需求。文章还提到了一些相关的技术和工具,如Ubuntu、qt编程、tomcat端口、爬虫、php request根目录等。 ... [详细]
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • 本文详细介绍了SQL日志收缩的方法,包括截断日志和删除不需要的旧日志记录。通过备份日志和使用DBCC SHRINKFILE命令可以实现日志的收缩。同时,还介绍了截断日志的原理和注意事项,包括不能截断事务日志的活动部分和MinLSN的确定方法。通过本文的方法,可以有效减小逻辑日志的大小,提高数据库的性能。 ... [详细]
  • 本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容,主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 这是原文链接:sendingformdata许多情况下,我们使用表单发送数据到服务器。服务器处理数据并返回响应给用户。这看起来很简单,但是 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • 禁止程序接收鼠标事件的工具_VNC Viewer for Mac(远程桌面工具)免费版
    VNCViewerforMac是一款运行在Mac平台上的远程桌面工具,vncviewermac版可以帮助您使用Mac的键盘和鼠标来控制远程计算机,操作简 ... [详细]
  • 本文详细介绍了云服务器API接口的概念和作用,以及如何使用API接口管理云上资源和开发应用程序。通过创建实例API、调整实例配置API、关闭实例API和退还实例API等功能,可以实现云服务器的创建、配置修改和销毁等操作。对于想要学习云服务器API接口的人来说,本文提供了详细的入门指南和使用方法。如果想进一步了解相关知识或阅读更多相关文章,请关注编程笔记行业资讯频道。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 本文介绍了使用AJAX的POST请求实现数据修改功能的方法。通过ajax-post技术,可以实现在输入某个id后,通过ajax技术调用post.jsp修改具有该id记录的姓名的值。文章还提到了AJAX的概念和作用,以及使用async参数和open()方法的注意事项。同时强调了不推荐使用async=false的情况,并解释了JavaScript等待服务器响应的机制。 ... [详细]
  • SpringBoot uri统一权限管理的实现方法及步骤详解
    本文详细介绍了SpringBoot中实现uri统一权限管理的方法,包括表结构定义、自动统计URI并自动删除脏数据、程序启动加载等步骤。通过该方法可以提高系统的安全性,实现对系统任意接口的权限拦截验证。 ... [详细]
  • Java序列化对象传给PHP的方法及原理解析
    本文介绍了Java序列化对象传给PHP的方法及原理,包括Java对象传递的方式、序列化的方式、PHP中的序列化用法介绍、Java是否能反序列化PHP的数据、Java序列化的原理以及解决Java序列化中的问题。同时还解释了序列化的概念和作用,以及代码执行序列化所需要的权限。最后指出,序列化会将对象实例的所有字段都进行序列化,使得数据能够被表示为实例的序列化数据,但只有能够解释该格式的代码才能够确定数据的内容。 ... [详细]
author-avatar
lodng
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有