热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

存储系统----存储技术(2)

SQLServer和WindowsIO子系统微软的SQLServer是一种利用WindowsIO子系统的应用程序,没有覆盖SQLServer如何读取和写入NTFS文件系统的细节。我们将探讨具体的WindowsIO系统,它将错误报告给Windows事件日志。这应该有助于您解决许多存

SQLServer 和 Windows I/O 子系统 微软的 SQL Server 是一种利用 Windows I/O 子系统的应用程序,没有覆盖 SQL Server 如何读取和写入 NTFS 文件系统的细节。我们将探讨具体的 Windows I/O 系统,它将错误报告给 Windows 事件日志。这应该有助于您解决许多存

SQLServer Windows I/O子系统

微软的SQL Server是一种利用Windows I/O子系统的应用程序,没有覆盖SQL Server如何读取和写入NTFS文件系统的细节。我们将探讨具体的Windows I/O系统,它将错误报告给Windows事件日志。这应该有助于您解决许多存储错误。如图4-8所示,存储系统组件将错误报告给Windows系统事件日志,SQL Server把错误报告给Windows应用程序日志。您可以直接查看事件日志,或使用System Center挖掘事件日志以找到可操作的错误。

卷管理器驱动程序(FTDISK.SYS)创建一个新的I/O请求包传递给分区管理器驱动程序(partmgr.sys)。一旦创建了请求数据包,卷管理器把这个数据包发送到磁盘类驱动程序(DISK.SYS)。 FTDISK.SYS继续监视成功传递请求数据包。如果检测到问题,那么FTDISK.SYS会把错误报告到系统事件日志。这些FTDISK错误通常代表非常严重的存储系统的问题。此时磁盘类驱动程序将存储请求传给多路径系统驱动程序(mpio.sys)或端口驱动程序(Storport.sys)。多路径I/O是用在存储区域网络(SAN)的微软技术。供应商可以创建一个MPIO设备特定模块(DSM)的驱动程序,它详细介绍了多路径驱动程序应当如何负载平衡跨越不同存储路径的I/O。微软提供了一个通用的DSM,它提供有限的故障转移功能。非SAN技术,不使用MPIO HBA是硬件的物理块,用来连接磁盘驱动器和其他存储设备。HBA制造商创建与STORPORT.SYS连接的微型端口驱动程序。大多数HBA驱动程序各自将通信错误报告给应用程序事件日志。理想的情况下,这一事件整个链条的所需时间不超过20毫秒。性能是受多种因素影响,其中最重要的是延迟(latency)。FTDISK.SYSSQL Server为每个I/O计时,如果往返时间超过15秒(对于SQL ServerFTDISK.SYS 1分钟),则错误会被报告到SQL日志和Windows应用程序事件日志。当你希望看到,一个正常运行以毫秒计量,那么1秒钟都是一个永恒。

选择正确的存储网络

本章开始举了单个磁盘驱动器中的SQL Server实例。更复杂的存储网络把多台主机,或启动器,连接到很多存储设备。这些先进的存储区域网络便于低延迟、高吞吐量通信。存储网络可以方便存储资源的共享。直连存储(DAS)提供了成本相对较低的良好性能,但DAS存储可以孤立性能和容量。想象多个应用程序,它们以不同的速率增长,或者用于不同的时间。连接到SAN网络的统一存储,能够使用户同时共享存储容量和可用性能。复杂的存储网络通常使用光纤通道(FC)技术搭建。

FC不同于多数服务器网络协议,因为它不是路由的。路由允许创建大而有弹性的网络,但是路由网络需要大量的开销来操作。如果您熟悉光纤通道,你可能已经知道路由解决方案。存在几款满足这一角色的产品,但它们的使用极其复杂。因为不是路由的, FC为直接的和交换的存储网络连接定义了标准。现代FC网络利用高速网络交换机进行通信。存储网络不限于光纤通道。几个协议定义了方法,用于在现有的服务器IP网络传送存储数据。光纤通道网络协议(Channel Internet Protocol--FCIP )允许光纤通道数据帧封装在一个IP数据包内。互联网小型计算机系统接口(Internet Small Computer Systems

Interface--iSCSI)允许SCSI数据在IP网络上传输。FCIP和iSCSI传输存储网络的不同层。光纤通道帧类似于以太网数据帧。 SCSI是存储控制系统,媲美互联网协议。传输控制协议是一种网络互联协议,因此在存储网络里没有类似物(analogue)。新兴技术,如光纤通道以太网(Fibre Channel Over Ethernet--FCoE ),结合了现有的光纤通道网络与以太网路由网络的属性。不论用于传输存储信息的特定网络技术,记住,带宽不是无限的。过多的存储流量,不仅对单一系统的性能产生负面影响,它还可以阻碍所有连接的组件。许多应用程序必须满足服务等级协议(SLA )列明的最低性能要求。存储网络的性能是整体应用性能的关键。

对比基于块的存储和基于文件的存储

Windows使用NTFS创建一个结构,使其可以使用一个或多个块来存储文件。当一台服务器直接访问物理磁盘时,它被称为基于块的访问。当数据通过服务器的网络访问,如TCP/IP协议,它被称为文件数据。提供文件访问的设备被称为网络附加存储(NAS)。磁盘驱动器把数据存储在块中。每个块包含512字节的数据(有些存储阵列使用520字节的块,额外的8位定义用于保证数据完整性的校验和)。磁盘驱动器数据块由磁盘固件使用逻辑块号(LBNs)分别编号。

SQL Server的最佳实践建议用于数据和日志文件的NTFS分区使用64K分配簇进行格式化。此设置效率最大化,浪费的空间最小化。如果分区用于存储许多小文件,那么它应该使用标准的4KB簇大小格式化。用完分配单元将导致一个碎片式的MFT$,这样会显著地损害文件访问性能。

SQL Server 2008 R2开始,存储管理员可以选择使用服务器消息块(SMB)网络访问数据文件。 TechNet上提供关于SMB优势的详细介绍:http://technet.microsoft.com/en-us/library/ff625695(WS.10).aspx

SQL Server 2012的支持SMB 3.0版,提供了比早期版本更高的性能。有关配置SQL Server 2012 SMB 3.0的更多信息请访问:http://msdn.microsoft.com/en-us/library/hh759341.aspx

设置SMB网络可让您通过UNC路径(\\server_name\share)连接到您的文件。这种访问可以大大简化基于网络的存储设置,然而您应该谨慎使用,并特别检查,以确保您的特定系统被支持,因为NAS设备通常不支持在此配置中使用。对比使用iSCSI网络的SMBiSCSI是一个用于通过服务器网络访问块数据的协议。它需要使用主机服务器上的启动程序和一个兼容的iSCSI存储目标。SMBiSCSI利用服务器网络进行通信,您必须确保服务器网络低延迟,并且有可用的带宽来处理位于它上面的需求。大多数光纤通道网络专门处理存储信息流(storage traffic)。如果你使用服务器网络传输块或者文件的SQL Server信息流,它可能被用来专门传输存储信息流。替代专用网络,需要考虑实施服务质量(QoS),它会把更高优先级放在存储信息流上,超过正常的网络数据包。请记住,没有技术能够提供灵丹妙药。即使健壮的网络也能被信息流填满,存储传输对延迟是极其敏感的。

共享存储阵列

共享阵列控制器主要负责逻辑分组磁盘驱动器。共享存储控制器支持创建免受故障的超大卷。除了直接附加存储控制器的正常功能,一个共享的阵列控制器同时提供存储性能和容量。共享阵列控制器,通常称为SAN控制器,提供比直接附加的系统更先进的功能。其功能集分成三类:

?高效的容量利用率

?存储分层

?数据复制

但是,在钻研SAN阵列的特性之前,这将有助于着眼存储管理员用来形容他们系统的语言。

容量优化

为了解决空间浪费,一些存储阵列厂商现在卖一种叫做自动精简配置(thin provisioning)的技术。自动精简配置使用在存储池内即时存储分配的概念,凭借它,多个物理磁盘驱动器合并成一个大池。适当的RAID保护被应用到池中的磁盘驱动器。许多卷可以从每个池中创建。合成或虚拟卷出现在主机服务器中。当卷被作为精简设备创建,它只分配最少量的存储空间。

对于精简池,SQL Server通过把零写到整个数据文件来分配数据和日志文件。如果Windows Server设置为使用即时文件初始化,文件将在精简池以友好的方式创建。仅当数据实际增加时,新的存储才在池中被分配(http://msdn.microsoft.com/zh-cn/library/ms175935(v=sql.105).aspx )。使用零创建数据库文件是为了安全目的。物理写零到新的空间,有助于确保之前的数据不会意外地暴露给新主机。在激活即时文件初始化之前,检查安全需求。

如果数据文件已经被创建为一个用零填充的大文件,那么一个叫做零页回收的功能可用于在阵列上回收未使用的空间。运行零页回收允许阵列的零空间返回到可用的存储池,以便它可以被分配给其他应用程序。从一个数据库中删除数据,甚至删除卷中的文件,不会返还可用空间到精简存储池。至于回收已删除的文件空间,大多数存储供应商提供了一个主机端工具,它会检查NTFS主文件表(Master File Table)并从删除的空间重新分配空间。如果你决定从一个SQL Server数据或日志文件中删除空间,你需要运行DBCC SHRINKFILE命令先使文件更小,然后运行主机端存储回收工具,以便把空间返还到给定的精简池。不幸的是,精简存储池有一个肮脏的小秘密。当存储预测不准确时,为了优化存储使用,过度配置精简池是必要的。这意味着存储团队必须密切监视其新存储使用的增长速度。

如果微软Windows平台上对不再有可用空间的精简卷发出写请求,它会蓝屏服务器。为了防止这种情况,存储管理员有几种选择:运行一个存储阵列工具,如零页回收,收集未使用的空间,把更多的物理存储增加到精简池,或把卷迁移到不同的有更多空间的阵列。在变成严重问题之前捕获增长问题,至关重要。

推荐阅读
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的详细步骤
    本文详细介绍了搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的步骤,包括环境说明、相关软件下载的地址以及所需的插件下载地址。 ... [详细]
  • 这是原文链接:sendingformdata许多情况下,我们使用表单发送数据到服务器。服务器处理数据并返回响应给用户。这看起来很简单,但是 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • 本文介绍了在Hibernate配置lazy=false时无法加载数据的问题,通过采用OpenSessionInView模式和修改数据库服务器版本解决了该问题。详细描述了问题的出现和解决过程,包括运行环境和数据库的配置信息。 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • 禁止程序接收鼠标事件的工具_VNC Viewer for Mac(远程桌面工具)免费版
    VNCViewerforMac是一款运行在Mac平台上的远程桌面工具,vncviewermac版可以帮助您使用Mac的键盘和鼠标来控制远程计算机,操作简 ... [详细]
  • 本文详细介绍了云服务器API接口的概念和作用,以及如何使用API接口管理云上资源和开发应用程序。通过创建实例API、调整实例配置API、关闭实例API和退还实例API等功能,可以实现云服务器的创建、配置修改和销毁等操作。对于想要学习云服务器API接口的人来说,本文提供了详细的入门指南和使用方法。如果想进一步了解相关知识或阅读更多相关文章,请关注编程笔记行业资讯频道。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • Java String与StringBuffer的区别及其应用场景
    本文主要介绍了Java中String和StringBuffer的区别,String是不可变的,而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象,内存使用上要优于String类。因此,在需要频繁对字符串进行修改的情况下,使用StringBuffer更加适合。同时,文章还介绍了String和StringBuffer的应用场景。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识,包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性,外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍,读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行,并且不再受限于特定的语言和部署环境。 ... [详细]
  • 关于我们EMQ是一家全球领先的开源物联网基础设施软件供应商,服务新产业周期的IoT&5G、边缘计算与云计算市场,交付全球领先的开源物联网消息服务器和流处理数据 ... [详细]
author-avatar
yyjj7212
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有