热门标签 | HotTags
当前位置:  开发笔记 > 人工智能 > 正文

同有全闪存阵列设计新思路:一硬到底!

同有,全,闪,存,阵列,设计,
 
  如果说羽泉的《冷酷到底》反映了年轻人心中激荡的自信与活力;那么同有NetStor NCS8000全闪存阵列设计的”一硬到底”就体现同有对于存储硬件性能和功能的极致追求。

众所周知,十年间CPU速度增长了10倍,内存性能增长了8倍,网络带宽速率更是大幅提升了100倍,对比硬盘I/O系统的性能几乎是原地踏步,处理器和硬盘之间的差距被越拉越大。为了追求整体性能的平衡,不得不通过磁盘并行化来提升I/O的性能,由此造就了外部存储市场,也就是磁盘阵列市场的繁荣。实际上,很多行业关键业务应用,如在线交易的数据量并不大,在100TB左右,但却为此不得不购买成千上万块磁盘,就是为了弥补I/O性能的不足。如今随着闪存介质的应用,情况有所缓解。

然而,闪存有没有从根本上解决问题呢?同有给出的答案是:要想充分发挥闪存的优势,在系统设计还要采取很多针对性的技术。

深度定制化

现有SSD固态盘设计,为了实现在同一个存储系统内与传统磁盘(HDD)共存,不得不将闪存颗粒封装在与硬盘相同的磁盘模块内部,再经由SAS接口和SAS HBA连接到PCI-E总线上,虽然实现了HDD模块与SSD模块的通用,但付出了更多协议转换及更多链路开销的代价, 其性能,效率及延迟受到很大影响,难以发挥出闪存芯片应有的性能。在数据保护方面,很多SSD固态盘并没有提供基于闪存颗粒一级的数据保护措施,导致整个SSD盘可靠性不高,特别是随着闪存颗粒磨损,坏块逐步增加性,问题暴露会更加明显。

针对目前市场存在的问题,同有NetStor NCS8000针对闪存采取了深度定制化的设计方案,它基于硬件加速架构设计,使用无阻塞交叉总线架构,FPGA和专用低功耗CPU遍布各个控制单元。使用全硬件数据通路设计,无需接口转换、协议控制等环节,充分发挥闪存介质的低延迟、高并发I/O和高吞吐量的特性。

NCS8000逻辑架构如下图所示,主要包含:2个前端接口控制模块、2个控制管理模块、2个RAID控制器和多个闪存模块等。

NetStor NCS8000全闪存阵列逻辑架构

NCS8000全闪存阵列使用专用的闪存模块作为存储介质,闪存模块以接口卡的模式封装闪存颗粒,闪存颗粒高密度集成到主板上。每个闪存模块里最多有4个闪存控制器,每个闪存控制器最多管理16个闪存芯片,即每个闪存模块最多管理64个闪存芯片。

闪存模块逻辑架构图

闪存模块中使用专用的FPGA芯片管理闪存控制器,每个闪存控制器拥有独立的FPGA芯片管理各自的闪存芯片。数据流传输到闪存模块后,由FPGA处理,无需依赖通用的微处理器指令执行。借助闪存控制器中的 FPGA和闪存模块中的 FPGA,即便在超大负载条件下,NCS8000全闪存阵列也可提供超低延迟的 I/O 性能。

FPGA拥有并行计算优势,闪存模块中的FPGA控制闪存控制器和闪存芯片并发操作,每个闪存控制器最多可并行 64 次存取操作,最高配置的NCS8000全闪存阵列最多可同时实现2816次存取操作。正是此并行处理架构,即便业务系统面临大量读写 I/O 工作量的情况下,NCS8000全闪存阵列也能维持高速的 I/O 性能。

在一些关键技术设计上,NCS8000都体现出了独具匠心的地方,例如超容量算法、均衡损耗技术、ECC 硬件检测、收缩条带、垃圾回收和二维RAID设计。以二维RAID为例,它从两个维度进行数据保护,一方面闪存模块内部具备收缩条带RAID技术,实现芯片级的数据保护;另一方面存储系统本身具有系统级的硬件RAID保护,横跨多个闪存模块组的RAID,可横跨4(2D+1P+1S)、6(4D+1P+1S)、8(6D+1P+1S)、10(8D+1P+1S)或者12(10D+1P+1S)闪存模块,类似于传统的多块磁盘组RAID5+热备磁盘。再例如垃圾回收,大多数闪存存储垃圾回收算法采用对称设计,相比NCS8000全闪存阵列使用详细的NAND块特性数据,分析多个属性来确定每个数据块的健康情况,更能够将之与接下来的写入活动相匹配。

高级功能:两条腿走路

目前市场上也有一些硬件深度定制化的产品,就像是一块大闪存固态盘,没有任何高级存储功能,从而限制了现实市场的应用。与之先比,NCS8000在深度定制化的同时,坚持两条腿走路,提供了大量的高级软件功能。

l 存储虚拟化

NCS8000外部存储系统虚拟化功能将不同存储厂商的SAN存储阵列,整合为一个大的虚拟SAN,为传统存储系统的改造提供一个基础的软件定义的平台。NCS8000提供对后端存储设备的查找,管理功能,同时也能对存储设备进行分组管理。

l 自动精简配置:

空间高效的虚拟磁盘技术为连接到的所有后端存储设备提供了自动精简配置特性。只有真正要向磁盘写入数据时,才为其分配物理空间,令实际使用的物理磁盘容量大为减少。此外,虚拟资源调配和快照功能结合,能够减少进行快照时所需的磁盘空间。

l 虚拟磁盘镜像:

虚拟磁盘镜像能够将一个虚拟磁盘的数据同时存储在两台不同的磁盘阵列上,互为备份。其主要用于保护重要数据的安全性和可用性,是一个基于本地的高可靠性解决方案。

l 虚拟磁盘恢复:

虚拟磁盘恢复特性能够帮助用户提高灾难恢复的效率,快速恢复虚拟磁盘使其回到在线状态。

l 自动分层:

当NCS8000外部虚拟化其他磁盘阵列后,可以在NCS8000和外部磁盘阵列之间实现自动数据分层功能。此功能无需手动干预就可以将外部磁盘阵列卷上频繁活动的数据分配到闪存模块上。动态数据移动不仅可提高外部磁盘阵列的访问性能,还对主机服务器和数据的应用用户透明。

l 在线数据迁移:

如何将现有存储系统上的核心业务数据无缝迁移到全闪存阵列上是很多IT管理人员面临的重要问题,NCS8000存储虚拟化功能可以有效的解决这一问题,使用虚拟磁盘镜像不但可以提供本地高可用解决方案,还可以提供数据迁移功能。通过启用NCS8000全闪存阵列的存储虚拟化功能,将现有存储系统进行虚拟整合,虚拟整合之后即可在NCS8000和现有存储系统进行虚拟磁盘镜像,现有数据完全镜像到NCS8000全闪存阵列后,将镜像与源进行分离,完成数据迁移。

l 数据压缩

不同于其他压缩方案,启用压缩功能许可,需配置独立的CPU和硬件压缩卡,压缩功能可以将NCS8000的有效容量最多提高 5 倍(在相同的物理存储空间内存储多达 5 倍的数据),进一步降低成本以及占地空间、电源与散热需求。此外,具有硬件加速功能的实时压缩提高数据存储的经济性。

l 存储双活高可用

两台NCS8000上的逻辑卷可以被整合成为统一的虚拟卷标示符,从主机看来如同来自不同路径的同一个逻辑卷,底层的数据双写和双读操作则由NCS8000双活软件控制完成。两个数据卷上的数据一致性由双活功能模板监测保障,并且两台存储系统之间的镜像卷关系无法进行手工启停操作,此动作由存储微码自动进行控制,在某一台存储系统出现故障时,实现存储卷在磁盘阵列间的自动迁移。

小结

针对闪存介质和存储应用的需要,同有NetStor NCS8000在设计上采用了“两手抓,两手都要硬”的方针,实现了全闪存阵列设计的新突破。为何同有能超越称霸业界的巨头们,在全闪存阵列技术率先取得突破呢?这与同有长期服务军工企业有关,以强大的军转民技术作为依托,同有坚持创新突破,源源不断输出领先的产品,引领企业级应用市场的发展。

 
  作者:佚名
来源:51CTO

推荐阅读
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 用友深耕烟草行业25年,提出数字化转型建议
    本文介绍了用友在烟草行业深耕25年的经验,提出了数字化转型的建议,包括总体要求、主要任务、发展阶段和六位一体推进举措。通过数字化转型,烟草行业将注入新动能,实现高质量发展。 ... [详细]
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 本文详细介绍了Linux中进程控制块PCBtask_struct结构体的结构和作用,包括进程状态、进程号、待处理信号、进程地址空间、调度标志、锁深度、基本时间片、调度策略以及内存管理信息等方面的内容。阅读本文可以更加深入地了解Linux进程管理的原理和机制。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • 嵌入式处理器的架构与内核发展历程
    本文主要介绍了嵌入式处理器的架构与内核发展历程,包括不同架构的指令集的变化,以及内核的流水线和结构。通过对ARM架构的分析,可以更好地理解嵌入式处理器的架构与内核的关系。 ... [详细]
  • 本文介绍了使用哈夫曼树实现文件压缩和解压的方法。首先对数据结构课程设计中的代码进行了分析,包括使用时间调用、常量定义和统计文件中各个字符时相关的结构体。然后讨论了哈夫曼树的实现原理和算法。最后介绍了文件压缩和解压的具体步骤,包括字符统计、构建哈夫曼树、生成编码表、编码和解码过程。通过实例演示了文件压缩和解压的效果。本文的内容对于理解哈夫曼树的实现原理和应用具有一定的参考价值。 ... [详细]
  • 在2022年,随着信息化时代的发展,手机市场上出现了越来越多的机型选择。如何挑选一部适合自己的手机成为了许多人的困扰。本文提供了一些配置及性价比较高的手机推荐,并总结了选择手机时需要考虑的因素,如性能、屏幕素质、拍照水平、充电续航、颜值质感等。不同人的需求不同,因此在预算范围内找到适合自己的手机才是最重要的。通过本文的指南和技巧,希望能够帮助读者节省选购手机的时间。 ... [详细]
  • 从高级程序员到CTO的4次能力跃迁!如何选择适合的技术负责人?
    本文讲解了从高级程序员到CTO的4次能力跃迁,以及如何选择适合的技术负责人。在初创期、发展期、成熟期的每个阶段,创业公司需要不同级别的技术负责人来实现复杂功能、解决技术难题、提高交付效率和质量。高级程序员的职责是实现复杂功能、编写核心代码、处理线上bug、解决技术难题。而技术经理则需要提高交付效率和质量。 ... [详细]
  • 技嘉秀高端B450主板:不再支持第七代APU,性价比高且兼容锐龙一代和二代
    在台北电脑展上,技嘉展示了一款高端的B450主板,型号为“b450 aorus pro wi-fi”。该主板具有10+1相供电、散热片覆盖的供电区域和芯片组,以及两个m.2插槽和背部IO挡板。虽然不支持第七代APU bristol ridge,但它兼容锐龙一代和二代,且具有较高的性价比。该主板还配备了音频声卡、Wi-Fi无线网卡等功能,是一款性能出色且设计精良的主板。 ... [详细]
  • Learning to Paint with Model-based Deep Reinforcement Learning
    本文介绍了一种基于模型的深度强化学习方法,通过结合神经渲染器,教机器像人类画家一样进行绘画。该方法能够生成笔画的坐标点、半径、透明度、颜色值等,以生成类似于给定目标图像的绘画。文章还讨论了该方法面临的挑战,包括绘制纹理丰富的图像等。通过对比实验的结果,作者证明了基于模型的深度强化学习方法相对于基于模型的DDPG和模型无关的DDPG方法的优势。该研究对于深度强化学习在绘画领域的应用具有重要意义。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
author-avatar
刘伟亮
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有