热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

制定混合云中的HPC战略,应该怎么做?

如今,云计算几乎已成为所有企业基本的IT基础设施战略。去年Gartner预测,基础设施即服务(IaaS)的需求将增加36.8%。另外一家咨询公司在2018

  如今,云计算几乎已成为所有企业基本的IT基础设施战略。去年Gartner预测,基础设施即服务(IaaS)的需求将增加36.8%。另外一家咨询公司在2018年的云调查显示,95%的企业都制定了云策略,其中51%采用混合云策略。

  然而,尽管云已经普遍存在,且HPC在云中已经十多年——2008年Univa在AWS上委托了第一个HPC集群——但企业一直不愿将HPC工作负载放在云计算中。对于数据安全性和缺乏相应技术的担忧,已经超过了降低管理成本和避免硬件所有权的好处。

  只有在过去的一年里,我们才真正达到了一个临界点。一项客户调查显示,2017年企业对HPC云的兴趣和使用量增加了10倍。随着与云计算相关挑战的减少,这些企业都看到了采用混合云策略的经济和商业性机会。在公有云中,他们可以在不影响CAPEX的情况下使用像Nvidia GPU这样的专用硬件,也可以扩展计算量繁重的工作负载,如通常会影响其他集群的TensorFlow机器学习模型。而且在混合模式下,他们还可以在不牺牲现有投资的情况下实现这些目标。

制定混合云中的HPC战略,应该怎么做?

  混合云已经成为HPC的重要竞争战略。但是何从开始呢?

  混合云战略

  在HPC领域,大多数公司都开始利用云来扩大现有资源。这样做可以最大化当前的投资,并提供一种方法来简化新的云基础架构模型。然而,这也有可能加剧现有复杂性。如果企业不能很好地了解他们现有的基础设施是如何使用的,那么就不可能知道云服务的增加是否会给他们带来真正需要的结果。因此,在引入新的云资源之前,他们应该尽可能地合并筒仓式的封闭工作负载,并确保有合适的工具,可以让自己看到使用模式和优化资源。

  如此一来,企业就可以将公有云资源引入他们现有的工作流程中。大多数公司开始这种过渡时只迁入一些少量工作负载,然后再有序进行增加。在开始时采用以下策略,并在增加公有云投资时对其进行微调,或许会帮助你实现无缝过渡:

  ·策略自动化对于混合云环境和HPC来说是至关重要的。有HPC工作负载的公司很可能已经意识到了有正确的策略管理工具的好处,而且应该考虑制定一些能够帮助他们最大化使用混合云资源的策略。他们可以通过制定策略来提高吞吐量,这些策略可以自动地确定哪些工作负载在本地运行,而不是在云中,也可以根据工作负载指标和历史记录来可靠地进行监视、响应和做出决策。例如,可以将一个策略设置为,向某个等待资源过久的任务分配一个云实例,或者自动终止未使用的云实例。

  ·云爆发(一个应用部署模式,其应用运行在私有云或数据中心中,当计算能力的需求达到顶峰时突然进入公有云中。)可以用来调整公司的产能以适应需求,极大地加快计算速度,并从对其他集群的影响中不断要求HPC工作负载。组织应该注意将云爆发功能绑定到工作负载管理层,而不是应用程序或基础架构层。这让HPC云管理软件根据公司更广泛的基础设施的需求来决定何时提供服务器实例、阶段数据和拆除资源。当能够有效地使用时,云爆发将使硬件预算决策具有灵活性,同时帮助组织以更快的速度前进。

  ·最终用户应该能够使用他们已经知道且信任的方法与云基础设施进行交互。如果一个组织在采用云计算时突然改变了他们的流水线和提交方法,他们不可避免地会出现错误和延迟。相反,他们应该保留现有的工作流和与之相关的调度器,无论它们是简单的步骤,如“qsub”提交单个任务——还是像环境设置一样复杂的流程,观察工作状态、数据移动,或者是一个从任务到任务的序列。

  ·最后,要带上你自己的映像。使用相同的机器映像有助于使应用程序在本地和基于云的节点之间移植。公司应该使用他们自己的云供应软件定制映像,而不是用每个供应商特有的VM映像。

制定混合云中的HPC战略,应该怎么做?

  HPC拥抱混合云

  混合云是公有云服务提供商和HPC用户的胜利,而我们还只是处于这个巨大改变的开始。HPC往往有数百万台服务器,每年有数十亿的计算时间。随着公司将这些工作负载转移到云上,它们将影响公有云服务的质量和IaaS市场的现状。公有云提供商提供的安全性、GPU和机器学习服务将继续改进,吸引越来越多的企业用户,并巩固混合云中的HPC架构。


推荐阅读
  • 当前,众多初创企业对全栈工程师的需求日益增长,但市场中却存在大量所谓的“伪全栈工程师”,尤其是那些仅掌握了Node.js技能的前端开发人员。本文旨在深入探讨全栈工程师在现代技术生态中的真实角色与价值,澄清对这一角色的误解,并强调真正的全栈工程师应具备全面的技术栈和综合解决问题的能力。 ... [详细]
  • 作为140字符的开创者,Twitter看似简单却异常复杂。其简洁之处在于仅用140个字符就能实现信息的高效传播,甚至在多次全球性事件中超越传统媒体的速度。然而,为了支持2亿用户的高效使用,其背后的技术架构和系统设计则极为复杂,涉及高并发处理、数据存储和实时传输等多个技术挑战。 ... [详细]
  • Python作为当今IT领域中最受欢迎且高效的语言之一,其框架能够显著加速Web应用程序的开发过程。本文推荐并对比了十大顶级Python Web开发框架,其中CubicWeb以其卓越的代码重用性和模块化设计脱颖而出,为开发者提供了强大的支持。 ... [详细]
  • 如何将PHP文件上传至服务器及正确配置服务器地址 ... [详细]
  • 掌握PHP框架开发与应用的核心知识点:构建高效PHP框架所需的技术与能力综述
    掌握PHP框架开发与应用的核心知识点对于构建高效PHP框架至关重要。本文综述了开发PHP框架所需的关键技术和能力,包括但不限于对PHP语言的深入理解、设计模式的应用、数据库操作、安全性措施以及性能优化等方面。对于初学者而言,熟悉主流框架如Laravel、Symfony等的实际应用场景,有助于更好地理解和掌握自定义框架开发的精髓。 ... [详细]
  • 从用户转型为开发者:一场思维升级的旅程 | 专访 StarRocks Committer 周威
    从用户转变为开发者,不仅是一次角色的转换,更是一场深刻的思维升级之旅。本次专访中,StarRocks Committer 周威分享了他如何在这一过程中逐步提升技术能力与思维方式,为开源社区贡献自己的力量。 ... [详细]
  • MySQL性能优化与调参指南【数据库管理】
    本文详细探讨了MySQL数据库的性能优化与参数调整技巧,旨在帮助数据库管理员和开发人员提升系统的运行效率。内容涵盖索引优化、查询优化、配置参数调整等方面,结合实际案例进行深入分析,提供实用的操作建议。此外,还介绍了常见的性能监控工具和方法,助力读者全面掌握MySQL性能优化的核心技能。 ... [详细]
  • Linux磁盘管理入门指南:MBR分区格式详解与安装步骤
    在 CentOS 7.x 环境下,本文详细介绍了 MBR 分区格式的基本概念及其安装步骤。实验中使用了 SAS 和 SATA 硬盘,其中 SAS 硬盘主要用于企业级应用和服务器,而 SATA 硬盘则广泛应用于个人计算机和低端服务器。文章通过具体操作示例,帮助读者更好地理解和掌握 Linux 磁盘管理的基本技能。 ... [详细]
  • 如何创建和使用快捷链接:掌握打开链接的快捷方式技巧 ... [详细]
  • 深入解析 C 语言与 C++ 之间的差异及关联
    深入解析 C 语言与 C++ 之间的差异及关联 ... [详细]
  • 本文深入探讨了Spring Cloud Eureka在企业级应用中的高级使用场景及优化策略。首先,介绍了Eureka的安全配置,确保服务注册与发现过程的安全性。接着,分析了Eureka的健康检查机制,提高系统的稳定性和可靠性。随后,详细讨论了Eureka的各项参数调优技巧,以提升性能和响应速度。最后,阐述了如何实现Eureka的高可用性部署,保障服务的连续性和可用性。通过这些内容,开发者可以更好地理解和运用Eureka,提升微服务架构的整体效能。 ... [详细]
  • 优化后的标题:PHP分布式高并发秒杀系统设计与实现
    PHPSeckill是一个基于PHP、Lua和Redis构建的高效分布式秒杀系统。该项目利用php_apcu扩展优化性能,实现了高并发环境下的秒杀功能。系统设计充分考虑了分布式架构的可扩展性和稳定性,适用于大规模用户同时访问的场景。项目代码已开源,可在Gitee平台上获取。 ... [详细]
  • 本文详细介绍了HDFS的基础知识及其数据读写机制。首先,文章阐述了HDFS的架构,包括其核心组件及其角色和功能。特别地,对NameNode进行了深入解析,指出其主要负责在内存中存储元数据、目录结构以及文件块的映射关系,并通过持久化方案确保数据的可靠性和高可用性。此外,还探讨了DataNode的角色及其在数据存储和读取过程中的关键作用。 ... [详细]
  • Kali Linux 渗透测试实战指南:第24章 客户端安全威胁分析与防御策略
    客户端安全威胁分析与防御策略主要探讨了终端设备(如计算机、平板电脑和移动设备)在使用互联网时可能面临的各种安全威胁。本章详细介绍了这些设备如何作为信息和服务的提供者或接收者,以及它们在与服务器等其他系统交互过程中可能遇到的安全风险,并提出了有效的防御措施。 ... [详细]
  • 谷歌工程师:TensorFlow已重获新生;网友:我还是用PyTorch
    乾明发自凹非寺量子位报道|公众号QbitAI道友留步!TensorFlow已重获新生。在“PyTorch真香”的潮流中,有人站出来为TensorFlow说话了。这次来自谷歌的工程师 ... [详细]
author-avatar
蜜蜜鱼鱼_270
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有