热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

制定混合云中的HPC战略,应该怎么做?

如今,云计算几乎已成为所有企业基本的IT基础设施战略。去年Gartner预测,基础设施即服务(IaaS)的需求将增加36.8%。另外一家咨询公司在2018

  如今,云计算几乎已成为所有企业基本的IT基础设施战略。去年Gartner预测,基础设施即服务(IaaS)的需求将增加36.8%。另外一家咨询公司在2018年的云调查显示,95%的企业都制定了云策略,其中51%采用混合云策略。

  然而,尽管云已经普遍存在,且HPC在云中已经十多年——2008年Univa在AWS上委托了第一个HPC集群——但企业一直不愿将HPC工作负载放在云计算中。对于数据安全性和缺乏相应技术的担忧,已经超过了降低管理成本和避免硬件所有权的好处。

  只有在过去的一年里,我们才真正达到了一个临界点。一项客户调查显示,2017年企业对HPC云的兴趣和使用量增加了10倍。随着与云计算相关挑战的减少,这些企业都看到了采用混合云策略的经济和商业性机会。在公有云中,他们可以在不影响CAPEX的情况下使用像Nvidia GPU这样的专用硬件,也可以扩展计算量繁重的工作负载,如通常会影响其他集群的TensorFlow机器学习模型。而且在混合模式下,他们还可以在不牺牲现有投资的情况下实现这些目标。

制定混合云中的HPC战略,应该怎么做?

  混合云已经成为HPC的重要竞争战略。但是何从开始呢?

  混合云战略

  在HPC领域,大多数公司都开始利用云来扩大现有资源。这样做可以最大化当前的投资,并提供一种方法来简化新的云基础架构模型。然而,这也有可能加剧现有复杂性。如果企业不能很好地了解他们现有的基础设施是如何使用的,那么就不可能知道云服务的增加是否会给他们带来真正需要的结果。因此,在引入新的云资源之前,他们应该尽可能地合并筒仓式的封闭工作负载,并确保有合适的工具,可以让自己看到使用模式和优化资源。

  如此一来,企业就可以将公有云资源引入他们现有的工作流程中。大多数公司开始这种过渡时只迁入一些少量工作负载,然后再有序进行增加。在开始时采用以下策略,并在增加公有云投资时对其进行微调,或许会帮助你实现无缝过渡:

  ·策略自动化对于混合云环境和HPC来说是至关重要的。有HPC工作负载的公司很可能已经意识到了有正确的策略管理工具的好处,而且应该考虑制定一些能够帮助他们最大化使用混合云资源的策略。他们可以通过制定策略来提高吞吐量,这些策略可以自动地确定哪些工作负载在本地运行,而不是在云中,也可以根据工作负载指标和历史记录来可靠地进行监视、响应和做出决策。例如,可以将一个策略设置为,向某个等待资源过久的任务分配一个云实例,或者自动终止未使用的云实例。

  ·云爆发(一个应用部署模式,其应用运行在私有云或数据中心中,当计算能力的需求达到顶峰时突然进入公有云中。)可以用来调整公司的产能以适应需求,极大地加快计算速度,并从对其他集群的影响中不断要求HPC工作负载。组织应该注意将云爆发功能绑定到工作负载管理层,而不是应用程序或基础架构层。这让HPC云管理软件根据公司更广泛的基础设施的需求来决定何时提供服务器实例、阶段数据和拆除资源。当能够有效地使用时,云爆发将使硬件预算决策具有灵活性,同时帮助组织以更快的速度前进。

  ·最终用户应该能够使用他们已经知道且信任的方法与云基础设施进行交互。如果一个组织在采用云计算时突然改变了他们的流水线和提交方法,他们不可避免地会出现错误和延迟。相反,他们应该保留现有的工作流和与之相关的调度器,无论它们是简单的步骤,如“qsub”提交单个任务——还是像环境设置一样复杂的流程,观察工作状态、数据移动,或者是一个从任务到任务的序列。

  ·最后,要带上你自己的映像。使用相同的机器映像有助于使应用程序在本地和基于云的节点之间移植。公司应该使用他们自己的云供应软件定制映像,而不是用每个供应商特有的VM映像。

制定混合云中的HPC战略,应该怎么做?

  HPC拥抱混合云

  混合云是公有云服务提供商和HPC用户的胜利,而我们还只是处于这个巨大改变的开始。HPC往往有数百万台服务器,每年有数十亿的计算时间。随着公司将这些工作负载转移到云上,它们将影响公有云服务的质量和IaaS市场的现状。公有云提供商提供的安全性、GPU和机器学习服务将继续改进,吸引越来越多的企业用户,并巩固混合云中的HPC架构。


推荐阅读
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • 如何使用代理服务器进行网页抓取?
    本文介绍了如何使用代理服务器进行网页抓取,并探讨了数据驱动对竞争优势的重要性。通过网页抓取,企业可以快速获取并分析大量与需求相关的数据,从而制定营销战略。同时,网页抓取还可以帮助电子商务公司在竞争对手的网站上下载数百页的有用数据,提高销售增长和毛利率。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 这是原文链接:sendingformdata许多情况下,我们使用表单发送数据到服务器。服务器处理数据并返回响应给用户。这看起来很简单,但是 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
  • 分享2款网站程序源码/主题等后门检测工具
    本文介绍了2款用于检测网站程序源码和主题中是否存在后门的工具,分别是WebShellkiller和D盾_Web查杀。WebShellkiller是一款支持webshell和暗链扫描的工具,采用多重检测引擎和智能检测模型,能够更精准地检测出已知和未知的后门文件。D盾_Web查杀则使用自行研发的代码分析引擎,能够分析更为隐藏的WebShell后门行为。 ... [详细]
  • Linux如何安装Mongodb的详细步骤和注意事项
    本文介绍了Linux如何安装Mongodb的详细步骤和注意事项,同时介绍了Mongodb的特点和优势。Mongodb是一个开源的数据库,适用于各种规模的企业和各类应用程序。它具有灵活的数据模式和高性能的数据读写操作,能够提高企业的敏捷性和可扩展性。文章还提供了Mongodb的下载安装包地址。 ... [详细]
  • CentOS 7部署KVM虚拟化环境之一架构介绍
    本文介绍了CentOS 7部署KVM虚拟化环境的架构,详细解释了虚拟化技术的概念和原理,包括全虚拟化和半虚拟化。同时介绍了虚拟机的概念和虚拟化软件的作用。 ... [详细]
  • 单点登录原理及实现方案详解
    本文详细介绍了单点登录的原理及实现方案,其中包括共享Session的方式,以及基于Redis的Session共享方案。同时,还分享了作者在应用环境中所遇到的问题和经验,希望对读者有所帮助。 ... [详细]
  • GAMETECH腾讯云游戏行业技术沙龙成都站圆满落幕
    11月13日,由腾讯云主办、游戏茶馆协办的2020年首场GAME-TECH腾讯云游戏行业技术沙龙在成都圆满落幕。本次沙龙邀请了腾讯云游戏行业解决方案总监宋永周、腾讯云游戏行业高级解决方案架构师曾梓恩、腾讯云游戏行业高级产品架构师郑晓曦、腾讯云游戏行业高级解决方案架构师温球良和天美L1(王者荣耀)服务器技术副总监杨光,为参会同行们带来了干货满满的技术建议。本文介绍了腾讯云游戏云的优势和为不同游戏研运场景提供的服务。腾讯云在中国游戏云服务市场领跑,成为众多游戏开发者的合作伙伴。 ... [详细]
  • GPT-3发布,动动手指就能自动生成代码的神器来了!
    近日,OpenAI发布了最新的NLP模型GPT-3,该模型在GitHub趋势榜上名列前茅。GPT-3使用的数据集容量达到45TB,参数个数高达1750亿,训练好的模型需要700G的硬盘空间来存储。一位开发者根据GPT-3模型上线了一个名为debuid的网站,用户只需用英语描述需求,前端代码就能自动生成。这个神奇的功能让许多程序员感到惊讶。去年,OpenAI在与世界冠军OG战队的表演赛中展示了他们的强化学习模型,在限定条件下以2:0完胜人类冠军。 ... [详细]
  • 在本教程中,我们将看到如何使用FLASK制作第一个用于机器学习模型的RESTAPI。我们将从创建机器学习模型开始。然后,我们将看到使用Flask创建AP ... [详细]
author-avatar
蜜蜜鱼鱼_270
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有