热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

应该何时把大数据迁移到云上

云对每个人来说都是又大、又白、又轻柔的梦境。当有人说他们的大数据战略是“把全部投入云端”时,你无法确定他们是否是一个有远见的人,或仅仅是重复一个专家在一次行

云对每个人来说都是又大、又白、又轻柔的梦境。当有人说他们的大数据战略是“把全部投入云端”时,你无法确定他们是否是一个有远见的人,或仅仅是重复一个专家在一次行业会议上告诉他们的事。

大数据和云范例之间实际的重复非常广泛,你可以宣称你正在一个内部部署的Hadoop、NoSQL、或企业数据仓库环境下处理基于云的大数据。请记住云被广泛理解为包含“私有”部署以补充或代替公共云、SaaS、和多租户托管环境。

但是如果你把云的实际定义限制于公共订购服务内,你就能找到问题的核心:识别哪些大数据应用相对于内部部署更适合公共云/SaaS 部署(比如那些涉及提前优化的硬件设备或虚拟服务器集群的应用)。

换句话说:你什么时候可以通过引进一个外部服务供应商为你管理它们,从而提高大数据的可扩展性、灵活性、性能、成本效益、可靠性、以及可管理性?以下是一些明确的大数据在公共云中的使用实例。

已经在云中托管的企业应用程序:如果和许多企业一样——尤其是中小型企业——你使用了一个外部服务供应商提供的基于云的应用程序,许多你的源交易数据已经被置于公共云之上。如果你在这个云平台上有更深入的历史数据,那么它可能已经积累至大数据级。如果外部服务供应商或它的合作伙伴之一提供了一个增值的分析服务——如客户流失分析、营销优化、或客户数据的异地备份和归档——那么利用这些服务会比将这些数据置于内部来得有意义。

需要相当大的预处理能力的大容量外部数据源:例如,如果你打算通过监测社交媒体数据的聚合输入来分析客户的情感,内部的服务器、存储、或带宽容量可能无法很好地为你完成这项任务。这是一个明显的关于应用程序的例子,在这里你会希望利用一个基于公共云的、大数据驱动的服务所提供的社交媒体过滤服务解决问题。

超过你内部部署的大数据处理能力的策略型应用程序:如果你已经有一个专门为某个应用程序内部部署的大数据平台(比如高容量非结构化数据源ETL专用的Hadoop集群),那么使用一个公共云来处理当前平台所不适用的、或是按需服务会更健壮或划算的新的应用程序(例如多渠道营销、社交媒体分析、地理空间分析、可查询归档、弹性数据沙盒技术)可能会更行得通。事实上,如果你需要尽快获得PB级规模的、流媒体的、多结构的大数据处理能力,那么一个公共云产品可能是唯一可行的选择。

非常大但只是短暂存在的沙盒的弹性供应:如果你有一个短期周转的短期数据科学项目,而这个项目需要比惯常大一个数量级的探索型数据集市(又名沙盒),那么云可能是你唯一可行或可以支付的选择。你能够很快在项目期间运作基于云的存储和处理能力,然后当项目结束时又可以很快的取消之前配置的一切。我称之为“泡沫集市”部署模型,它是为云量身定制的。

如果你已经有过这其中任一的经历,那么基于云的大数据的战略问题就不是你该从何开始。随着基于云的大数据服务逐渐成熟以及性价比(包括性能、可扩展性、灵活性和可管理性)不断提高,这个问题将会是你该在哪结束。到本个十年的末期,随着越来越多的应用程序和数据迁移到公共云上,建立和运作你自己的大数据部署的想法似乎如同现在你想设计自己的服务器一般不切实际。



推荐阅读
  • 【转】腾讯分析系统架构解析
    TA(TencentAnalytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可。本文将从实 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识,包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性,外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍,读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行,并且不再受限于特定的语言和部署环境。 ... [详细]
  • GAMETECH腾讯云游戏行业技术沙龙成都站圆满落幕
    11月13日,由腾讯云主办、游戏茶馆协办的2020年首场GAME-TECH腾讯云游戏行业技术沙龙在成都圆满落幕。本次沙龙邀请了腾讯云游戏行业解决方案总监宋永周、腾讯云游戏行业高级解决方案架构师曾梓恩、腾讯云游戏行业高级产品架构师郑晓曦、腾讯云游戏行业高级解决方案架构师温球良和天美L1(王者荣耀)服务器技术副总监杨光,为参会同行们带来了干货满满的技术建议。本文介绍了腾讯云游戏云的优势和为不同游戏研运场景提供的服务。腾讯云在中国游戏云服务市场领跑,成为众多游戏开发者的合作伙伴。 ... [详细]
  • LVS-DR直接路由实现负载均衡示例
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • Java工程师书单(初级,中级,高级)
    简介怎样学习才能从一名Java初级程序员成长为一名合格的架构师,或者说一名合格的架构师应该有怎样的技术知识体系,这是不仅一个刚刚踏入职场的初级程序员也是工作一两年之后开始迷茫的程序 ... [详细]
  • CentOS 7配置SSH远程访问及控制
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行-- ... [详细]
  • 《Spark核心技术与高级应用》——1.2节Spark的重要扩展
    本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章,第1.2节Spark的重要扩展,作者于俊向海代其锋马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看1. ... [详细]
  • 前面刚有AWS开战MongoDB,双方“隔空互呛”,这厢又曝出2亿+简历信息泄露——MongoDB的这场开年似乎“充实”得过分了些。长期以来,作为“最受欢迎的NoSQL数据库”,M ... [详细]
  • hackingTeam是如何被黑的
    hackingTeam是如何被黑的 ... [详细]
  • 什么是堡垒机?堡垒机是一个主机系统,其自身通常经过了一定的加固,具有较高的安全性,可抵御一定的攻击,其作用主 ... [详细]
  • 未来几年,商业智能的大趋势介绍
    1.数据科学家将消亡熟悉数据分析将是普通业务人员的基本技能,能利用好数据价值去做规划的企业组织将更成功,忽略数据重要性的将被逐渐淘汰。2.云端商业智 ... [详细]
  • MySQL:互联网公司常用 分库分表
    本文目录一、数据库瓶颈IO瓶颈CPU瓶颈二、分库分表水平分库水平分表垂直分库垂直分表三、分库分表工具四、分库分表步骤五、分库分表问题非partit ... [详细]
author-avatar
王静芸平桂
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有