热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

对于大数据的发展,主要划分为哪几大阶段?

1.部署阶段2011—2013年,互联网公司开始实验大数据技术,推出了若干的Hadoop(一个开发和处理大规模数据的软优平台࿰

1.部署阶段

2011—2013年,互联网公司开始实验大数据技术,推出了若干的Hadoop(一个开发和处理大规模数据的软优平台)试点计划或者尝试了一些试点方案,由此出现了诸如“数据科学家”和“首席数据官”等此前并不存在的职位。他们做了很多努力,但是依然没有出现足够多的、可以展示的成果。此时,更多的公司对大数据技术持观望态度,它们寄希望于某个大型供应商可以提供一个一站式解决方案,比如IBM公司,但这种情况并没有出现。

2.生态体系正在成熟

当一部分大数据企业完成了融资,企业规模得到了扩大时,更重要的是它们从早期的失败中获得了宝贵的经验,已经可以提供成熟、经受过考验的产品。其中的佼佼者已经成功上市,比如2015年上市的Hortonworks公司;没上市的也已经获得上亿美元融资,在资金方面看起来不会显得那么单薄,比如Cloudera公司。

随着大数据领域的创业持续进行,公司的数量与日俱增,行业基本趋势也慢慢发生了变化,大数据业务的中心从基础设施(开发者和工程师)转移到了数据分析(数据科学家和分析师),甚至在应用方面已经初露端倪。

3.大数据基础设施持续创新

尽管大数据的重心已经转移,但是基础设施领域的创新仍然富有活力。2015年,ApacheSpark大热,这个利用了内存处理的开源框架受到了IBM、Cloudera等企业的拥护。ApacheSpark的出现解决了一些导致Hadoop采用放缓的关键问题:ApacheSpark数据分析更快,更容易编程,并且跟机器学习能够很好地搭配。

在数据库领域内,出现了很多新兴玩家,也出现了很多令人兴奋的技术进步,比如图形数据库的成熟、专门数据库的出现,再比如统计时序数据库InfluxDB。此外,数据仓库也在不断演变。

4.大数据分析与人工智能结合

大数据分析越来越关注利用人工智能来帮助分析大规模的数据。其实,有很大一部分人工智能在某种程度上来说是大数据的产物,深度学习概念在10年前提出,而其背后的算法在几十年前就诞生了,但它真正发挥出最大的潜能还是在应用到大数据之后。人工智能与大数据之间的关系非常紧密,它们似乎就是天生的一对搭档。

5.大数据应用的加速发展

在大数据核心基础设施的日啊战一一得到解决之后,大数据应用必将以飞快的速度构建起来。在企业内部,已经有足够多的工具来帮助跨多个核心职能的企业用户,比如销售和营销的大数据应用通过处理大规模的内外部数据就可以分析出哪些客户会购买、续约或者流失,并且这些分析结果都将实时得出。

这些大数据应用依托在最新的大数据技术基础上开发,客户无须部署底层大数据技术,即可利用大数据;而底层的技术已经是打包的,这是未来的一个趋势。另外,人工智能在应用层也将得到广泛应用,比如在安全领域用来对付黑客。

然而,随着大数据的深度发展,这个词可能会变得越来越冷。不是因为它过时或者不重要了,而是因为它将成为未来科技的血液,在我们看不到的地方发挥作用。对于技术层面的东西,这或许就是最好的命运归宿。

人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
数据时代,值得了解的十大数据发展趋势
http://www.duozhishidai.com/article-13959-1.html
发展大数据产业,需要明确四大重点方向
http://www.duozhishidai.com/article-2222-1.html
什么是大数据,中国大数据发展到了什么程度!
http://www.duozhishidai.com/article-935-1.html


多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台

推荐阅读
  • 目录浏览漏洞与目录遍历漏洞的危害及修复方法
    本文讨论了目录浏览漏洞与目录遍历漏洞的危害,包括网站结构暴露、隐秘文件访问等。同时介绍了检测方法,如使用漏洞扫描器和搜索关键词。最后提供了针对常见中间件的修复方式,包括关闭目录浏览功能。对于保护网站安全具有一定的参考价值。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • Android日历提醒软件开源项目分享及使用教程
    本文介绍了一款名为Android日历提醒软件的开源项目,作者分享了该项目的代码和使用教程,并提供了GitHub项目地址。文章详细介绍了该软件的主界面风格、日程信息的分类查看功能,以及添加日程提醒和查看详情的界面。同时,作者还提醒了读者在使用过程中可能遇到的Android6.0权限问题,并提供了解决方法。 ... [详细]
  • 腾讯安全平台部招聘安全工程师和数据分析工程师
    腾讯安全平台部正在招聘安全工程师和数据分析工程师。安全工程师负责安全问题和安全事件的跟踪和分析,提供安全测试技术支持;数据分析工程师负责安全产品相关系统数据统计和分析挖掘,通过用户行为数据建模为业务决策提供参考。招聘要求包括熟悉渗透测试和常见安全工具原理,精通Web漏洞,熟练使用多门编程语言等。有相关工作经验和在安全站点发表作品的候选人优先考虑。 ... [详细]
  • ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES
    一、认识ElasticSearch是一个基于Lucene的开源搜索引擎,通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索,分析系统&# ... [详细]
  • 面试经验分享:华为面试四轮电话面试、一轮笔试、一轮主管视频面试、一轮hr视频面试
    最近有朋友去华为面试,面试经历包括四轮电话面试、一轮笔试、一轮主管视频面试、一轮hr视频面试。80%的人都在第一轮电话面试中失败,因为缺乏基础知识。面试问题涉及 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • 本文介绍了使用Spark实现低配版高斯朴素贝叶斯模型的原因和原理。随着数据量的增大,单机上运行高斯朴素贝叶斯模型会变得很慢,因此考虑使用Spark来加速运行。然而,Spark的MLlib并没有实现高斯朴素贝叶斯模型,因此需要自己动手实现。文章还介绍了朴素贝叶斯的原理和公式,并对具有多个特征和类别的模型进行了讨论。最后,作者总结了实现低配版高斯朴素贝叶斯模型的步骤。 ... [详细]
  • Activiti7流程定义开发笔记
    本文介绍了Activiti7流程定义的开发笔记,包括流程定义的概念、使用activiti-explorer和activiti-eclipse-designer进行建模的方式,以及生成流程图的方法。还介绍了流程定义部署的概念和步骤,包括将bpmn和png文件添加部署到activiti数据库中的方法,以及使用ZIP包进行部署的方式。同时还提到了activiti.cfg.xml文件的作用。 ... [详细]
  • Apache Shiro 身份验证绕过漏洞 (CVE202011989) 详细解析及防范措施
    本文详细解析了Apache Shiro 身份验证绕过漏洞 (CVE202011989) 的原理和影响,并提供了相应的防范措施。Apache Shiro 是一个强大且易用的Java安全框架,常用于执行身份验证、授权、密码和会话管理。在Apache Shiro 1.5.3之前的版本中,与Spring控制器一起使用时,存在特制请求可能导致身份验证绕过的漏洞。本文还介绍了该漏洞的具体细节,并给出了防范该漏洞的建议措施。 ... [详细]
  • 建立分类感知器二元模型对样本数据进行分类
    本文介绍了建立分类感知器二元模型对样本数据进行分类的方法。通过建立线性模型,使用最小二乘、Logistic回归等方法进行建模,考虑到可能性的大小等因素。通过极大似然估计求得分类器的参数,使用牛顿-拉菲森迭代方法求解方程组。同时介绍了梯度上升算法和牛顿迭代的收敛速度比较。最后给出了公式法和logistic regression的实现示例。 ... [详细]
author-avatar
374439252亮
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有