ApacheHadoop发展史

作者：优优绿园之时尚饰品_834 | 来源：互联网 | 2023-07-05 11:58

以下内容从ApacheHadoop官网翻译出来官网地址http:hadoop.apache.org什么是ApacheHadoop？推荐使用2.7.1、2.7.3Apa

以下内容从Apache Hadoop官网翻译出来

官网地址

http://hadoop.apache.org/

什么是Apache Hadoop&＃xff1f; 推荐使用 2.7.1 、2.7.3

Apache™Hadoop®项目为可靠的&＃xff0c;可扩展的分布式计算开发开源软件。

Apache Hadoop软件库是一个框架&＃xff0c;它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器&＃xff0c;每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性&＃xff0c;而是设计用于在应用层检测和处理故障&＃xff0c;从而在一组计算机之上提供高可用性服务&＃xff0c;每个计算机都可能出现故障。

该项目包括这些模块&＃xff1a;

Hadoop Common&＃xff1a;支持其他Hadoop模块的常用工具。
Hadoop分布式文件系统&＃xff08;HDFS™&＃xff09;&＃xff1a;一种分布式文件系统&＃xff0c;可提供对应用程序数据的高吞吐量访问。
Hadoop YARN&＃xff1a;作业调度和集群资源管理的框架。
Hadoop MapReduce&＃xff1a;一种用于并行处理大型数据集的基于YARN的系统。

Apache的其他Hadoop相关项目包括&＃xff1a;

Ambari™&＃xff1a;一种用于供应&＃xff0c;管理和监控Apache Hadoop集群的基于Web的工具&＃xff0c;其中包括对Hadoop HDFS&＃xff0c;Hadoop MapReduce&＃xff0c;Hive&＃xff0c;HCatalog&＃xff0c;HBase&＃xff0c;ZooKeeper&＃xff0c;Oozie&＃xff0c;Pig和Sqoop的支持。Ambari还提供了一个用于查看群集运行状况的仪表板&＃xff0c;例如热图和可以直观地查看MapReduce&＃xff0c;Pig和Hive应用程序的功能&＃xff0c;以及以用户友好的方式诊断其性能特征的功能。
Avro™&＃xff1a;数据序列化系统。
Cassandra™&＃xff1a;无单点故障的可扩展多主数据库。
Chukwa™&＃xff1a;管理大型分布式系统的数据收集系统。
HBase™&＃xff1a;可扩展的分布式数据库&＃xff0c;支持大型表格的结构化数据存储。
Hive™&＃xff1a;提供数据汇总和即席查询的数据仓库基础架构。
Mahout™&＃xff1a;可扩展的机器学习和数据挖掘库。
Pig™&＃xff1a;用于并行计算的高级数据流语言和执行框架。
Spark™&＃xff1a;用于Hadoop数据的快速和通用计算引擎。Spark提供了一个简单而富有表现力的编程模型&＃xff0c;它支持广泛的应用程序&＃xff0c;包括ETL&＃xff0c;机器学习&＃xff0c;流处理和图计算。
Tez™&＃xff1a;一种基于Hadoop YARN的通用数据流编程框架&＃xff0c;它提供了一个强大且灵活的引擎&＃xff0c;可执行任意DAG任务来处理批处理和交互式用例的数据。Hado™&＃xff0c;Pig™和Hadoop生态系统中的其他框架以及其他商业软件&＃xff08;例如ETL工具&＃xff09;正在采用Tez来替代Hadoop™MapReduce作为底层执行引擎。
ZooKeeper™&＃xff1a;分布式应用程序的高性能协调服务

Hadoop的发展史

Alpha&＃xff1a;是内部测试版,一般不向外部发布,会有很多Bug.一般只有测试人员使用。

Beta&＃xff1a;也是测试版&＃xff0c;这个阶段的版本会一直加入新的功能。在Alpha版之后推出。

RC&＃xff1a;(Release　Candidate) 顾名思义么 ! 用在软件上就是候选版本。系统平台上就是发行候选版本。RC版不会再加入新的功能了&＃xff0c;主要着重于除错。

GA:General Availability,正式发布的版本&＃xff0c;在国外都是用GA来说明release版本的。

2017年12月14日&＃xff1a;Release 2.7.5 available

这是Apache Hadoop 2.7产品线的下一个版本。

请参阅 Hadoop 2.7.5发行说明&＃xff0c;了解自上一版本2.7.4以来的34个错误修复和优化列表。

2017年12月13日&＃xff1a;Release 3.0.0 generally available

在四个alpha版本和一个beta版本发布之后&＃xff0c;通常可以使用3.0.0。3.0.0包含自3.0.0-beta1以来的302个错误修复&＃xff0c;改进和其他增强功能。总而言之&＃xff0c;自2.7.0以来&＃xff0c;已有6242个问题作为3.0.0发布系列的一部分进行了修复。

2017年12月12日&＃xff1a;Release 2.8.3 available

这是Apache Hadoop 2.8发行版的下一个版本。自2.8.2以来&＃xff0c;它包含79个错误修复&＃xff0c;改进和其他增强功能。有关Apache Hadoop 2.8的主要功能和改进&＃xff0c;请参阅&＃xff1a; 主要更改的概述。有关自上一版2.8.2以来的79个修复&＃xff0c;改进和其他增强功能的详细信息&＃xff0c;

2017年11月17日&＃xff1a;Release 2.9.0 available GA版本

这是2.9版本发布的第一个GA版本。它包含30个新功能&＃xff0c;包含500多个子任务&＃xff0c;407个改进&＃xff0c;790个错误修复了自2.8.2以来新增的固定问题。有关Apache Hadoop 2.8.2的主要功能和改进&＃xff0c;请参阅&＃xff1a;主要更改的概述。有关自上一版2.8.2以来的790个错误修复&＃xff0c;改进和其他增强功能的详细信息&＃xff0c;请检查&＃xff1a; 发行说明和更改日志

请注意&＃xff1a;尽管此版本已在相当大的群集上进行过测试&＃xff0c;但生产用户可以等待后续的版本发布&＃xff0c;其中包含进一步稳定和下游采用的修复。

2017年10月24日&＃xff1a;Release 2.8.2 available GA版本

这是2.8版本发布的第一个GA版本。它包含自2.8.1以来的315个错误修复&＃xff0c;改进和其他增强功能。有关Apache Hadoop 2.8的主要功能和改进&＃xff0c;请参阅&＃xff1a; 主要更改的概述。有关自上一个2.8.1发行版以来的315个修订&＃xff0c;改进和其他增强的详细信息&＃xff0c;请检查&＃xff1a; 发行说明和更新日志

2017年10月3日&＃xff1a;Release 3.0.0-beta1 available

这是3.0.0发行版中的第一个测试版。它由自3.0.0-alpha4以来的576个错误修复&＃xff0c;改进和其他增强组成。这是计划成为最终的alpha版本&＃xff0c;下一个版本是3.0.0 GA。

请注意&＃xff0c;beta版本API稳定&＃xff0c;但没有质量保证&＃xff0c;不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。beta1 发行说明和更新日志详细介绍了自3.0.0-alpha4以来的更改。

2017年8月4日&＃xff1a;Release 2.7.4 available

这是Apache Hadoop 2.7产品线的下一个版本。

请参阅 Hadoop 2.7.4发行说明&＃xff0c;了解自上一版本2.7.3以来的264个错误修复和优化列表。

2017年7月7日&＃xff1a;Release 3.0.0-alpha4 available

这是3.0.0发行版中的第四个alpha版本。它包含自3.0.0-alpha3以来的814个错误修复&＃xff0c;改进和其他增强功能。这是计划成为最终的alpha版本&＃xff0c;下一个版本是3.0.0-beta1。

请注意&＃xff0c;alpha版本不具有质量或API稳定性的保证&＃xff0c;并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。alpha4 发布说明和更新日志详细介绍了自3.0.0-alpha3以来的更改。

2017年6月8日&＃xff1a;Release 2.8.1 available

这是2.8.0发行版中的安全发布版。它包含2.8.0以上的安全修复程序。鼓励2.8.0用户升级到2.8.1。

请注意&＃xff0c;2.8.x发行版仍未准备好用于生产。关键问题正在通过测试和下游采用来解决。生产用户应该等待2.8.x版本的后续版本。

2017年5月26日&＃xff1a;Release 3.0.0-alpha3 available

这是3.0.0发行版中的安全发行版。它由alpha2 plus安全修补程序以及必要的与生成相关的修补程序组成。鼓励3.0.0-alpha1和3.0.0-alpha2上的用户升级到3.0.0-alpha3。

请注意&＃xff0c;alpha版本不具有质量或API稳定性的保证&＃xff0c;并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。alpha3 发布说明和更新日志详细介绍了自3.0.0-alpha2以来的更改。

2017年3月22日&＃xff1a;Release 2.8.0 available

Apache Hadoop 2.8.0包含许多重要的功能和增强功能。有关主要功能和改进&＃xff0c;请参阅&＃xff1a; 2.8.0中的重大更改概述。有关自上一个2.7.0发布以来的2917次修复&＃xff0c;改进和新功能的详细信息&＃xff0c;请检查&＃xff1a; 发行说明和更新日志

请注意&＃xff0c;此版本还没有准备好供生产使用。关键问题正在通过测试和下游采用来解决。生产用户应该等待2.8.1 / 2.8.2版本。

2017年1月25日&＃xff1a;Release 3.0.0-alpha2 available

这是一系列计划的alpha和beta中的第二个alpha&＃xff0c;导致3.0.0 GA版本。其目的是“尽早发布&＃xff0c;经常发布”&＃xff0c;以快速反复收集下游用户的反馈意见。

请注意&＃xff0c;alpha版本不具有质量或API稳定性的保证&＃xff0c;并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。自上一个3.0.0-alpha1发布以来&＃xff0c;alpha2 发行说明和更新日志详细信息857修复&＃xff0c;改进和新功能。

2016年10月08日&＃xff1a;Release 2.6.5 available

2.6版本的发行版。

请参阅 Hadoop 2.6.5发行说明中的79个关键错误修复列表以及自2.6.4之前的版本。

2016年9月3日&＃xff1a;Release 3.0.0-alpha1 available

这是一系列计划的alpha和beta中的第一个alpha&＃xff0c;它们导致3.0.0 GA发布。其目的是“尽早发布&＃xff0c;经常发布”&＃xff0c;以快速反复收集下游用户的反馈意见。

请注意&＃xff0c;alpha版本不具有质量或API稳定性的保证&＃xff0c;并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。该全套发行说明和更新日志自上次次要版本2.7.0所有细节的变化。

2016年8月25日&＃xff1a;Release 2.7.3 available

A point release for the 2.7 line

请参阅 Hadoop 2.7.3发行说明&＃xff0c;查看自早期版本2.7.2以来的221个错误修复和修补程序列表。

2016年2月11日&＃xff1a;

2016: Release 2.6.4 available

2.6版本的发行版。

请参阅 Hadoop 2.6.4发行说明中的46个关键错误修复列表以及2.6.3以前的版本。

2016年1月25日&＃xff1a;Release 2.7.2 (stable) available 版本2.7.2&＃xff08;稳定&＃xff09;可用

请参阅 Hadoop 2.7.2发行说明&＃xff0c;了解自上一版本2.7.1以来的155个错误修复和修补程序的列表。

2015年12月17日&＃xff1a;Release 2.6.3 available

2.6版本的发行版。

请参阅 Hadoop 2.6.3发行说明中的35个关键错误修复列表以及自2.6.2之前的版本。

2015年10月28日&＃xff1a;版本2.6.2可用

2.6版本的发行版。

请参阅 Hadoop 2.6.2发行说明中的15个关键错误修复列表以及自上一版本2.6.1以来的列表。

2015年9月23日&＃xff1a;版本2.6.1可用

2.6版本的发行版。

请参阅 Hadoop 2.6.1发行说明中的158个关键错误修复列表以及自2.6.0之前的版本。

2015年7月6日&＃xff1a;Release 2.7.1 (stable) available 版本2.7.1&＃xff08;稳定&＃xff09;可用

这个版本现在被认为是稳定的。

请参阅 Hadoop 2.7.1发行说明&＃xff0c;了解自上一版本2.7.0以来的131个错误修复和修补程序的列表。请参阅下面的2.7.0部分&＃xff0c;了解第一个稳定版本2.7.x所支持的增强功能列表。