请允许我介绍一下Hadoop之父Doug Cutting以及Hadoop历史版本

Hadoop的介绍以及发展历史

Hadoop之父Doug Cutting :

Hadoop三大公司发型版本介绍

目标:了解最出名的三个Hadoop版本

免费开源版本 apache点击进入官

优点:
缺点:
apache所有软件的下载地址(包括各种历史版本)点击进入


免费开源版本hortonWorks点击进入官

主要是雅虎主导,带领二十几个核心成员成立Hortonworks,核心产品软件,HDF免费开源,并且提供一整套的web管理界面,供我们可以通过web界面管理我们的集群状态,web管理界面软件HDF 址点击进入


服务收费版本ClouderaManager 点击进入官

主要是美国一家大数据公司在的版本上,通过自己公
司内部的各种补丁,实现版本之间的稳定运行,大数据生态圈的各个版本的软件都提供了对应的版本,解决了版本的升级困难,版本兼容性等各种问题,生产环境推荐使用。

Hadoop的模块组成

  1. HDFS:一个高可靠、高吞吐量的分布式文件系统
  2. MapReduce:一个分布式的离线并行计算框架
  3. YARN:作业调度与集群资源管理的框架
  4. Common:支持其他模块的工具模块

Hadoop的架构模型(1.x,2.x的各种架构模型介绍)

1.x的版本架构模型介绍

文件系统核心模块:
NameNode:
secondaryNameNode:
DataNode:
数据计算核心模块:
ResourceManager:
NodeManager:

第二种:NameNode单节点与ResourceManager高可用架构模型

第四种:NameNode与ResourceManager高可用架构模型

请允许我介绍一下Hadoop之父Doug Cutting以及Hadoop历史版本
文件系统核心模块:
NameNode:
JournalNode:
DataNode:
数据计算核心模块:
ResourceManager:
NodeManager:

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2019年10月1日
下一篇 2019年10月1日

相关推荐