Hadoop的介绍以及发展历史
Hadoop之父Doug Cutting :
Hadoop三大公司发型版本介绍
目标:了解最出名的三个Hadoop版本
免费开源版本 apache点击进入官
优点:
缺点:
apache所有软件的下载地址(包括各种历史版本)点击进入
免费开源版本hortonWorks点击进入官
主要是雅虎主导,带领二十几个核心成员成立Hortonworks,核心产品软件,HDF免费开源,并且提供一整套的web管理界面,供我们可以通过web界面管理我们的集群状态,web管理界面软件HDF 址点击进入
服务收费版本ClouderaManager 点击进入官
主要是美国一家大数据公司在的版本上,通过自己公
司内部的各种补丁,实现版本之间的稳定运行,大数据生态圈的各个版本的软件都提供了对应的版本,解决了版本的升级困难,版本兼容性等各种问题,生产环境推荐使用。
Hadoop的模块组成
- HDFS:一个高可靠、高吞吐量的分布式文件系统
- MapReduce:一个分布式的离线并行计算框架
- YARN:作业调度与集群资源管理的框架
- Common:支持其他模块的工具模块
Hadoop的架构模型(1.x,2.x的各种架构模型介绍)
1.x的版本架构模型介绍
文件系统核心模块:
NameNode:
secondaryNameNode:
DataNode:
数据计算核心模块:
ResourceManager:
NodeManager:
第二种:NameNode单节点与ResourceManager高可用架构模型
第四种:NameNode与ResourceManager高可用架构模型

文件系统核心模块:
NameNode:
JournalNode:
DataNode:
数据计算核心模块:
ResourceManager:
NodeManager:
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!