Hadoop零基础入门

@[TOC]Hadoop

一、Hadoop是什么/h2>

（1） Hadoop是一个分布式系统基础架构
（2） Hadoop主要解决海量数据的存储和海量数据的分析问题
（3） Hadoop可以指一个更广泛的概念——Hadoop生态圈

二、Hadoop的优势

（1）高可靠性:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素出现故障，也不会导致数据的丢失。
（2）高扩展性：在集群间分布任务数据，可以方便的扩展数以千计的节点
（3）高效性：在MapRfeduce的思想下，Hadoop是并行工作的，以加快任务的处理速度。
（4）高容错性：能够在后台自动将失败的任务重新进行分配。

三、Hadoop的组成（3.x）

MapReduce（计算）、Yarn（资源调度）、HDFS（数据存储）、Common（辅助工具）

四、HDFS架构概述

HDFS，是一个分布式文件系统。
(1) NomeNode（简称nn）:存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
(2) DataNode(dn):在本地文件系统存储数据块数据，以及数据块的校验和。
(3) Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。

五、YARN架构概述

YARN，另一种资源协调者，是Hadoop的资源管理器。
（1） ResourceManager(RM):整个集群资源（内存、CPU等）的老大。
（2） NodeManager(NM):整个节点服务器资源的老大。
（3） ApplicationMaster(AM):单个任务运行的老大。
（4） Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、 络等。
注意：(1)客户端可以有多个
(2)集群上可以运行多个ApplicationMaster
(3)每个NodeManager上可以有多个Container

六、MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce。
（1）Map阶段并行处理事务
（2）Reduce阶段对Map结果进行汇总

七、 大数据生态体系

九、设置静态、更改主机名、设置主机映射

十二、克隆机基础设置

三台机器均执行以下操作
1.输入
只需修改IP地址即可，IP地址不可重复

十四、hadoop安装

自行安装，使用Xftp将压缩包从主机传输到虚拟机，保存在先前我们创建的文件夹software中
1.解压hadoop安装包