Purpose
本篇介绍了如何设置和配置单节点Hadoop安装,一个简单的伪分布式环境,可以使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)快速执行简单的操作。操作详细,和一些异常的解决方法。
Prerequisites
1.支持的平台
- 支持GNU/Linux作为一个开发和生产平台。Hadoop已经在具有2000个节点的GNU/Linux集群上进行了演示。
- Windows也是一个受支持的平台,但以下步骤仅适用于Linux。要在窗口上设置Hadoop,请参阅wiki页面
2.所需软件
linux所需的软件包括:
- 安装Java,jdk1.8版本 下载linux下载安装jdk对应liunx的tar包
jdk-8u281-linux-x64.tar.gz - hadoop-3.2.2 下载对应的tar包 hadoop-3.2.2.tar.gz
- VMware 和 Xshell(远程连接,方便操作)
3.安装软件
-
如果您的集群没有必要的软件,那么您就需要安装它。把 jdk-8u281-linux-x64.tar.gz hadoop-3.2.2.tar.gz 的tar包上传到搭建的集群中
(可以通过xshell或者linux命令rz)。 -
先关闭集群节点的防火墙
- 修改yum源
- 修改hosts的主机名和IP配置文件(根据自己的虚拟机子 地址如192.168.100. xxx,每台都不一样,也可以自己设置)
- 修改配置文件
输入i插入,把配置信息复制,按esc 并且输入冒 :wq(保存退出)
- 修改JAVA_HOME的配置信息
- 配置环境变量
- 问题2
格式化失败
1.格式化失败解决方法
2.重新格式化需要注意的问题
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!