Hadoop的安装与环境搭建教程图解
作者:pfnie 发布时间:2022-06-28 16:19:47
一、Hadoop的安装
1. 下载地址:https://archive.apache.org/dist/hadoop/common/我下载的是hadoop-2.7.3.tar.gz版本。
2. 在/usr/local/ 创建文件夹zookeeper
mkdir hadoop
3.上传文件到Linux上的/usr/local/source目录下
3.解压缩
运行如下命令:
tar -zxvf hadoop-2.7.3.tar.gz-C /usr/local/hadoop
4. 修改配置文件
进入到cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/
, 修改hadoop-env.sh
运行 vimhadoop-env.sh
,修改JAVA_HOME
5.将Hadoop的执行命令加入到我们的环境变量里
在/etc/profile文件中加入:
export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin
执行/etc/profile文件:
source /etc/profile
6. 将npfdev1机器上的hadoop复制到npfdev2和npfdev3和npfdev4机器上。使用下面的命令:
首先分别在npfdev2和npfdev3和npfdev4机器上,建立/usr/local/hadoop目录,然后在npfdev1上分别执行下面命令:
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev2:/usr/local/hadoop/
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev3:/usr/local/hadoop/
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev4:/usr/local/hadoop/
记住:需要各自修改npfdev2和npfdev3和npfdev4的/etc/profile文件:
在/etc/profile文件中加入:
export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin
执行/etc/profile文件:
source /etc/profile
然后分别在npfdev1和npfdev2和npfdev3和npfdev4机器上,执行hadoop命令,看是否安装成功。并且关闭防火墙。
7. 确定所有机器之间可以相互ping通,使用下面的命令:
(1). ping npfdev1
(2). ping npfdev2
(3). ping npfdev3
(4). ping npfdev4
8. 启动hadoop:
我们这里将npfdev1作为master,npfdev2和npfdev3和npfdev4分别作为三台slave。
(1).修改配置文件core-site.xml
进入 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop
具体配置如下:
(2).在master机器npfdev1上启动namenode
首先需要格式化namenode,第一次使用需要格式化,后来就不需要了。
hdfs namenode -format
然后启动namenode:
hadoop-daemon.sh start namenode
通过jps命令查看,如果有namenode的java进程,就说明我们启动namenode成功。
(3).在slave机器npfdev2,npfdev3,npfdev4上启动datanode
总结
以上所述是小编给大家介绍的Hadoop的安装与环境搭建教程图解网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
来源:https://www.linuxidc.com/Linux/2018-08/153638.htm


猜你喜欢
- 本文实例讲述了Android编程计算函数时间戳的相关方法。分享给大家供大家参考,具体如下:对于做性能的人来说,知道时间的花在哪了是比较重要的
- 本文实例为大家分享了java音乐播放器的具体代码,供大家参考,具体内容如下这个是源码结构介绍这个是界面,有点简陋,见笑了,但是基本上的东西都
- 显示当前运行java代码的运行时的各种参数。不带显String操作。package systeminfo;import java.util.
- 1.首先,需要指定获取的文件夹,以及获取文件的文件名;文件夹:strLocalPath = System.Windows.Forms.App
- 目录什么是Feign为什么使用Feign为什么要使用HTTP client为什么要使用Feign如何使用Feign项目环境说明引入依赖入门例
- 前言RecyclerView是我们常用的列表控件,一般来说当Item的数据改变的时候我们需要刷新当前的Item 。如何刷新 RV 的列表?基
- 影响排序效率的一般从3个方面比较:数据比较的次数,数据移动的次数,内存空间占用的大小。我们就冒泡排序、选择排序、插入排序、快速排序做一个总的
- Spring Security中的内置过滤器顺序是怎么维护的?我想很多开发者都对这个问题感兴趣。本篇我和大家一起探讨下这个问题。HttpSe
- 简单工厂模式介绍:概要:简单工厂模式,又称为静态工厂方法(Static Factory Method)模式,它属于类创建型模式。在简单工厂模
- 上一篇文章里把SwipeRefreshLayout的原理简单过了一下,大致了解了其工作原理,不熟悉的可以去看一下:https://www.j
- 效果图: //偶数随机 Random evenRanm
- 本文实例讲述了C#文件和字节流的转换方法。分享给大家供大家参考。具体实现方法如下:1、读取文件,并转换为字节流FileStream fs =
- 首先引入jar包:<dependency> <groupId>com.alibaba</grou
- 一、unity方向导航制作设计要求是方向导航随着鼠标旋转转换方向,效果图如下:具体的实现方法主要有两个步骤,分别为UI设计和脚本编写。我的设
- 前言在我们公司里,不同的服务之间通过Feign进行远程调用,但是,我们在尝试使调用可重试时遇到了一个小问题,Feign框架本身可以配置的自己
- 使用flatMap列出子目录前面已经看到如何列出指定目录下的文件了。我们再来看下如何遍历指定目录的直接子目录(深度为1),先实现一个简单的版
- 昨天直接在机器上配置了Maven环境,今天顺便把Eclipse等IDE环境配置好。安装IDE Plugins的方法有很多。其一:在线安装,通
- 前言我们书接上文,我们在了解LINQ下面有说到在本地查询IEnumerbale主要是用委托来作为传参,而解析型查询IQueryable则用E
- 线程组线程组可以批量管理线程和线程组对象。一级关联例子如下,建立一级关联。public class MyThread43 implement
- 本文实例讲述了Android编程解析XML文件的方法。分享给大家供大家参考,具体如下:前言在学习Android的Framework层源码时,