Linux中Centos7搭建Hadoop服务步骤
作者:彬菌 发布时间:2023-11-02 15:26:12
下载Hadoop 官网:http://hadoop.apache.org/releases.html
先配置jdk环境(教程:https://www.jb51.net/article/108936.htm)
下载以后 解压到到/usr/local
tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local
为了方便操作 把hadoop-2.8.0 改为hadoop
mv /usr/local/hadoop-2.8.0 /usr/local/hadoop
查看主机名
hostname //第一个参数为主机名
检查是否可以免密码
ssh localhost //这里的localhost为主机名
注意:一般初次安装都需要密码
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
再次验证
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
注意:如没有Enter password 就说明免密码了
配置环境变量
vim /etc/profile
末尾添加
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin
使环境变量立即生效
source /etc/profile
创建Hadoop的临时文件存放地
mkdir /usr/local/hadoop/tmp
编辑Hadoop的配置文件
cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh
末尾添加
export JAVA_HOME=/usr/local/java/jdk1.8.0_131/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
注意:路径要对
使环境变量立即生效
source hadoop-env.sh
配置另一个文件
vim core-site.xml
在<configuration></configuration>中添加以下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
配置下一个文件 hdfs-site.xml
vim hdfs-site.xml
在<configuration></configuration>中添加以下内容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
配置下一个文件mapred-site.xml 因为这个文件默认不存在 我们把mapred-site.xml.template作为模板来配置
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
在<configuration></configuration>中添加以下内容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置下下个文件yarn-site.xml
vim yarn-site.xml
在<configuration></configuration>中添加以下内容
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
配置最后一个文件yarn-env.sh
vim yarn-env.sh
注意:在第23行左右 export JAVA_HOME (删除# 去掉注释),并更改正确jdk的路径
格式化namenode
cd /usr/local/hadoop
bin/hdfs namenode-format
注意:成功的话,会看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示,若为 “Exitting with status 1” 则是出错了
通过脚本启动hdfs
sbin/start-dfs.sh
打开浏览器访问http://localhost:50070,验证是否hdfs配置成功
再来启动yarn
sbin/start-yarn.sh
打开浏览器访问http://localhost:8088,验证yarn是否配置成功
注意:由于浏览器存在缓存问题 打开地址可能会失败关闭浏览器 重新打开一两次就好,如果还是失败 检查配置文件是否有误
查看已启动的hadoop进程
jps
注意:如果没有 NameNode 或 DataNode ,那就是配置不成功
来源:https://www.idaobin.com/archives/157.html
猜你喜欢
- 垂直生活类搜索网站的出现,使互联网庞杂的生活类信息由粗糙变为精细。更能满足用户需求 随着互联网信息的 * 式增长,搜索到精准、有效信息的难度越
- 最近学习了Web开发前后端等技术,便想着将项目部署到云服务器,方便后续管理,顺便学习一下部署云服务器的过程。购买与连接云服务器部署云服务器,
- 当我们进入一个互联网信息社会的时候,我们忽然发觉已经离不开网络。网络由众多因素组成,其中很重要的一个元素就是网站。有个人网站、企业网站等等。
- 简介本文章主要介绍本人开始进入手机行业后,利用网站结合商城赚钱的心得与方法,网络上有很多的赚钱办法,只要你愿意思考,就没有什么是想不出来的!
- URL优化的重点就是把内容放在权重高的页面上,以下是各级目录的权重比较。1)目录的权重虽然搜索蜘蛛会捉取3级目录及以上的页面,但是一级目录的
- 摘要:这篇文章主要针对初学编程和初建网站的爱好者提供一个个人观点,希望大家不要盲信现在诸多的所谓流行技术。近来,有很多网友问我的深度学习(a
- 内页的优化对于整站权重的提高具有很大的作用,所以大家一定要重视内页的优化。很多站长常挂嘴边的话就是做网站要以内容为王,创造高质量的内容。当然
- WordPress系统的用户密码是保存在wp_users数据表的user_pass字段,密码是通过Portable PHP password
- 原来qmail系统的邮箱一天起码要收十几份垃圾、病毒邮件,实在是比较烦,不是很喜欢qmail,特别是日志,让人不知所云,所以干脆考虑更换邮件
- FTP的全称是File Transfer Protocol(文件传输协议)。顾名思义,就是专门用来传输文件的协议。而FTP服务器,则是在互联
- 一、测试环境与网络结构本文所使用的测试环境是Redhat Linux 7.2、Apache 1.3.24,公司域名假设是company.co
- 测绘之家是我一个朋友的小站。说它小是因为它的定位服务范围小,只是针对一个很小的专业的人才网站。在帮朋友建站推广这段时间,其在该专业主流搜索关
- 分布式Hibernate Search与Apache Tomcat6,ActiveMQ 和Spring.今天我将跟大家分享我的经验,以mas
- 有Godaddy主机用户问怎样查看自己的网站的运行情况呢?可以使用WebmasterTools,你可以访问crawlstatistics,r
- 这几天有点忙,一直抽不出时间写这篇日记。最近很多站长一直催我把中篇写出来,所以我决定今天放下手中的工作,把中篇写完。自上次写了网站运营日记(
- 腾讯科技讯(编译/晁晖)北京时间5月13日消息,据国外媒体报道,Mozilla基金会昨天发布了一款插件检测工具Plugin Check,包括
- 我先谈一下我的就爱车(www.9aiche.com),这个站是我的站兼职做宣传和优化,我不太懂程序优化也不是很懂所以就边学边用了,我自已的站
- 一、将磁盘分区转换成NTFS格式当黑客开始对你的网络发起攻击的时候,他们首先会检查是否存在一般的安全漏洞,然后才会考虑难度更加高一点的突破安
- 很多热门论坛都会给会员提供FTP资源下载,达到一定等级的会员就可以免费登录这些FTP服务器下载诸多共享资源,如影视、技术资料、常用大型工具软
- 读完本篇文章大家有必要看一下自己的友情链接,是不是已经被nofollow了。也许有些朋友问,什么是nofollow?简单的讲,就是虽然你的友