VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程
作者:江小猿 发布时间:2023-08-03 18:42:31
1.先决条件
1.1 支持平台
GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
所以首先我们需要下载Linux的ISO安装包安装,具体安装参考我的上一篇博客:
VirtualBox虚拟机以及CentOS系统的安装【详细】
1.2 jdk及hadoop安装包
可以去官网下载或者下载我上传的资源,我所用的具体版本如下图所示:
链接: https://pan.baidu.com/s/1XTZfzl0t79Dtz0-jmQrQuQ 提取码: pkwy
1.3 Xshell 7与Xftp 7工具安装
主要作用是用Xshell 7进行虚拟机各项操作,用Xftp 7将本地的jdk及hadoop安装包传输到虚拟机上
两个工具均可以在官网下载,选择个人使用方式可以免费下载
2.具体安装步骤
2.1 网络配置
需要注意的是在参考上篇博客安装CentOS设置网络连接时两个网关都要打开,具体如下:
启动之前进行网络设置
然后点击启动,进行到下列步骤时注意将两个网关打开并对第二个网络进行手动配置
点击配置,手动配置Ipv4,将框内地址填入对用项,点击保存。
Centos安装后,点击启动,在终端登录root账户后,输入ifconfig命令,检查网络配置,如果不存在,执行命令yum install net-tools.x86_64,弹出y/n的话,选择y。
执行
vi /etc/sysconfig/network-scripts/ifcfg-enp0s8
把onboot=no改成yes
点击insert键(即键盘i键),上下移动到那里改好之后,按esc建退出编辑模式,然后再按:wq就可以保存退出了,注意有:
不出意外,网络已经配置好了。
重启虚拟机或者重启网卡服务
service network restart
登录后 再次输入ifconfig命令,已经有了反馈信息,如图将框内IP地址记下
2.2 Xshell连接
打开Xshell,新建连接,将IP地址写入下图框内,即可在本地建立与虚拟机的连接,后续对虚拟机的各项操作均可在Xshell终端中进行。
2.3 Xftp传输
点击下图按钮,新建文件传输,自动调用Xftp进行文件传输
在右侧root文件夹下新建java子文件夹,找到本地文件右键->传输,即可将两个压缩包上传到虚拟机
2.4 jdk环境配置
输入以下命令检测是否默认安装jdk,没有反馈信息说明没有安装
使用
> cd 对应文件夹路径
将目录切换到java子文件夹下,
使用如下命令开始解压jdk压缩包
通过/etc/profile 配置环境变量
[root@bogon ~]# vi /etc/profile
进入编辑模式(i),添加以下代码,然后保存退出(esc+:+wq)
#最后添加以下内容,注意查看自己的路径及jdk版本
export JAVA_HOME=/root/java/jdk-16
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
让/etc/profile文件修改后立即生效 ,可以使用如下命令:
[root@bogon ~]# source /etc/profile
检测是否安装成功:
[root@bogon ~]# java -version
2.5 ssh服务配置
ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程
检查是否安装ssh服务:
> [root@bogon ~]# rpm -qa|grep ssh
若已经安装会显示相应版本
没有安装,使用以下命令安装
[root@bogon ~]# yum install openssh-server
开启sshd服务
[root@bogon ~]# sudo service sshd start
为了免去每次开启 CentOS 时,都要手动开启 sshd 服务,可以将 sshd 服务添加至自启动列表中,输入
[root@bogon ~]# systemctl enable sshd.service
可以通过输入
[root@bogon ~]# systemctl list-unit-files | grep sshd
查看是否开启了sshd 服务自启动
2.6 hadoop配置
为了获取Hadoop的发行版,从Apache的某个镜像服务器上下载最近的稳定发行版,
这里我们使用安装包中的稳定版hadoop-1.0.3.tar.gz
如之前解压jdk操作一样,将放置在java文件夹下的hadoop-1.0.3.tar.gz解压
具体操作为终端切换到java路径下,使用以下命令解压压缩包
tar -zxvf hadoop-1.0.3.tar.gz
解压结果如下
尝试如下命令:
[root@bogon java]# cd /root/java/hadoop-1.0.3
[root@bogon hadoop-1.0.3]# bin/hadoop
将会显示hadoop 脚本的使用文档
2.7 hadoop单机模式操作方法
默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助,
以下命令即运行了一次hadoop程序并获取了输出。
下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目,输出写入到指定的output目录
[root@bogon hadoop-1.0.3]# mkdir input
[root@bogon hadoop-1.0.3]# cp conf/*.xml input
[root@bogon hadoop-1.0.3]# bin/hadoop jar hadoop-examples-1.0.3.jar grep input output 'dfs[a-z.]+'
[root@bogon hadoop-1.0.3]# cat output/*
以下显示该hadoop程序运行结果
来源:https://blog.csdn.net/weixin_45092215/article/details/115586593
猜你喜欢
- 给文件夹设置权限三PHP权限设置PHP安装目录,添加Users用户组权限,进入权限高级设置,权限为:遍历文件夹/运行程序、读取属性、读取扩展
- 隔行换CSS的方法:新云的xslt有一个循环变量,详细看以下代码。相信大家很快会明白!<div class="tbg_{@m
- 虽然Linux病毒屈指可数,但是基于缓冲区溢出(BufferOverflow)漏洞的攻击还是让众多Linux用户大吃一惊。所谓“世界上第一个
- 本文主要介绍在linux服务器如何搭建FastDFS文件服务器。大概分为9个步骤,由于内容较为繁琐。下面带你入坑!首先简单介绍一下FastD
- 做GGad的先决条件,除了网站的质量与流量与外,我们还要学习的是GGad摆放的位置,这会直接影响到点击率。那GGad在网页广告位,我们如何有
- 使用Apache Camel的REST服务Apache Camel可以作为一个独立的或嵌入的库在任何地方运行,它可以帮助整合。继续阅读,了解
- Lftp是一个功能强大的下载工具,它支持访问文件的协议: ftp, sftp,ftps, http, https, hftp, fish.(
- 在网站seo优化的过程中常常需要通过一个名为robots.txt的文件与搜索引擎蜘蛛对话。通常来讲,搜索引擎蜘蛛爬行到某一个网站就会首先读取
- 一、安装POP3和SMTP服务组件Windows Server 2003默认情况下是没有安装POP3和SMTP服务组件的,因此我们要手工添加
- 代码如下: function getCookie(Name) { var search = Name + "="; if
- 自动发现磁盘配置键值注意:此键值仅支持Linux平台。此发现键值返回两个宏 :{#DEVNAME} :设备名{#DEVTYPE} :设备类型
- 中秋节就快到了,提前祝各位站长节日快乐,站站顺利!如何利用中秋节推广网站,下面几条可能有点帮助,希望能为大家抛砖引玉。。带来流量上的提升。一
- 1. 安装Evolution Evolution是一个整合了邮件,日历,计划任务,地址本功能的套件。以root身份运行apt-get ins
- 今天一个跳街舞的朋友找我,19岁的小mm,她上网的习惯应该是比较普遍的网民的上网习惯。吃饭之余我也问了一些关于她上网的习惯,很有启发,虽然很
- Exchange 2000 Server中的Recipient Policies是一项重要的功能,它制定了收件人的邮箱地址,其中包括:X.4
- 通俗的说,虚拟主机是将一台(或者一组)服务器的资源(系统资源、网络带宽、存储空间等)按照一定的比例分割成若干台相对独立的&ldquo
- 如果要允许用户在站点中上载或下载文件,就需要在 Web 服务器上设置 FTP。无论站点是位于 Intranet 还是位于 Internet
- 1.网络的成功,是可以复制的。 2.自己做不了的事情,找别人来完成。 3.交际是网络创业成功的捷径。 4.做网络的真正的高手,都是年龄大于3
- 北京时间10月14日消息,据国外媒体报道,市场调研公司comScore刚刚披露的9月数据显示,Facebook和Twitter之间的差距正在
- 内容摘要:IIS服务器出错的原因是复杂的。象服务启动失败、IIS进程中断或者站点不能启动这些错误都会在系统日志中记录一个错误事件。不论IIS