Mac OS X Yosemite上安装Hadoop教程
发布时间:2022-03-10 04:44:51
这篇文章主要介绍了Mac OS X Yosemite上安装Hadoop教程,本文讲解了安装Homebrew和Cask、安装Java、配置SSH、安装Hadoop、配置Hadoop等内容,需要的朋友可以参考下
1. 安装Homebrew和Cask
打开Mac终端, 安装OS X 不可或缺的套件管理器homebrew和homebrew cask
复制代码代码如下:
$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" $ brew install caskroom/cask/brew-cask
2. 安装Java
Hadoop是由Java编写, 所以需要预先安装Java 6或者更高的版本
复制代码代码如下:
$ brew update && brew upgrade brew-cask && brew cleanup && brew cask cleanup $ brew cask install java
测试是否安装成功
复制代码代码如下:
$ java -version
3. 配置SSH
为了确保在远程管理Hadoop以及Hadoop节点用户共享时的安全性, Hadoop需要配置使用SSH协议
首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问
生成密钥对,执行如下命令
复制代码代码如下:
$ ssh-keygen -t rsa
执行这个命令后, 会在当前用户目录中的.ssh文件夹中生成id_rsa文件, 执行如下命令:
复制代码代码如下:
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
使用下面命令测试是否能够不使用密码登录
复制代码代码如下:
$ ssh localhost # Last login: Thu Mar 5 17:30:07 2015
4. 安装Hadoop
复制代码代码如下:
$ brew install hadoop
Hadoop会被安装在/usr/local/Cellar/hadoop目录下
4.1. 配置Hadoop
配置hadoop-env.sh
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件
找到其中一行:
复制代码代码如下:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
修改为:
复制代码代码如下:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml
复制代码代码如下:
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:
复制代码代码如下:
在目录/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hdfs-site.xml
复制代码代码如下:
在运行后台程序前, 必须格式化新安装的HDFS, 并通过创建存储目录和初始化元数据创新空的文件系统, 执行下面命令:
复制代码代码如下:
$ hadoop namenode -format #生成类似下面的字符串: DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. 15/03/05 20:04:27 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = Andrew-liudeMacBook-Pro.local/192.168.1.100 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.0 ... #此书省略大部分 STARTUP_MSG: java = 1.6.0_65 ************************************************************ /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at Andrew-liudeMacBook-Pro.local/192.168.1.100 ************************************************************/
4.2. 启动后台程序
在/usr/local/Cellar/hadoop/2.6.0/sbin目录下, 执行如下命令
复制代码代码如下:
$ ./start-dfs.sh #启动HDFS $ ./stop-dfs.sh #停止HDFS
成功启动服务后, 可以直接在浏览器中输入http://localhost:50070/访问Hadoop页面
猜你喜欢
- 我们在使用表格时,可能对某个单元格输入内容的同时并设置了多种格式,甚至添加了批注,但如果你不再需要这些时如何快速删除呢?下面小编就为大家介绍
- 对于语文老师来说,在使用计算机编辑试题时,经常需要输入着重号。但在使用Word时,对着重号的输入很不方便,一般要在“字体”对话框中才能完成,
- 7月中旬,微软在旧金山召开发布会,首席执行官史蒂夫•鲍尔默宣布推出新一代Microsoft Office预览版。新一代Office采用全新人
- 有时单个图表并不能显示数据的走向,那么,我们可以使用wps表格来制作组合的图表,下面就让小编告诉你wps表格如何制作组合图表。wps表格制作
- Excel中的表格内具体该如何打上比较长点的数字数据呢?下面是小编带来的关于excel表格里面打上长数字的教程,希望阅读过后对你有所启发!e
- 越来越多的用户开始转向使用win10系统了,最近有不少用户跟小编反馈说win10系统怎么取消开机pin?那针对这个问题,小编就给大家分享一下
- 我们经常会为wps文档加密,如果我们不小心将密码丢失,那么,应该怎么办呢?下面就让小编告诉你如何解决wps文档密码丢失问题。解决wps文档密
- 有的用户在打开Win10计算机的时候遇到了系统的错误提示“无法加载用户配置文件”,要知道用农户配置文件是我们进入PC的一把“钥匙”如果无法加
- 适用于 Mac 的AnyMP4 Blu-ray Ripper专为使用 Mac 将蓝光翻录为他们需要的任何视频或音频格式的蓝光视频粉丝而设计。
- Mac上好用的音频标签工具有哪些呢?别急,今天小编给大家带来了5个超棒音频标签工具,每个标签工具都可以快速对音频文件的元数据进行编辑修改,支
- 安装、使用office2003出现1308、1402、1404错误代码,这大部分都是由于你的系统注册表的问题造成的安装、使用office20
- 如果一篇文档需要设置不同的页眉页脚及页码,那么,我们可以在wps文字中通过设置分节符来实现,下面就让小编告诉你如何设置wps文字分节符 的方
- 根据苹果官方提供的建议,要想清除 Apple Pro Display XDR 和 iMac 的 Nano-texture 纳米纹理玻璃屏幕上
- excel表格怎么制作简单的出库表?excel中想要做一个出库表,该怎设计呢?下面我们就来看看excel出库表的制作方法,很简单,需要的朋友
- 我们在使用wps文字制作论文的时候,格式是非常讲究的,其中有个非常重要的插入页码的操作,下面是小编整理的wps文字给论文插入页码的方法,供您
- word怎么添加边框?想给自己的word文档制作很漂亮的边框,该怎么办呢?下面我们来看看word文档制作花样边框的详细教程,过程很简单,需要
- 1、如果在excel单元格让字颠倒过来,可以通过“设置单元格格式”来实现。点击设置单元格格式,选择字体,在字体宋体前输入个@,确定;在对齐中
- 很多时候,在我们接收到一个Excel表格时,我们可能会发现这个表格的数据无法编辑,这是因为我们这个表格被锁定了,锁定了单元格之后我们便无法编
- 在wps文字中编辑文档的时候,可能需要插入一些水平分割线,那么,如何插入呢?新手不会,上网找怕麻烦,而且教程太乱没有统一的答案怎么办,哪里有
- 复制粘贴在电脑操作中是常用的功能,然而在Word、Excel中不有一种粘贴是选择性粘贴,那么这2种粘贴有什么区别以及选择性粘贴怎么用呢。一、