centOS7下Spark安装配置教程详解
作者:艾艾贴 发布时间:2022-01-20 17:52:59
环境说明:
操作系统: centos7 64位 3台
centos7-1 192.168.190.130 master
centos7-2 192.168.190.129 slave1
centos7-3 192.168.190.131 slave2
安装spark需要同时安装如下内容:
jdk scale
1.安装jdk,配置jdk环境变量
这里不讲如何安装配置jdk,自行百度。
2.安装scala
下载scala安装包,https://www.scala-lang.org/download/选择符合要求的版本进行下载,使用客户端工具上传到服务器上。解压:
#tar -zxvf scala-2.13.0-M4.tgz
再次修改/etc/profile文件,添加如下内容:
export SCALA_HOME=$WORK_SPACE/scala-2.13.0-M4
export PATH=$PATH:$SCALA_HOME/bin
#source /etc/profile // 让其立即生效
#scala -version //查看scala是否安装完成
3.安装spark
spark下载地址:http://spark.apache.org/downloads.html
说明:有不同的版本包下载,选则你需要的下载安装即可
Source code: Spark 源码,需要编译才能使用,另外 Scala 2.11 需要使用源码编译才可使用
Pre-build with user-provided Hadoop: “Hadoop free” 版,可应用到任意 Hadoop 版本
Pre-build for Hadoop 2.7 and later: 基于 Hadoop 2.7 的预先编译版,需要与本机安装的 Hadoop 版本对应。可选的还有 Hadoop 2.6。我这里因为装的hadoop是3.1.0,所以直接安装for hadoop 2.7 and later的版本。
注:hadoop的安装请查看我的上一篇博客,不在重复描述。
centOS7下Spark安装配置
#mkdir spark
#cd /usr/spark
#tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
#vim /etc/profile
#添加spark的环境变量,加如PATH下、export出来
#source /etc/profile
#进入conf目录下,把spark-env.sh.template拷贝一份改名spark-env.sh
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp spark-env.sh.template spark-env.sh
#vim spark-env.sh
export SCALA_HOME=/usr/scala/scala-2.13.0-M4
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export HADOOP_HOME=/usr/hadoop/hadoop-3.1.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/spark/spark-2.3.1-bin-hadoop2.7
export SPARK_MASTER_IP=master
export SPARK_EXECUTOR_MEMORY=1G
#进入conf目录下,把slaves.template拷贝一份改名为slaves
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp slaves.template slaves
#vim slaves
#添加节点域名到slaves文件中
#master //该域名为centos7-1的域名
#slave1 //该域名为centos7-2的域名
#slave2 //该域名为centos7-3的域名
启动spark
#启动spark之前先要把hadoop节点启动起来
#cd /usr/hadoop/hadoop-3.1.0/
#sbin/start-all.sh
#jps //检查启动的线程是否已经把hadoop启动起来了
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7
#sbin/start-all.sh
备注:在slave1\slave2节点上也必须按照上面的方式安装spark,或者直接拷贝一份到slave1,slave2节点上
#scp -r /usr/spark root@slave1ip:/usr/spark
启动信息如下:
starting org.apache.spark.deploy.master.Master, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.com.cn.out
slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.com.cn.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
测试Spark集群:
用浏览器打开master节点上的spark集群url:http://192.168.190.130:8080/
总结
以上所述是小编给大家介绍的centOS7下Spark安装配置教程详解,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!
来源:https://www.cnblogs.com/aiaitie/archive/2018/07/13/9306604.html
猜你喜欢
- Text Link Ads是什么?Text Link Ads是一家专门提供文字链接交易的平台,用户可以通过它出售和购买文字链接。这里要和大家
- 下载Apache Http Sever 2.4官网下载地址:Apache Haus Downloads 或者
- 博客联盟大概从2006年中旬开始使用WordPress程序,用的久了,就习惯了,总以为一切设计都是合理的。最近给几个客户用WordPress
- 8月10日阿里妈妈广告平台发布后我就是申请了代码,投放了一段时间后,还是有些经验教训,这里与大家分享。第一: 及时查看广告购买情况,避免缺省
- 确保关键任务应用程序始终可用是 IT 部门提供的一项关键服务,而且“高可用性”是 Windows S
- 这可能是所有新站长都面临的一个问题,对于一个站点来说,做友情链接是非常不错的一种推广网站的手段,只是这个链接到底该怎么做,不少人都是非常盲目
- 10月12日国际报道 微软新版电邮和通信服务器软件Exchange 2010的程序开发已经完工。开发进度一直超前Office家族其他产品的E
- 最近陆续有很多站长过来询问伪静态的问题,现就分享下目前网上流行的各种程序在iis下的规则和设置方法:shopex4.8下载3.0的免费Rew
- VIEWGOOD VOD视频点播系统 (WebVOD)漏洞产生于文件/webmedia/oemui/user/guest.asp,访问这个页
- 广告位置的设置合理与否,将直接影响到我们站长的收入,那么要什么样的位置才是最合适呢,我们只有通过不段的反复摸索才能最大化的提高广告的点击率。
- 收到群里的消息,说Google AdSens又有新样式了——矩阵排列。现在应该是随机显示的,出现在336*280 的广告单元中。
- 三、添加用户信箱邮件服务器安装设置完毕后,接下来进行用户的创建,即个人邮箱的建立。1、添加用户在MDaemon主窗口的Accounts菜单中
- 不管是在局域网还是互联网上,人们也都面临着另外一个困惑:计算机在网络上通讯时本来只能识别如“61.186.250.41”之类的数字地址,那么
- 这里,先介绍一个比较常规的欺骗案例吧。我在《常用在线支付方式对比:PayPal、信用卡和支票》这篇文章中指出,PayPal在收款上是重保护消
- 最近正在学习Linux系统的常用操作命令,于是心血来潮,想自己安装一个Linux系统实践一下,在网上找了半天资料,终于在自己的电脑上成功安装
- linux中提示没有unzip命令解决方法如果你如法使用unzip命令解压.zip文件,可能是你没有安装unzip软件,下面是安装方法命令:
- 包括winform和webform两套系统。其中winform负责收集服务器信息,webform用于远程查看收集的信息(从数据库)。各种状态
- 代理共享上网和控制 * 权限,界面友好,设置简单,功能强大。支持Modem代理/ADSL代理/宽带代理/Cable Modem代理等方式共
- 辛辛苦苦用一个月把流量升到3万,空间受不了,空间提供商说要服务器网站才能正常运转,否则空间经常会无法打开,而租个服务器最少要3000元,对于
- 有关VPN客户机的一个常见的错觉是认为它们是在VPN网络上连接到企业网络的工作站。这种工作站肯定是一种VPN客户机,但是,它并不是惟一的一种