Azkaban3.81.x部署过程及遇到的坑
作者:buildings 发布时间:2022-10-24 21:38:22
Azkaban是什么?
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系,这个依赖关系必须是无环的,否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。
一、前提安装
1.1 Java1.8环境搭建
1) 下载jdk1.8并解压:
# tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local
2) 添加Java环境变量,在/etc/profile中添加:
export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
3) 保存后刷新环境变量:
# source /etc/profile
4) 检查Java是否配置成功,成功配置会有如下图所示。
# java -version
1.2 MySQL安装
Ubuntu可以参考我的MySQL安装博文。
1.3 git安装
# sudo apt-get install git
1.4 下载azkaban
从github选取版本下载azkaban:
https://github.com/azkaban/azkaban/releases
在这里我选取了azkaban-3.18.4版本:
# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz
解压:
# tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/
# cd /mnt/addDisk1/BigData/azkaban-3.84.4
1.5 编译
执行gradlew编译命令,跳过测试:
# ./gradlew distTar -x test
它会一下编译,直到编译成功,运行之后会生成5个压缩包,分别放在在azkaban-*/build/distributions/目录下:
azkaban-db-3.47.0-10-gdd67b02.tar.gz
azkaban-exec-server-3.47.0-10-gdd67b02.tar.gz
azkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gz
azkaban-solo-server-3.47.0-10-gdd67b02.tar.gz
azkaban-web-server-3.47.0-10-gdd67b02.tar.gz
接着把五个包分别解压在另外的目录下(/mnt/addDisk1/BigData/azkaban),并重命名:
cd /mnt/addDisk1/BigData
tar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-server
mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server
mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server
mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db
mv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin
二、azkaban部署
2.1在MySQL中创建azkaban数据库:
create database azkaban;
grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban';
flush privileges;
use azkaban;
# 将azkaban sql表结构导入mysql
source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql
2.2 创建SSL配置:
# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:
输入keystore密码:
再次输入新密码:
您的名字与姓氏是什么?
[Unknown]:
您的组织单位名称是什么?
[Unknown]:
您的组织名称是什么?
[Unknown]:
您所在的城市或区域名称是什么?
[Unknown]:
您所在的州或省份名称是什么?
[Unknown]:
该单位的两字母国家代码是什么
[Unknown]: CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗?
[否]: y
密码在此我输入的是hadoop
输入<jetty>的主密码
(如果和 keystore 密码相同,按回车):
再次输入新密码:
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目:
# sudo mv keystore azkaban/azkaban-web-server
2.3部署 azkaban-web-server
# cd ./azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/
# cd ./azkaban-web-server/conf
配置azkaban.properties:
# 默认时区,已改为亚洲/上海 默认为美国
default.timezone.id=Asia/Shanghai
database.type=mysql #数据库类型
# h2.path=./h2
# h2.create.tables=true
mysql.port=3306 #端口号
mysql.host=localhost #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码
jetty.use.ssl=true
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=hadoop #SSL文件密码
jetty.keypassword=hadoop #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=hadoop # SSL文件密码
# 执行服务器属性
executor.port=12321 #执行服务器端口
# 邮件设置 可不设计
mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=********** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录
配置log4j.properties(默认就可以了,如有其他需求可修改):
log4j.rootLogger=INFO, Console
log4j.logger.azkaban=INFO, server
log4j.appender.server=org.apache.log4j.RollingFileAppender
log4j.appender.server.layout=org.apache.log4j.PatternLayout
log4j.appender.server.File=logs/azkaban-webserver.log
log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
log4j.appender.server.MaxFileSize=102400MB
log4j.appender.server.MaxBackupIndex=2
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
添加管理员用户:
# sudo vim azkaban-users.xml
<azkaban-users>
<user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
<user password="metrics" roles="metrics" username="metrics"/>
<user username="admin" password="admin" roles="admin,metrics" />
<role name="admin" permissions="ADMIN"/>
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
2.4部署 azkaban-exec-server
# cd /mnt/addDisk1/BigData/azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/
# cd ./azkaban-exec-server/conf
配置azkaban.properties:
# sudo vim azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai #时区
# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
#数据库设置
database.type=mysql #数据库类型(目前只支持mysql)
mysql.port=3306 #数据库端口号
mysql.host=localhost #数据库IP地址
mysql.database=azkaban #数据库实例名
mysql.user=azkaba #数据库用户名
mysql.password=azkaba #数据库密码
mysql.numconnections=100 #最大连接数
# 执行服务器配置
executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与web服务中一致)
executor.flow.threads=30 #线程数
在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录,将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录:
# cd /mnt/addDisk1/BigData/azkaban
# sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/
# sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/
2.5启动web-server和exec-server
# ./azkaban-exec-server/bin/start-exec.sh
# ./azkaban-web-server/bin/start-web.sh
2.6访问https://ip:8443打开azkaban的web页面
2.7 测试
三、遇到的问题
3.1、 找到guava-*.jar包版本过低,但在/lib/下的是0.21版本,不低了,根据排除可知找到系统中版本过低的而使用。
2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.<clinit>(Status.java:40)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:177)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)
解决方案:https://www.jb51.net/article/185901.htm
# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh
将如下:
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$CLASSPATH:$file
done
改为:
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$file:$CLASSPATH
done
# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh
将如下:
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$CLASSPATH:$file
done
改为:
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$file:$CLASSPATH
done
3.2解决executor非active的问题
解决方案:
1)
# cd ./azkaban/azkaban-exec-server/
# curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo
2)也可以通过在MySQL中修改:https://www.jb51.net/article/185900.htm
来源:https://www.cnblogs.com/luengmingbiao/p/12820576.html


猜你喜欢
- MySQL字符串的拼接、截取、替换、查找位置。常用的字符串函数:函数说明CONCAT(s1,s2,...)返回连接参数产生的字符串,一个或多
- 对于从事数据领域的小伙伴来说,当需要阐述自己观点、展示项目成果时,我们需要在最短时间内让别人知道你的想法。我相信单调乏味的语言很难让别人快速
- 主要介绍了SQL删除语句DROP、TRUNCATE、 DELETE 的区别,帮助大家更好的理解和学习sql语句,感兴趣的朋友可以了解下DRO
- 一. 输出函数print在python中,print()是可以直接使用的输出函数,将数据输出到控制台上。1. print函数的使用1.1 可
- 我个人感觉数据库这方面对于程序员来说很重要,无论是对于JAVA程序员还是DOTNET程序员以及其他编程人员来说都是必须掌握的。为了帮助大家更
- 本文详细介绍了Windows下安装MySQL5.5.19的全过程,希望对初学者有帮助。下载mysql-5.5.19-win32.msi安装文
- 一、 背景介绍web应用采用的是ssh框架,数据库使用的sql server2014版本。二、问题:客户要求,ID列的数据类型必须是uniq
- 要从tablename表中随机提取一条记录,大家一般的写法就是:SELECT * FROM tablename ORDER BY RAND(
- 1.安装Apache 在终端中输入下面的命令就可以安装Apache了:sudo yum install httpdsudo的意思是
- Python的字典一般都直接查找key ,比如dict={'a':1,'b':2,'c':3
- 继Go 1.18支持泛型后,Go 将在下个版本中支持pdqsort排序算法再次引起了开发者们的热切讨论。目前,Go仓库的最新commit中提
- 适用于先读后更新的数据竞争场景,且应该将加锁操作放到事务中,防止锁被自动释放,原因参考mysql docfunc UpdateUser(db
- 当我们在安装scrapy的过程中出现了Twisted错误,当我们有继续安装Twisted的时候,又继续报错,通过一系列的查询和了解,终于发现
- 其实这个话题已经在侧面写了好几篇深刻反思,用我自己几年工作实践的体会来看,性格决定了将来的发展。某些特质虽然可以掩饰,但在这之上必然不可能有
- 1、表中字段区分大小写的设置在使用gorm查询的时候,会出现账户名A和a是一样的情况,是因为mysql默认不区分大小写造成的1.问题产生的原
- Golang Goroutine和线程的区别 Golang,轻松学习一、Golang Goroutine?当使用者分配足够多的任务,系统能自
- 使用php就不一样了,php包含了zlib的链接库,可以直接使用其相关功能,下面是我写的压缩和结压缩swf文件的例子: //没有加入判断sw
- Dreamweaver一直是不少网友钟情的网页设计工具,除了它强大的动态效果制作能力外,方便简洁的操作界面更是独具特色,下面我们将以最新版本
- 本文实例讲述了PHP实现绘制二叉树图形显示功能。分享给大家供大家参考,具体如下:前言:最近老师布置了一个作业:理解并实现平衡二叉树和红黑树,
- 编码问题因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了。问题要从文字的编码讲起。原本的英文编码只有0~255