伏龙阁资源网

Azkaban3.81.x部署过程及遇到的坑
站长资源 2024/11/22 佚名
2 0

 Azkaban是什么？

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

一、前提安装

1.1 Java1.8环境搭建

　　1) 下载jdk1.8并解压：

# tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local

2) 添加Java环境变量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_201 
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

　　3) 保存后刷新环境变量：

# source /etc/profile

　　4) 检查Java是否配置成功，成功配置会有如下图所示。

# java -version

Azkaban3.81.x部署过程及遇到的坑

1.2 MySQL安装

　　Ubuntu可以参考我的MySQL安装博文。

1.3 git安装

# sudo apt-get install git

1.4 下载azkaban

　　从github选取版本下载azkaban：

https://github.com/azkaban/azkaban/releases

　　在这里我选取了azkaban-3.18.4版本：

# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz

　　解压：

# tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/
# cd /mnt/addDisk1/BigData/azkaban-3.84.4

1.5 编译

　　执行gradlew编译命令，跳过测试：

# ./gradlew distTar -x test

　　它会一下编译，直到编译成功，运行之后会生成5个压缩包，分别放在在azkaban-*/build/distributions/目录下：

azkaban-db-3.47.0-10-gdd67b02.tar.gz
azkaban-exec-server-3.47.0-10-gdd67b02.tar.gz
azkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gz
azkaban-solo-server-3.47.0-10-gdd67b02.tar.gz
azkaban-web-server-3.47.0-10-gdd67b02.tar.gz

Azkaban3.81.x部署过程及遇到的坑

　　接着把五个包分别解压在另外的目录下(/mnt/addDisk1/BigData/azkaban)，并重命名：

cd /mnt/addDisk1/BigData
tar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-server
mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server
mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server
mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db
mv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin

Azkaban3.81.x部署过程及遇到的坑

二、azkaban部署

2.1在MySQL中创建azkaban数据库：

create database azkaban;
grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban';
flush privileges;
use azkaban;
# 将azkaban sql表结构导入mysql
source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

2.2 创建SSL配置：

# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:

输入keystore密码： 
再次输入新密码:
您的名字与姓氏是什么？
 [Unknown]： 
您的组织单位名称是什么？
 [Unknown]： 
您的组织名称是什么？
 [Unknown]： 
您所在的城市或区域名称是什么？
 [Unknown]： 
您所在的州或省份名称是什么？
 [Unknown]： 
该单位的两字母国家代码是什么
 [Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
 [否]： y
密码在此我输入的是hadoop
输入<jetty>的主密码
 （如果和 keystore 密码相同，按回车）： 
再次输入新密码:

　　完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目:

# sudo mv keystore azkaban/azkaban-web-server

2.3部署 azkaban-web-server

# cd ./azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/
# cd ./azkaban-web-server/conf

　　配置azkaban.properties:

# 默认时区,已改为亚洲/上海 默认为美国
default.timezone.id=Asia/Shanghai
database.type=mysql #数据库类型
# h2.path=./h2
# h2.create.tables=true
mysql.port=3306 #端口号
mysql.host=localhost #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码

jetty.use.ssl=true
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=hadoop #SSL文件密码
jetty.keypassword=hadoop #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=hadoop # SSL文件密码

# 执行服务器属性
executor.port=12321 #执行服务器端口

# 邮件设置 可不设计
mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=********** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录

　　配置log4j.properties（默认就可以了，如有其他需求可修改）:

log4j.rootLogger=INFO, Console
log4j.logger.azkaban=INFO, server
log4j.appender.server=org.apache.log4j.RollingFileAppender
log4j.appender.server.layout=org.apache.log4j.PatternLayout
log4j.appender.server.File=logs/azkaban-webserver.log
log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
log4j.appender.server.MaxFileSize=102400MB
log4j.appender.server.MaxBackupIndex=2
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n

　　添加管理员用户:

# sudo vim azkaban-users.xml

<azkaban-users>
 <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
 <user password="metrics" roles="metrics" username="metrics"/>
 <user username="admin" password="admin" roles="admin,metrics" />
 <role name="admin" permissions="ADMIN"/>
 <role name="metrics" permissions="METRICS"/>
</azkaban-users>

2.4部署 azkaban-exec-server

# cd /mnt/addDisk1/BigData/azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/
# cd ./azkaban-exec-server/conf

　　配置azkaban.properties：

# sudo vim azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai #时区

# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

#数据库设置
database.type=mysql #数据库类型(目前只支持mysql)
mysql.port=3306 #数据库端口号
mysql.host=localhost #数据库IP地址
mysql.database=azkaban #数据库实例名
mysql.user=azkaba #数据库用户名
mysql.password=azkaba #数据库密码
mysql.numconnections=100 #最大连接数

# 执行服务器配置
executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与web服务中一致)
executor.flow.threads=30 #线程数

　　在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录，将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录：

# cd /mnt/addDisk1/BigData/azkaban
# sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/
# sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/

2.5启动web-server和exec-server

# ./azkaban-exec-server/bin/start-exec.sh
# ./azkaban-web-server/bin/start-web.sh

2.6访问https://ip:8443打开azkaban的web页面

Azkaban3.81.x部署过程及遇到的坑

2.7 测试

三、遇到的问题

3.1、 找到guava-*.jar包版本过低，但在/lib/下的是0.21版本，不低了，根据排除可知找到系统中版本过低的而使用。

2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.<clinit>(Status.java:40)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:177)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)

解决方案：https://www.jb51.net/article/185901.htm

# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh

将如下：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$CLASSPATH:$file
done

改为：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$file:$CLASSPATH
done

# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh

将如下：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$CLASSPATH:$file
done

改为：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$file:$CLASSPATH
done

3.2解决executor非active的问题

解决方案：

1）

# cd ./azkaban/azkaban-exec-server/
# curl -G "localhost:$(<./executor.port)/executor" && echo

Azkaban3.81.x部署过程及遇到的坑

2）也可以通过在MySQL中修改：https://www.jb51.net/article/185900.htm

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
www.wwsws.com 伏龙阁资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接