Apache DolphinScheduler如何部署?

软件 来源:Diamon 2023-06-28 16:08:55

1. 分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用

https://dolphinscheduler.apache.org/zh-cn/dolphinscheduler.apache.org/zh-cn/

2. 后端部署

参考

工作流任务调度系统:Apache DolphinSchedulerblog.csdn.net/github_39577257/article/details/102783298

2.1 基础环境

Mysql (5.5+) : 必装

JDK (1.8+) : 必装

ZooKeeper(3.4.6+) :必装

Hadoop(2.6+) :选装, 如果需要使用到资源上传功能,MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上)

Hive(1.2.1) : 选装,hive任务提交需要安装

Spark(1.x,2.x) : 选装,Spark任务提交需要安装

PostgreSQL(8.2.15+) : 选装,PostgreSQL PostgreSQL存储过程需要安装

2.2 部署步骤

创建部署用户

服务器下载解压

ssh免密配置

数据库初始化

创建表和导入基础数据 修改vim /opt/DolphinScheduler/escheduler/conf/dao/data_source.properties

执行创建表和导入基础数据脚本

如果使用hdfs相关功能,需要拷贝hdfs-site.xml和core-site.xml到conf目录下

执行脚本一键部署

2.3 服务进程的说明

由前面我们可以看到,后端服务正常启动后,共有 5 个进程:WorkerServer、ApiApplicationServer、MasterServer、AlertServer、LoggerServer。

MasterServer 主要负责 DAG 的切分和任务状态的监控WorkerServer/LoggerServer 主要负责任务的提交、执行和任务状态的更新。LoggerServer用于Rest Api通过 RPC 查看日志ApiServer 提供Rest Api服务,供UI进行调用AlertServer 提供告警服务UI 前端页面展示

3. 使用

快速入门

官方录制:手把手教你如何《快速上手 Apache DolphinScheduler 教程》来啦_哔哩哔哩_bilibiliwww.bilibili.com/video/BV1d64y1s7eZ

浏览器访问http://192.168.33.6:8888,如下图所示。

创建一个队列。队列管理 -> 创建队列 -> 输入名称和队列值 -> 提交

创建租户。租户管理 -> 创建租户 -> 输入租户编码、租户名称和队列值 -> 提交。

建普通用户。用户管理 -> 创建用户 -> 输入用户名称、密码、租户名和邮箱,手机号选填 -> 提交。

4. 与 Azkaban 的对比

5. 总结

Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统

从上面的安装可以看到这个调度系统集成了ZooKeeper,很好的实现了去中心化,每个角色的服务可以起多个,从znode上可以看到masters和workers的一些元信息都注册在了上面,交由ZK去选举,当然它也是一个分布式的

如果某个服务挂了,ZooKeeper会在剩下的其它节点进行选举

例如当某些节点的Worker服务挂了,我们不用做任何处理,DolphinScheduler上依然可以正常提交和执行工作,在它的监控中心的页面可以看到,系统自动选举出了一个新的Work节点

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接