花一分钟体验 Apache DolphinScheduler 第一个官方 Docker 镜像（docker镜像官网）

25-02-24 13

如果您想了解花一分钟体验ApacheDolphinScheduler第一个官方Docker镜像的相关知识，那么本文是一篇不可错过的文章，我们将对docker镜像官网进行全面详尽的解释，并且为您提供关于

如果您想了解花一分钟体验 Apache DolphinScheduler 第一个官方 Docker 镜像的相关知识，那么本文是一篇不可错过的文章，我们将对docker镜像官网进行全面详尽的解释，并且为您提供关于Apache DolphinScheduler & Doris 联合Meetup、Apache DolphinScheduler & Doris 联合线上 Meetup、Apache DolphinScheduler 1.2.1 发布说明、Apache DolphinScheduler 1.3.2 发布，性能提升 2~3 倍的有价值的信息。

本文目录一览：

花一分钟体验 Apache DolphinScheduler 第一个官方 Docker 镜像（docker镜像官网）
Apache DolphinScheduler & Doris 联合Meetup
Apache DolphinScheduler & Doris 联合线上 Meetup
Apache DolphinScheduler 1.2.1 发布说明
Apache DolphinScheduler 1.3.2 发布，性能提升 2~3 倍

花一分钟体验 Apache DolphinScheduler 第一个官方 Docker 镜像（docker镜像官网）

先前 Apache DolphinScheduler 社区一直是发布 Dockerfile 和 K8s Chart.yaml 文件，由用户自行 build 镜像。随着越来越多的用户伙伴们的呼声高涨，社区于近日终于发布了第一个官方 Docker 镜像。

快速试用 DolphinScheduler

有 2 种方式可以快速试用 DolphinScheduler，分别进行介绍

一、以 docker-compose 的方式启动 (推荐)

这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料，请自行安装即可

1、下载源码 zip 包

请下载最新版本的源码包并进行解压

# 创建源码存放目录
mkdir -p /opt/soft/dolphinscheduler;
cd /opt/soft/dolphinscheduler;

# 下载源码包
wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.4/apache-dolphinscheduler-incubating-1.3.4-src.zip

# 解压缩
tar -zxvf apache-dolphinscheduler-incubating-1.3.4-src.zip

mv apache-dolphinscheduler-incubating-1.3.4-src-release  dolphinscheduler-src

2、安装并启动服务

cd dolphinscheduler-src
docker-compose -f ./docker/docker-swarm/docker-compose.yml up -d

3、登录系统

访问前端界面：http://192.168.xx.xx:8888

然后参考用户手册章节的快速上手即可进行使用

至此就可以体验 DolphinScheduler 的所有功能啦，怎么样？是不是超级简单。

当然如果您想了解更多的安装方式，下面介绍第 2 种方式

二、以 docker 方式启动

这种方式需要先安装 docker , docker 的安装网上已经有非常多的资料，请自行安装即可

1、基础软件安装 (请自行安装)

PostgreSQL (8.2.15+)
ZooKeeper (3.4.6+)
Docker

2、请登录 PostgreSQL 数据库，创建名为 `dolphinscheduler` 数据库

3、初始化数据库，导入 `sql/dolphinscheduler-postgre.sql` 进行创建表及基础数据导入

4、下载 DolphinScheduler 镜像

我们已将面向用户的 DolphinScheduler 镜像上传至 docker 仓库，用户无需在本地构建镜像，直接执行以下命令从 docker 仓库 pull 镜像：

docker pull apache/dolphinscheduler:latest

5、运行一个 DolphinScheduler 实例

如下：(注: {user} 和 {password} 需要替换为具体的数据库用户名和密码)

$ docker run -dit --name dolphinscheduler \
-e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="{user}" -e DATABASE_PASSWORD="{password}" \
-p 8888:8888 \
dolphinscheduler all

然后登录系统

访问前端页面地址，接口 ip (自行修改) http://192.168.xx.xx:8888

然后参考用户手册章节的快速上手即可进行使用

附录

在容器启动时，会自动启动以下服务：

    MasterServer         ----- master服务
    WorkerServer         ----- worker服务
    LoggerServer         ----- logger服务
    ApiApplicationServer ----- api服务
    AlertServer          ----- alert服务

如果你只是想运行 dolphinscheduler 中的部分服务

你能够运行 dolphinscheduler 中的部分服务。

启动一个 master server, 如下:

$ docker run -dit --name dolphinscheduler \
-e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
dolphinscheduler master-server

启动一个 worker server, 如下:

$ docker run -dit --name dolphinscheduler \
-e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
dolphinscheduler worker-server

启动一个 api server, 如下:

$ docker run -dit --name dolphinscheduler \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-p 12345:12345 \
dolphinscheduler api-server

启动一个 alert server, 如下:

$ docker run -dit --name dolphinscheduler \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
dolphinscheduler alert-server

启动一个 frontend, 如下:

$ docker run -dit --name dolphinscheduler \
-e FRONTEND_API_SERVER_HOST="192.168.x.x" -e FRONTEND_API_SERVER_PORT="12345" \
-p 8888:8888 \
dolphinscheduler frontend

注意: 当你运行 dolphinscheduler 中的部分服务时，你必须指定这些环境变量 DATABASE_HOST DATABASE_PORT DATABASE_DATABASE DATABASE_USERNAME DATABASE_PASSWORD ZOOKEEPER_QUORUM。

DolphinScheduler 介绍

新一代大数据任务调度 - Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办、在 300+ 参评项目中脱颖而出获得 “2020 年度十大开源新锐项目” 和 “2020 年度最具人气新锐项目” 以来，近期社区又荣获 OSCHINA 年度 “最佳技术团队” 称号，非常欢迎更多小伙伴加入到贡献队伍中来，为中国的开源崛起贡献自己的一份力量。

Apache DolphinScheduler(incubator) 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器，据不完全统计，已有 400+ 公司在生产上使用。DolphinScheduler 致力于 “简化大数据任务之间错综复杂的依赖关系，并监控整个数据处理流程”。DolphinScheduler 以 DAG(有向无环图) 的方式将 Task 组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。DolphinScheduler 专注于以下 6 个主要能力

Apache 组织崇尚 “社区大于代码”，DolphinScheduler 目前微信用户群近 4000 人，社区目前有 200 + 贡献者，来自 80+ 家公司、机构和高校 (部分统计)

部分用户案例

据不完全统计，目前已经有 400 + 家公司及机构采用 DolphinScheduler 在生产环境使用，以下是部分案例 (排名不分先后)

此外，还有 1700+ 用户注册了 demo 试用，欢迎大家先体验，十分欢迎对比哈。

参与贡献

随着国内开源的崛起，DolphinScheduler 迎来了蓬勃发展，为了做更好用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量

参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：

贡献第一个 PR(文档、代码) 我们也希望是简单的，第一个 PR 用于熟悉提交的流程和社区协作以及感受社区的友好度

社区汇总了以下适合新手的问题列表：https://github.com/apache/incubator-dolphinscheduler/issues/4124

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

文档 github 地址：https://github.com/apache/incubator-dolphinscheduler-website

来吧，DolphinScheduler 开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的

如果您想参与贡献，却发现上述方法都搞不明白，也没关系，我们有个开发者种子孵化群，可以添加微信 (easyworkflow) 手把手教会您，添加时请说明想参与贡献哈

本文分享自微信公众号 - 海豚调度（dolphin-scheduler）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与 “OSC 源创计划”，欢迎正在阅读的你也加入，一起分享。

Apache DolphinScheduler & Doris 联合Meetup

主题 Apache DolphinScheduler & Doris 联合Meetup

活动介绍
2020年，大数据成为国家基建的一个重要组成，大数据在越来越多的领域展现威力，越来越多的公司选择拥抱大数据。在这种背景下，必然绕不开的一个话题就是apache基金会，apache旗下拥有广泛被使用的开源软件，中国本土开源也展露头角，本次联合2个Apache大数据项目的用户以及爱好者一起分享开源技术，一起为中国本土开源献力

Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

活动时间
沙龙时间：2020-07-25 14:00
面向人群：对开源技术感兴趣的小伙伴均可参与

议程安排
14:00 - 14:40 Introduction of Doris core features - pre-aggregation engine and materialized view
《Doris核心功能介绍--预聚合引擎和物化视图》缪翎，百度研发工程师，Doris PPMC

14:40 - 15:10 Distributed task management platform, making job submit easier
《分布式作业管理平台，让作业提交变得更简单》李杰，奇安信大数据研发工程师，主要参与DolphinScheduler和Flink的开发与维护

15:10 - 15:50 Doris global dictionary design and implementation based on hive table
《Doris基于hive表的全局字典设计与实现》王博，美团点评数据开发工程师，主要参与Doris和Kylin的开发与维护

15:50 - 16:30 DolphinScheduler architecture evolution journey
《DolphinScheduler架构演进之旅》乔占卫，易观大数据平台技术专家，DolphinScheduler PPMC

Apache DolphinScheduler & Doris 联合线上 Meetup

—

活动介绍

2020年，大数据成为国家基建的一个重要组成，大数据在越来越多的领域展现威力。随着大数据的应用场景越来越多，大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求。在这种背景下，相信做过大数据的技术小伙伴应该对 Apache 一词不会陌生，Apache 基金会旗下拥有被广泛使用的众多开源软件，本次特地邀请到 2 个本土的 Apache 大数据应用项目的开发者来一起分享解决数据响应速度和数据工作流任务调度方面的开源技术，一起为中国开源献力。

Apache Doris(Incubating)是一个现代化的 MPP 分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。

Apache DolphinScheduler(Incubating) 是一个分布式去中心化，易扩展的可视化工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在大数据处理流程中开箱即用。

—

活动时间

时间：2020-07-25 14:00

面向人群：对开源技术感兴趣的小伙伴均可参与

—

议程安排

14:00 - 14:40 Introduction of Doris core features - pre-aggregation engine and materialized view

《Doris核心功能介绍--预聚合引擎和物化视图》 缪翎，百度研发工程师，Doris PPMC

14:40 - 15:10 Distributed task management platform, making job submit easier

《分布式作业管理平台，让作业提交变得更简单》 李杰，奇安信大数据研发工程师，主要参与DolphinScheduler和Flink的开发与维护

15:10 - 15:50 Doris global dictionary design and implementation based on hive table

《Doris基于hive表的全局字典设计与实现》 王博，美团点评数据开发工程师，主要参与Doris和Kylin的开发与维护

15:50 - 16:30 DolphinScheduler architecture evolution journey

《DolphinScheduler架构演进之旅》 乔占卫，易观大数据平台技术专家，DolphinScheduler PPMC

Free disscussion

非常欢迎对本次活动感兴趣的伙伴扫描图中二维码进行报名，非常期待大家的参与！

—

关于 ALC Beijing

作为全球最大开源消费国， Apache 软件基金会(ASF)在国内有广泛的群众基础，如何将这些开源项目用户发展转换成为社区的贡献者、开发者，甚至成为开源项目的发起者、维护者是一个值得深思的问题。

基于对这个问题的思考，我们创建了ALC-Beijing(Apache Local Community-Beijing)，并且致力于通过（但不限于）下述行动帮助开源爱好者更好的在 Apache 社区生根发芽：

举办线上和线下沙龙，将本地的开发与用户聚焦在一起。
通过分享开源开发经验，鼓励更多的人参与到 ASF 的项目开发中来。
为 ASF 的项目寻找相互合作的机会，让这些项目能够更加茁壮的成长。
介绍 ASF 管理和运作开源项目的成功之道，帮助大家更好地运作开源项目。

开源社简介

开源社是由国内外支持开源的企业，社区及个人，依“贡献，共识，共治”原则，所组织的厂商中立、纯志愿者、非营利的开源联盟，旨在共创健康可持续发展的开源生态体系，并推动中国开源社区成为全球开源软件的积极参与及贡献者。我们专注于开源治理、国际接轨、社区发展和开源项目。

相关阅读 | Related Reading

项目开源一年多就从 ASF 毕业，开发者可以从中学到什么

开源社媒体组招募｜找暑期实习的小伙伴看过来

暑期2020“大咖说开源”之吴雪 | 开源的商业创新

关于在开源社区中的“工作倦怠”，你所需要知道的事

本文分享自微信公众号 - 开源社（kaiyuanshe）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

Apache DolphinScheduler 1.2.1 发布说明

Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版，发布内容如下：

新特性：

[#1497] 通过 API 创建的工作流在前端展示时自动调整布局。
[#747] Worker server 运行日志脱敏。
[#1635] 配置文件适当合并。
[#1547] 节点内容编辑支持全屏缩放。

增强：

[#184] 被工作流引用的 worker 不能被删除。
[#1441] 可创建包含 "." 的用户名。
[#839] 可切换 Spark 版本。
[#1511] 前后端编译文件合并。
[#1509] 去除 Master 和 Worker 监听端口（5566,7788）。
[#1575] 去除 kazoo ，简化部署。
[#1300] 邮件内容可右对齐。
[#1599] 增加前端部署的 nginx 配置文件。
支持 Mac 进行开发和 debug。

Bug 修复：

特定情况下弹出框不能关闭。
[#1399] 日志信息中字段顺序错误。
[#1379] sql 任务节点日期转换错误。
[#1477] 特定情况下，数据库延迟的时候，任务会一直执行。
[#1514] 队列关联用户后修改队列信息，新修改的队列信息未保存到数据库。
[#1768] 用户管理分页错误。
[#1770] 用户取消租户关联后，仍能使用原租户 hdfs 的资源。
[#1779] 子进程失败后仍显示成功。
[#1789] 通过任务实例页面查看任务执行历史显示错误。
[#1810] 特定情况下，依赖节点不显示具体依赖。
[#1816] 添加多个依赖后，再添加新的依赖时，依赖列表读取错误。
[#1828] UDF 授权后，UDF 文件路径授权错误。

更多发布信息可移步：

https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.2.1

近期社区也收到了来自社区贡献者的诸多新特性贡献，比如 DataX ， Sqoop 数据同步、条件判断任务类型; DolphinScheduler 的 Ambari 插件化部署等等新功能，预计不久后就会发布。

DolphinScheduler设计特点:

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化

在线 DEMO 试用： http://106.75.43.194:8888/

系统部分截图

在用公司(部分统计，Wanted: who''s using DolphinScheduler)

已经有大量知名企业和科研机构在使用 Apache DolphinScheduler，来处理各类调度和定时任务：

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中，如果您有任何问题或者想法、建议，都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。

发送订阅邮件也非常简单，步骤如下:

1. 用自己的邮箱向 dev-subscribe@dolphinscheduler.apache.org 发送一封邮件，主题和内容任意。

2. 接收确认邮件并回复。完成步骤1后，您将收到一封来自dev-help@dolphinscheduler.apache.org 的确认邮件（如未收到，请确认邮件是否被自动归入垃圾邮件、推广邮件、订阅邮件等文件夹）。然后直接回复该邮件，或点击邮件里的链接快捷回复即可，主题和内容任意。

接收欢迎邮件。完成以上步骤后，您会收到一封主题为WELCOME to dev@dolphinscheduler.apache.org的欢迎邮件，至此您已成功订阅Apache DolphinScheduler（Incubating）的邮件列表。

强烈推荐订阅开发邮件列表，与社区保持最新信息同步，这一点非常重要。

本文分享自微信公众号 - 海豚调度（dolphin-scheduler）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

Apache DolphinScheduler 1.3.2 发布，性能提升 2~3 倍

引言

大数据任务调度作为大数据建设中的核心基础设施，在经过社区用户们长期的使用中，不少用户对调度也提出了很多新的要求，为此，Apache DolphinScheduler(Incubating)经过长达 5 个多月的辛苦努力，终于发布了 1.3.2 正式版本。DolphinScheduler-1.3.2 有超过 30 名贡献者参与开发，性能较 1.2 版本有 2 ~ 3 倍的提升，相对 1.2 版本，1.3.x 增加了诸如 K8s支持、多目录管理等重要的新特性和新的任务类型。1.3.x 重要的改动如下：

架构升级：重构 worker server

移除基于 ZooKeeper 的任务队列
引入 Netty 进行 master 和 worker 间的通信
提供了三种 master 分发任务的算法：随机，轮询和资源线性加权
Worker 不再操作数据库，减轻数据库压力

新增任务类型

数据同步节点：新增了 DataX 和 Sqoop 节点，加强 DolphinScheduler 构建全流程ETL 工作流的能力
条件分支节点：提供了多个上游任务结果的复杂逻辑判断能力，根据用户自定义逻辑进行分支流转

易用性提升

资源中心支持目录管理：资源中心支持目录类型，用户可以分项目或模块进行资源文件管理
支持 Ambari 插件：支持使用 Ambari 进行 DolphinScheduler 的集群部署和管理
支持 K8s：DolphinScheduler 支持 K8s 部署。为了支持 k8s，worker 分组数据不再存储在 mysql，而通过配置文件中指定 worker 标签的方式，存储在 ZooKeeper 中
简化配置文件：分离 install.sh 中的参数配置和集群部署配置，install.sh 仅进行集群部署，集群参数配置文件抽取到 conf/config/install_config.conf 中
工作流布局优化：提供一键美化工作流布局功能
其他特性（部分）
增加工作流复制功能
删除任务实例级联删除对应的任务实例日志

1.3.x 新特性解读

1、重构 Worker

DolphinScheduler 1.2 的整体架构

DolphinScheduler 1.2 架构

在 DolphinScheduler 1.2 中，master 和 worker 的职责分别如下：

Master

master 采用分布式无中心设计理念，master 主要负责 DAG 任务切分、任务提交监控，并同时监听其它master 和 worker 的健康状态。

master 服务启动时向 Zookeeper 注册临时节点，通过监听 Zookeeper 临时节点变化来进行容错处理。

该服务内主要包含:

Distributed Quartz 分布式调度组件，主要负责定时任务的启停操作，当 quartz 调起任务后，Master内部会有线程池具体负责处理任务的后续操作
MasterSchedulerThread 是一个扫描线程，定时扫描数据库中的 command 表，根据不同的命令类型进行不同的业务操作
MasterExecThread 主要是负责DAG任务切分、任务提交监控、各种不同命令类型的逻辑处理
MasterTaskExecThread 主要负责任务的持久化

Worker

worker 也采用分布式无中心设计理念，worker 主要负责任务的执行和提供日志服务。worker 服务启动时向 Zookeeper 注册临时节点，并维持心跳。

该服务包含：

FetchTaskThread 主要负责不断从 Task Queue 中领取任务，并根据不同任务类型调用TaskScheduleThread 对应执行器。
LoggerServer 是一个 RPC 服务，提供日志分片查看、刷新和下载等功能

在 1.2 版本实现的架构中，任务队列的实现基于 ZooKeeper。master 将任务数据存放到 ZooKeeper 中，然后 worker 节点通过分布式锁的方式去消费任务队列，延迟了任务开始执行的时间。为保证任务队列的性能，ZooKeeper 的节点中并未存储执行任务所需的全部数据。许多任务的元数据如租户，队列和任务实例信息等都需要由 worker 操作数据库进行获取，增加了数据库的负担。所以在 1.3 的架构设计中，我们着重考虑到减少 worker 的压力，设计了如下新架构

DolphinScheduler 1.3 新架构

DolphinScheduler 1.3 新架构

在 DolphinScheduler 1.3 中，任务队列基于 Netty 实现，master 保留了原有的逻辑，当 master 节点切分出任务节点后，使用配置的任务分发策略直接发送目标 worker 节点进行执行。worker 节点在启动的时候将节点信息和分组信息注册到 ZooKeeper 中，供 master 节点进行调用。性能优化的核心是去除了 worker节点的 ZooKeeper 操作和数据库操作。1.3 的架构分层详细图如下：

1.3 整个系统运作过程的活动图如下：

更多详细信息参见 issue：https://github.com/apache/incubator-dolphinscheduler/issues/1658

2、新增任务类型

数据同步节点

DolphinScheduler 作为一个数据处理调度系统支持了多种 ETL 功能节点，如 SQL 节点，存储过程节点和 Spark 节点等。在整个 ETL 流程中，多源异构数据的集成是基础。因此，在1.3.1版本中DolphinScheduler 集成了成熟的数据交换引擎 DataX 和 Sqoop 以支持多源异构数据源间的传输交换。目前，DolphinScheduler 已打通整个数据摄取-数据处理-数据结果同步的 ETL 流程。使用数据同步节点，可以避免在shell脚本中直接配置数据源的连接信息，所有的数据源权限均受 DolphinScheduler 管控。

DataX 节点

Sqoop节点

条件分支节点

Dolphin Scheduler 1.3.1 支持条件分支节点，用户可以在自定义参数中定义分支流转的判断逻辑，根据上游任务的执行情况，决定后续执行的分支。

注意，条件节点是一种逻辑判断任务，不会分发到 worker 去执行，是在 master 上执行的一个逻辑节点。

3、资源中心支持目录结构

DolphinScheduler 1.3.1 支持了资源中心目录化和授权资源使用目录树的功能，极大的改善了资源文件的使用体验。资源中心目录化使得分项目管理资源文件成为可能而不是将租户的所有资源文件都放在一个目录下。资源中心支持授权整个目录给用户，提高了多文件授权的操作效率。使用目录树的方式进行资源文件授权，可以避免 1.2 版本一个一个寻找资源文件的耗时操作。

4、支持 Ambari 插件

Ambari 插件可以让 DolphinScheduler 和 Ambari 轻松集成，利用 Ambari 的能力可以使部署和管理 DolphinScheduler 更加简单，也更容易扩/缩容，

5、支持 K8s

1.3.x 也提供了对 K8s 的支持，后续也会推出 DolphinScheduler 的 Docker 官方镜像，更方便大家部署 DolphinScheduler，这块的详细文档请参考：[ K8s Readme ](https://github.com/apache/incubator-dolphinscheduler/blob/1.3.1-release/docker/kubernetes/dolphinscheduler/README.md)

6、其他一些重要的特性：

批量导出和导入工作流
流程定义复制
删除流程实例级联删除任务日志
DAG 图一键格式化，非常适合通过 open API 调用的场景
流程图美化
简化配置，优化部署体验
完善自动化 CI、CD

1.3.2 版本带来的新特性

新特性：

Worker Server 可以设置多个 worker groups
JVM 参数优化
给流程图连线添加标签

值得注意的是 1.3.2 版本修复了 1.3.1 的 20 多个 bug ，其中需要关注的是

[#3058] The task running order in the process instance does not follow the topological order in the process definition

该 bug 是在打开任务节点，没有正常关闭窗口，然后又新建一个流程定义导致新建的流程定义的前置节点的信息丢失。这可能造成 1.3.1 版本的流程图运行错乱的问题

此外，1.3.2 也带来了 4 项功能改进和增强，具体变化请参考：https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.2

1.3.2 下载地址：https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

Apache DolphinScheduler 社区介绍

Apache DolphinScheduler 是一个非常多样化的社区，至今贡献者已100多名，他们分别来自 30 多家不同的公司。微信群用户3000人。

部分用户案例(排名部分先后)

已经有近 400 多家企业和科研机构在使用 DolphinScheduler，来处理各类调度和定时任务，另有 800 多家公司开通了海豚调度的试用：

Apache DolphinScheduler 能力

以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中，如果您有任何问题或者想法、建议，都可以通过Apache 邮件列表或者github issue参与到 DolphinScheduler 的社区建设中来。

欢迎加入贡献的队伍，加入开源社区从提交第一个 PR开始,

- 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等)，先通过第一个PR熟悉提交流程，如果有任何疑问，欢迎联系

邮件订阅方式：

https://dolphinscheduler.apache.org/zh-cn/docs/development/subscribe.html

gitee:

https://gitee.com/dolphinscheduler/DolphinScheduler

github：

https://github.com/apache/incubator-dolphinscheduler

官方网站

https://dolphinscheduler.apache.org

欢迎下载试用，在试用过程中发现任何问题，可以通过邮件列表或新建 issue 进行反馈！

我们今天的关于花一分钟体验 Apache DolphinScheduler 第一个官方 Docker 镜像和docker镜像官网的分享就到这里，谢谢您的阅读，如果想了解更多关于Apache DolphinScheduler & Doris 联合Meetup、Apache DolphinScheduler & Doris 联合线上 Meetup、Apache DolphinScheduler 1.2.1 发布说明、Apache DolphinScheduler 1.3.2 发布，性能提升 2~3 倍的相关信息，可以在本站进行搜索。

本文标签：