新时代开源数据调度在1000+企业的进化之路

百家 作者:51CTO技术栈 2022-06-17 20:26:30
编辑 | 徐杰承

近年来,随着互联网的飞速发展,业务量在短时间内呈现爆发式增长,对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度,当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展,数据处理能力的提升将远落后于指数级增长的数据量。

可想而知,提升数据处理能力、使任调度任务效率最大化、保持工具高可用是目前各企业的共同诉求,同时也是大数据发展所要面对的核心技术难点。

在这样的背景下,大数据领域也涌现了很多优秀的开源项目。

其中大数据任务调度以 Apache DolphinScheduler 项目为代表:基于  Apache 开源社区理念打造的 Apache DolphinScheduler 是全球知名的 DataOps 领域开源项目,拥有超过350人的贡献者群体。作为一个分布式去中心化,易扩展的可视化工作流任务调度平台,Apache DolphinScheduler 已累计在 1000 多家公司生产环境中作为企业的核心调度系统,包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等,覆盖金融、电信、零售、云计算、数据处理等众多领域。

自2021年4月9日从 ASF 孵化器毕业成为 Apache 顶级项目后,Apache DolphinScheduler 一直保持着强劲的发展势头。在数年的演进历程中始终保持快速的版本更新与持续的架构迭代。且值得关注的是,Apache Dolphin Scheduler 已于近日迎来了其3.0.0-beta-1 版本的正式发布。

6月23日的【T·Talk】技术分享活动中,我们特别邀请到了白鲸开源联合创始人、Apache DolphinScheduler PMC Chair 代立冬老师为大家分享 Apache DolphinScheduler 的进化之路。届时,代立冬老师将详细介绍 Apache DolphinScheduler 架构迭代中的经验与教训,并分享对云原生时代调度架构的思考与前瞻。

无论你是热衷于钻研开源技术的开发者,还是“大数据调度”的开源资深爱好者,都能从这些前沿的案例中获得全新的灵感。

欢迎大家参与6月23日,晚上20:00

【T·TALK】第12期技术分享活动

扫海报下方二维码预约观看


嘉宾介绍:


代立冬,白鲸开源联合创始人、Apache DolphinScheduler PMC Chair、Apache Member、Apache SeaTunnel PPMC、Apache 孵化器导师、ApacheCon Asia Bigdata Track co-Chair(2021)、COSCon 大数据论坛出品人,组织过万人的大数据技术社区。


今天因为你的点赞,让我元气满满!

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数