无需额外配置 UCloud Scheduler帮您快速实现数据分析

百家 作者:Ucloud 2017-10-23 09:24:49



在进行数据分析时,一个任务的触发通常依赖于前置任务的成功执行,单个任务的运行失败也极其容易导致整体任务流中断,一次任务流的中断则可能会造成整体业务出现延迟和故障。


为进一步满足用户对数据分析任务的管理、配置以及提高工作流效率的需求,UCloud正式推出调度系统(UCloud Scheduler)




在图论中,如果一个有向图无法从任意顶点出发并经过若干条边回到该点,那么这个图就是一个有向无环图(DAG图)。调度系统(UCloud Scheduler)以有向无环图为基础,支持一整套相对复杂的工作流任务的调度系统,无需额外配置,即可将配置的任务运行于已有UHadoop实例,帮助用户快速实现数据分析任务。


调度系统(UCloud Scheduler)是基于大数据分析平台的任务调度服务,可无缝接入UHadoop。目前,已经支持MapReduce、Hive SQL、Spark、SparkSQL任务,并支持按日期选择方式和Crontab方式设置调度时间。在任务方面,其支持复杂的任务逻辑编排、失败重启、超时告警、失败告警等。


产品特性


调度系统(UCloud Scheduler)通过配合已有的UHadoop实例来提供服务,其优势特性如下:


  快速部署、简单易用


基于用户已有的UCloud UHadoop实例,无需额外配置,即可将配置的任务运行,支持多集群、多节点提交任务,帮助用户快速部署工作流。


  可视化界面,多样化复杂工作流任务


调度系统(UCloud Scheduler)提供可视化的工作流任务,能直观展现工作流各个任务之间的多种依赖关系,帮助客户更好的配置任务之间的前后关系和整体流程。



  任务实时监控,响应任务状态


调度系统(UCloud Scheduler)对调度的任务全程监控状态,支持超时告警,失败告警等功能,帮助用户实时掌控任务动态,调整和优化任务配置,同时支持超时重启,失败重试等功能,保障用户工作流任务成功完成。


  支持任务执行记录和日志查看


调度系统(UCloud Scheduler)记录工作流运行记录,支持工作流执行记录和任务日志查看。提供界面化的任务日志查看,精确到每个application的具体任务信息,帮助用户查看任务运行情况,排查错误,从而更好的管理和维护整体任务。


产品使用场景


调度系统(UCloud Scheduler)作为一款工作流处理系统,在接入UCloud UHadoop实例后,适用于多种工作流场景,能很好的支持定时工作流任务。相比于同类的airflow和oozie等软件,调度系统(UCloud Scheduler)和UCloud提供的UHadoop实例结合更加紧密,支持更加丰富。主要使用场景如下:


  定时运行的多任务工作流


当客户需要定时执行一系列的串行和并行任务工作流时,调度系统(UCloud Scheduler)能很好的提供页面支持,直观展示任务之间的多重依赖条件和执行顺序,适用于日志分析、数据清洗等应用场景。


  多个集群,多任务工作流


当用户拥有多个处理不同数据的集群,但同时又有连续性和依赖性较强的任务在各个集群运行时,调度系统(UCloud Scheduler)支持提交任务到多个不同的集群,设置任务之间的依赖关系,便于各个集群之间任务的顺序执行。


  任务监控和任务排查


调度系统(UCloud Scheduler)对工作流的每个任务过程支持实时监控和告警功能。当用户需要对重要日常任务成功完成时,调度系统能及时反馈任务状态,实时监测任务信息,有效减轻客户的运维压力。


  任务测试和错误排查


调度系统(UCloud Scheduler)提供工作流执行记录和任务日志,也提供可视化的任务日志显示界面,为用户营造快速的任务测试和配置环境,可实时分析日志,提高任务错误排查效率。


调度系统(UCloud Scheduler)的推出,不仅丰富了UCloud产品线,而且更好的反映了用户的需求,也更加适配了Uhadoop实例。


了解调度系统UScheduler使用文档,请打开以下链接:

https://docs.ucloud.cn/analysis/uscheduler/operate




—End—

点击“阅读原文”,了解更多 调度系统 UScheduler 产品信息

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接