主题
任务管理
任务管理是对系统中后台任务执行计划的管理和执行记录的监控,方便用户了解任务运行情况,对任务统一管理。
任务管理可以查看任务状态、执行记录、修改执行计划等。 普通用户可以查看并管理自己拥有的全部执行计划,系统管理员(拥有系统管理角色的用户)可以查看、修改和删除所有资源的执行计划,对系统运维资源进行统一管理。
点击设置->任务管理
即可查看平台的任务管理。
任务类型
任务管理中包含应用更新、数据集更新、指标预警、邮件推送、数据集成、批量同步七类任务。上述任务在设置执行计划后,无论是否启用计划都可以在任务管理中查看其状态和运行情况。
不同角色的用户,允许管理的任务类型不同。
- 拥有系统管理角色的用户可以管理所有类型的任务;
- 除系统管理员,其他角色的用户仅能管理自己角色拥有的资源的任务;
- 租户系统与平台方系统支持的功能模块不同,在租户系统中仅包含应用更新,数据集更新两种任务,租户系统管理员可以管理租户系统所有任务,普通租户只能管理自己角色拥有的资源的执行任务。
执行计划
点击设置->任务管理->执行计划
,进入执行计划页面。该页面按任务类型展示各类任务的定期执行计划列表,列表中包括任务的基本信息,如类型、项目名称、创建者、路径、引擎、数据集大小,不同类型任务的基本信息不同。如果启用计划,列表中还会展示任务执行相关情况,包括执行频率、下次执行时间、最近执行时间、执行耗时、执行状态。
执行计划查看任务时支持搜索执任务的项目名,支持根据任务优先级、任务状态、用户筛选任务,支持任务排序。
执行计划支持对任务进行启用、关闭、立即执行、修改计划、删除计划、查看 DAG 等操作,方便任务的责任人或系统管理员针对任务进行监控和必要的管理。数据集更新类型的任务还支持更新 schema 操作。
提示
- 执行计划中的指标预警类任务仅支持开启/关闭计划,不支持其他操作。修改和删除指标预警类任务请到对应的应用路径下操作。
- 执行计划失败后可以设置邮件通知,提醒相关责任人关注失败任务并及时处理。 该功能适用系统内所有任务,设置前请检查SMTP 服务是否开启。
执行计划的 DAG 图表
执行计划中每个任务可以查看其 DAG 图表,在 DAG 图表中展示了任务当前状态、任务之间依赖关系图、任务链中上下游任务运行情况。DAG 图表通常只展示当前任务的2级前置依赖和1级下游任务,如果任务链比较长,可以拖拽查看全部的任务。
在执行计划的 DAG 图表可以查看任务所有实例和修改任务计划。 查看任务所有实例就是查看任务的执行记录。
执行记录
点击设置->任务管理->执行记录
,进入执行记录页面。执行记录页面按任务类型展示近30天任务的执行记录列表。列表中展示了任务的基本信息和执行信息。基本信息包括类型、项目名称、创建者、路径、引擎、数据集大小,因任务类型不同而有所不同。执行信息包括执行编码、提交时间、执行开始时间、执行时的优先级、执行耗时、执行状态。
执行记录页面查看任务时支持搜索执任务的项目名,支持根据任务优先级、任务状态、用户筛选任务,支持任务排序。
执行记录中支持对任务设置重新运行、提高优先级、降低优先级、查看 DAG、查看日志等操作。
提示
- 执行记录中指标预警类任务仅支持查看日志,不支持其他操作。
重新运行
在任务三点菜单中点击重新运行,弹出重新运行任务设置界面,可以设置重新运行当前任务和当前任务的下游任务。设置重新运行的任务会立即执行,进入到任务执行队列中。
执行日志
点击查看日志显示任务当次执行时记录的日志信息,常用于分析任务执行过程中发生的异常。
执行记录的 DAG 图表
执行记录中也可以查看任务的 DAG 图表,展示内容与执行计划中 DAG 图表一样,包括任务当前状态、任务之间依赖关系图、任务链中上下游任务运行情况,但是支持的操作与执行计划中 DAG 图表不一样。
在执行记录的 DAG 图表中可以查看任务所有实例、修改任务优先级、一键重跑、查看日志。
单个任务执行记录
单个任务近30天的全部执行记录可以通过以下两种方式查看:
- 在执行计划页面内点击任务,进入该任务的执行记录列表页,展示近30天内该任务执行记录情况,点击返回按钮回到执行计划页面。
- 在 DAG 图表中点击查看任务所有实例,打开后展示任务近30天内的执行记录情况。