1. 任务管理

任务管理是对系统中后台任务执行计划的管理和执行记录的监控,方便用户了解任务运行情况,对任务统一管理。

任务管理可以查看任务状态、执行记录、修改执行计划等。 普通用户可以查看并管理自己拥有的全部执行计划,系统管理员(拥有系统管理角色的用户)可以查看、修改和删除所有资源的执行计划,对系统运维资源进行统一管理。

点击设置->任务管理即可查看平台的任务管理。

1.1. 任务类型

任务管理中包含应用更新数据集更新指标预警邮件推送数据集成批量同步数据科学七类任务。上述任务在设置执行计划后,无论是否启用计划都可以在任务管理中查看其状态和运行情况。

不同角色的用户,允许管理的任务类型不同。

  1. 拥有系统管理角色的用户可以管理所有类型的任务;
  2. 除系统管理员,其他角色的用户仅能管理自己角色拥有的资源的任务;
  3. 租户系统与平台方系统支持的功能模块不同,在租户系统中仅包含应用更新数据集更新两种任务,租户系统管理员可以管理租户系统所有任务,普通租户只能管理自己角色拥有的资源的执行任务。

1.2. 执行计划

点击设置->任务管理->执行计划,进入执行计划页面。该页面按任务类型展示各类任务的定期执行计划列表,列表中包括任务的基本信息,如类型、项目名称、创建者、路径、引擎、数据集大小,不同类型任务的基本信息不同。如果启用计划,列表中还会展示任务执行相关情况,包括执行频率、下次执行时间、最近执行时间、执行耗时、执行状态。

执行计划查看任务时支持搜索执任务的项目名,支持根据任务优先级、任务状态、用户筛选任务,支持任务排序。

执行计划支持对任务进行启用、关闭、立即执行、修改计划、删除计划、查看DAG等操作,方便任务的责任人或系统管理员针对任务进行监控和必要的管理。数据集更新类型的任务还支持更新schema操作。

说明:

  1. 执行计划中的指标预警类任务仅支持开启/关闭计划,不支持其他操作。修改和删除指标预警类任务请到对应的应用路径下操作。
  2. 执行计划失败后可以设置邮件通知,提醒相关责任人关注失败任务并及时处理。 该功能适用系统内所有任务,设置前请检查SMTP服务是否开启。

1.2.1. 执行计划的DAG图表

执行计划中每个任务可以查看其DAG图表,在DAG图表中展示了任务当前状态、任务之间依赖关系图、任务链中上下游任务运行情况。DAG图表通常只展示当前任务的2级前置依赖和1级下游任务,如果任务链比较长,可以拖拽查看全部的任务。

在执行计划的DAG图表可以查看任务所有实例和修改任务计划。 查看任务所有实例就是查看任务的执行记录

1.3. 执行记录

点击设置->任务管理->执行记录,进入执行记录页面。执行记录页面按任务类型展示近30天任务的执行记录列表。列表中展示了任务的基本信息和执行信息。基本信息包括类型、项目名称、创建者、路径、引擎、数据集大小,因任务类型不同而有所不同。执行信息包括执行编码、提交时间、执行开始时间、执行时的优先级、执行耗时、执行状态。

执行记录页面查看任务时支持搜索执任务的项目名,支持根据任务优先级、任务状态、用户筛选任务,支持任务排序。

执行记录中支持对任务设置重新运行、提高优先级、降低优先级、查看DAG、查看日志等操作。

说明:

  1. 执行记录中指标预警类任务仅支持查看日志,不支持其他操作。

1.3.1. 重新运行

在任务三点菜单中点击重新运行,弹出重新运行任务设置界面,可以设置重新运行当前任务和当前任务的下游任务。设置重新运行的任务会立即执行,进入到任务执行队列中。

1.3.2. 执行日志

点击查看日志显示任务当次执行时记录的日志信息,常用于分析任务执行过程中发生的异常。

1.3.3. 执行记录的DAG图表

执行记录中也可以查看任务的DAG图表,展示内容与执行计划中DAG图表一样,包括任务当前状态、任务之间依赖关系图、任务链中上下游任务运行情况,但是支持的操作与执行计划中DAG图表不一样。

在执行记录的DAG图表中可以查看任务所有实例、修改任务优先级、一键重跑、查看日志。

  • 查看任务所有实例就是查看该任务的近30天内的所有执行记录。
  • 支持提高和降低任务的优先级。
  • 支持一键重跑设置,即重新运行该任务及其下游任务。
  • 支持查看任务执行日志

1.3.4. 单个任务执行记录

单个任务近30天的全部执行记录可以通过以下两种方式查看:

  • 在执行计划页面内点击任务,进入该任务的执行记录列表页,展示近30天内该任务执行记录情况,点击返回按钮回到执行计划页面。
  • 在DAG图表中点击查看任务所有实例,打开后展示任务近30天内的执行记录情况。

results matching ""

    No results matching ""

    API授权 SMTP服务