真正的大师,永远都怀着一颗学徒的心!
一、项目简介
开源免费,超轻量级的大数据调度服务监控平台
二、实现功能
支持自定义模板设置:允许用户定义作业和转换的模板,以便在创建新任务时快速应用预设的设置和配置。
支持多任务模板复制:允许用户将一个任务的设置和配置复制到多个其他任务,提高操作效率。
支持GUI端配置同步到web端:确保用户在图形用户界面(GUI)上所做的配置能够同步到Web界面,保持一致性和统一性。
支持日志自定义路径配置:允许用户指定作业和转换的日志输出路径,便于管理和监控日志信息。
支持日志文件下载管理:提供界面或工具,方便用户下载和管理作业和转换的日志文件,以便后续分析和审查。
支持文件库资源库配置:允许用户配置文件型资源库,用于存储和管理作业和转换所需的文件和资源。
支持数据库资源库配置:允许用户配置数据库型资源库,用于存储和管理作业和转换所需的数据库连接和元数据信息。
支持SFTP/FTP/FTPS的远程资源库配置:支持远程文件传输协议的资源库配置,方便从远程服务器获取和存储数据。
支持资源库目录树查看:提供资源库内容的目录结构视图,方便用户查看和管理资源。
支持集群调度:允许将作业和转换调度到远程子服务器上执行,以实现分布式和并行处理。
支持调度配置:提供灵活的调度配置选项,包括定时调度和事件触发等方式。
支持监控管理:提供监控作业和转换执行状态的功能,包括实时查看任务进度和结果。
支持本地执行和远程执行:支持作业和转换在本地或远程服务器上执行,灵活适应不同的部署场景。
支持定时配置:允许用户设置作业和转换的定时执行计划,实现自动化运维和任务调度。
支持实时监控:提供实时监控界面,显示作业和转换的执行情况和性能指标。
支持Kettle的web端资源库管理:提供基于Web的资源库管理界面,方便用户在浏览器中管理Kettle的资源库。
支持自定义线程池设置和任务并行处理:允许用户配置作业和转换执行所使用的线程池参数,以及并行处理任务以提高性能。
支持任务告警监控和日志管理:提供告警系统和日志管理功能,及时发现和处理任务执行中的异常情况。
提供业务库和字典库自定义设置:提供业务数据和字典数据的管理功能,方便用户自定义和维护业务数据规则和字典表。
提供大盘调度监控:提供整个系统的调度监控界面,显示各项任务的执行情况和系统性能指标。
提供用户、角色、权限管理:提供用户、角色和权限的管理功能,确保系统安全和权限合规。
提供Druid数据库查询脚本的实时监控能力:支持实时监控Druid数据库查询脚本的执行情况和性能指标。
三、技术选型
SpringBoot
mybatis
vue
四、界面展示
调度大盘上半部分,展示近期实例运行详情,包括运行成功、运行失败、运行中、以及未运行的实例总体概况
调度大盘中间部分,则通过图表统计作业以及转换实例的分类情况
调度大盘下半部分,则主要展示实例在某段时间的运行趋势如何,可以透过折线图很直观的看出每个时间段的 执行情况,包括运行失败、运行成功的次数分布 调度大盘的最下面则主要统计任务告警情况
作业调度
调度管理分为作业调度以及转换调度,作业调度包括作业名称、描述、运行状态以及运行时间等信息展示 , 在作业调度查询界面,选择创建作业(按模板),则将会根据选定模板创建作业
在作业调度查询界面,选择新建作业(已有),则将会从资源库中选择已通过客户端配置好的
作业
在作业调度查询界面,选中目标作业之后,在上方点击合适的执行按钮,将会执行对应任务,并实时监控任务状态
在作业调度查询界面,选中目标作业之后,点击调度监控,则可以查看作业的调度图
上述所有操作,转换调度的操作方式同作业类似
转换调度
转换调度查询列表,详细描述转换调度执行情况、执行历史、实时监控执行进度等功能
实时查看转换调度运行情况
可随时编辑转换信息
可随时编辑转换信息
定时调度
在作业调度界面,选中执行方式,在执行方式中,选择定时任务执行,则进入到定时执行调度界面
在作业定时界面中,您可以选择任意的定时规则
资源库目录树 可以维护多个资源库,本系统同时支持文件库以及数据库资源库,但建议使用数据库作为资源库,文件库作为 资源库使用过程中,经常会出现一些奇怪的问题,并且从数据备份角度来讲,不安全
文件库资源库
支持文件库资源库的配置,可通过配置文件不同的传输类型,自定义远程服务器及本地服务的文件库配置,
如下图所示:
SFTP/FTPS/FTP的配置情况如下图所示,可以通过配置远程机器,获取到远程的资源库目录信息
数据库资源库
支持数据库资源库配置,可通过配置数据库地址,连接资源库,此中方式更好的保护资源库信息,
使得后期业务更新、数据迁移、数据备份变得更加有效、也更加安全,如下图所示:
告警监控
告警监控主要采集作业任务或转换任务在某段时间内的执行细节,并将执行细节以异常记录的形式存储下来
五、源码地址
私信回复:74
转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/251164.html