minicron任务执行数据流全解析从命令执行到服务端存储的每一步【免费下载链接】minicron️ Monitor your cron jobs项目地址: https://gitcode.com/gh_mirrors/mi/minicronminicron 是一款开源的cron 任务监控工具部署在服务器上的客户端接管你的 cron 任务把命令执行的每一步——开始、输出、结束——实时上报到服务端 Web 面板让你在面板中查看历史执行记录并设置告警。本文带你完整走一遍minicron 任务执行数据流看清从「命令执行」到「服务端存储」的每一步。一图看懂数据流总览minicron 采用客户端-服务端Hub架构Go 语言编写的轻量客户端跑在每台要监控的机器上RubySinatra编写的服务端集中存储数据并提供 Web UI。一次任务执行客户端与服务端之间恰好发生5 次 API 对话对应一条完整的数据流步骤API 端点客户端做的事服务端做的事1️⃣/api/1.0/execution/init上报主机名、执行用户、命令自动识别主机与任务分配一个执行编号execution_id2️⃣/api/1.0/execution/start命令启动后上报时间戳记录started_at3️⃣/api/1.0/execution/output每读一行输出就上报一次逐行存入输出表4️⃣/api/1.0/execution/finish命令跑完后上报时间戳记录finished_at5️⃣/api/1.0/execution/exit上报命令退出码记录exit_status非 0 立即触发失败告警 这个「init → start → output → finish → exit」的五段式协议就是 minicron 数据流的核心骨架。第一步命令入口与执行初始化init一切从你在终端敲下的命令开始minicron run mysqldump db backup.sql入口代码位于 client/commands/run.gorun子命令先通过run.Parse把参数拼成一条完整命令随后开一个channelchannel 是 Go 的管道机制用来监听命令输出同时把真正干活的run.Command丢进 goroutine 异步执行——主线程则负责把输出逐行打印到你的终端。run.Command的执行初始化逻辑见 client/run/run.go#L33-L99它会依次收集三样身份情报主机名这台机器是谁当前用户命令以谁的身份运行API 客户端从配置读取apiBase和apiKey见 client/api/api.go#L83-L91然后发出第一条请求init把「用户 命令 主机名 时间戳」打包成 JSON POST 出去。注意此时命令还没有执行——init 的返回值里带有execution_id后续所有上报都靠它关联。第二步伪终端启动命令startinit 拿到execution_id后客户端用sh -c方式启动命令并借助pty伪终端拉起进程client/run/run.go#L78-L87。为什么要用伪终端因为很多命令会检测「输出是否连接到终端」来决定行为如是否着色、是否分页。用 pty 捕获效果等同于人在终端前执行命令输出最真实。命令一旦启动立刻上报start事件把开始时间戳记下来。第三步输出逐行实时上报output这是数据流中最「流动」的一环。客户端用bufio.Scanner逐行扫描伪终端的输出client/run/run.go#L101-L125伪终端输出 ──▶ 逐行扫描 ──▶ 每行同时做两件事 ├──▶ 写入 Go channel ──▶ 打印到你的终端你能实时看到 └──▶ 发送 output 请求 ──▶ 服务端逐行落库也就是说你终端里看到的每一行都会带着execution_id、行内容、序号和时间戳同步到达服务端。命令跑 1000 行输出服务端就收到 1000 条 output 请求。⚠️ 小提示代码中留有TODO: do this async标记说明当前逐行上报是同步发送的——输出特别大的任务网络往返会成为数据流中的速度瓶颈。第四步收尾与退出码finish exit命令执行完毕后客户端还差两记「收尾拳」finish上报命令跑完的时间戳服务端据此记录finished_at任务耗时 finished_at - started_atexit客户端用cmd.Wait()等待子进程退出并解析出真实退出码例如exit 3会如实上报 3 而不是笼统的 1见 client/run/run.go#L140-L163随后上报 exit 事件。退出码是整个数据流中最有「价值」的信号服务端发现exit_status 0会立即触发失败告警邮件、短信、Slack 等见 server/lib/minicron/alert/ 目录。服务端存储五个端点如何写入数据库服务端Hub接收数据的入口是 server/lib/minicron/hub/controllers/api/executions.rb五个端点各司其职 先说安全所有/api开头的请求都要经过 认证中间件它从X-API-Key请求头取出 API 密钥反查users表确认身份密钥对不上直接返回 401数据流在进门第一道就被拦住。️ init 端点最有意思它在一个数据库事务里完成三件「自动识别」动作规则识别主机按主机名查找hosts表查不到就自动创建这台主机识别任务对命令做哈希command_hash按哈希查找jobs表查不到就自动创建任务编号执行取该任务已有的最大执行序号 1创建一条新的executions记录这意味着你第一次用 minicron 跑新命令、新机器服务端会自动建档无需手工登记。同时它还会校验任务是否被禁用——被禁用的任务数据流在这里就断掉了服务端会拒绝执行。 其余四个端点很直接start/finish把时间戳换算成 UTC 时间更新executions表的started_at、finished_at字段output每行输出都创建一条job_execution_outputs记录exit更新exit_status字段并在非 0 时调用告警模块server/lib/minicron/hub/controllers/api/executions.rb#L173-L211。数据库视角四张表看懂最终存储形态所有数据最终落在数据库中表结构见 server/db/schema.rb表存什么数据流中的来源hosts哪台机器在上报init 时自动建档jobs被监控的命令含唯一command_hashinit 时自动建档executions每次执行序号、开始/结束时间、退出码init 建档start/finish/exit 补全job_execution_outputs每次执行的逐行输出含序号 seq 和时间戳每行 output 请求各存一条executions表上有一个(user_id, job_id, number)的唯一索引保证「同一用户的同一任务执行序号绝不重复」——这正是数据流不会串号的关键约束。模型间的关联任务 1→N 执行、执行 1→N 输出行定义在 server/lib/minicron/hub/models/execution.rb 和 job_execution_output.rb 中删除执行记录时其输出行也会级联删除。数据流的下游失败与漏跑自动告警数据存入数据库还不是终点服务端还有一位「值夜员」——Monitor。它每 59 秒扫一遍所有 cron 计划schedules 表结合 cron 表达式推算「上次应该跑在什么时候」再回查executions表如果窗口期内没有对应的执行记录→ 判定为漏跑miss触发告警而失败fail告警则由 exit 端点在退出码非 0 时直接触发。至此从你终端里的一条minicron run命令到面板里的历史记录、告警推送整条数据流形成了闭环minicron run 命令 │ ▼ ① init主机/任务自动建档获得 execution_id ▼ ② start伪终端启动命令记录开始时间 ▼ ③ output逐行扫描、逐行上报、逐行落库 ▼ ④ finish记录结束时间 ▼ ⑤ exit记录退出码 ──非 0──▶ 触发失败告警 ▼ 数据库executions / job_execution_outputs ▼ Monitor 巡检 ──发现漏跑──▶ 触发 miss 告警 ▼ Web 面板查看历史执行与完整输出快速上手与延伸阅读启动服务端minicron server start默认监听 0.0.0.0:9292配置见 server/config/server.toml支持 SQLite / MySQL / PostgreSQL客户端支持--dry-run模式只本地测试命令而不向服务端发送数据见 README.md五段式请求/响应结构体Init、Start、Output、Finish、Exit统一定义在 client/api/api.go想深入数据流细节可从这里入手服务端整体应用与路由前缀逻辑见 server/lib/minicron/hub/app.rb。一句话总结minicron 的数据流 一个execution_id串起五步 API 上报 四张表完成存储 一条 Monitor 巡检兜底漏跑。看懂了这条链路你就完全掌握了 minicron 的核心工作原理。【免费下载链接】minicron️ Monitor your cron jobs项目地址: https://gitcode.com/gh_mirrors/mi/minicron创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
minicron任务执行数据流全解析：从命令执行到服务端存储的每一步
minicron任务执行数据流全解析从命令执行到服务端存储的每一步【免费下载链接】minicron️ Monitor your cron jobs项目地址: https://gitcode.com/gh_mirrors/mi/minicronminicron 是一款开源的cron 任务监控工具部署在服务器上的客户端接管你的 cron 任务把命令执行的每一步——开始、输出、结束——实时上报到服务端 Web 面板让你在面板中查看历史执行记录并设置告警。本文带你完整走一遍minicron 任务执行数据流看清从「命令执行」到「服务端存储」的每一步。一图看懂数据流总览minicron 采用客户端-服务端Hub架构Go 语言编写的轻量客户端跑在每台要监控的机器上RubySinatra编写的服务端集中存储数据并提供 Web UI。一次任务执行客户端与服务端之间恰好发生5 次 API 对话对应一条完整的数据流步骤API 端点客户端做的事服务端做的事1️⃣/api/1.0/execution/init上报主机名、执行用户、命令自动识别主机与任务分配一个执行编号execution_id2️⃣/api/1.0/execution/start命令启动后上报时间戳记录started_at3️⃣/api/1.0/execution/output每读一行输出就上报一次逐行存入输出表4️⃣/api/1.0/execution/finish命令跑完后上报时间戳记录finished_at5️⃣/api/1.0/execution/exit上报命令退出码记录exit_status非 0 立即触发失败告警 这个「init → start → output → finish → exit」的五段式协议就是 minicron 数据流的核心骨架。第一步命令入口与执行初始化init一切从你在终端敲下的命令开始minicron run mysqldump db backup.sql入口代码位于 client/commands/run.gorun子命令先通过run.Parse把参数拼成一条完整命令随后开一个channelchannel 是 Go 的管道机制用来监听命令输出同时把真正干活的run.Command丢进 goroutine 异步执行——主线程则负责把输出逐行打印到你的终端。run.Command的执行初始化逻辑见 client/run/run.go#L33-L99它会依次收集三样身份情报主机名这台机器是谁当前用户命令以谁的身份运行API 客户端从配置读取apiBase和apiKey见 client/api/api.go#L83-L91然后发出第一条请求init把「用户 命令 主机名 时间戳」打包成 JSON POST 出去。注意此时命令还没有执行——init 的返回值里带有execution_id后续所有上报都靠它关联。第二步伪终端启动命令startinit 拿到execution_id后客户端用sh -c方式启动命令并借助pty伪终端拉起进程client/run/run.go#L78-L87。为什么要用伪终端因为很多命令会检测「输出是否连接到终端」来决定行为如是否着色、是否分页。用 pty 捕获效果等同于人在终端前执行命令输出最真实。命令一旦启动立刻上报start事件把开始时间戳记下来。第三步输出逐行实时上报output这是数据流中最「流动」的一环。客户端用bufio.Scanner逐行扫描伪终端的输出client/run/run.go#L101-L125伪终端输出 ──▶ 逐行扫描 ──▶ 每行同时做两件事 ├──▶ 写入 Go channel ──▶ 打印到你的终端你能实时看到 └──▶ 发送 output 请求 ──▶ 服务端逐行落库也就是说你终端里看到的每一行都会带着execution_id、行内容、序号和时间戳同步到达服务端。命令跑 1000 行输出服务端就收到 1000 条 output 请求。⚠️ 小提示代码中留有TODO: do this async标记说明当前逐行上报是同步发送的——输出特别大的任务网络往返会成为数据流中的速度瓶颈。第四步收尾与退出码finish exit命令执行完毕后客户端还差两记「收尾拳」finish上报命令跑完的时间戳服务端据此记录finished_at任务耗时 finished_at - started_atexit客户端用cmd.Wait()等待子进程退出并解析出真实退出码例如exit 3会如实上报 3 而不是笼统的 1见 client/run/run.go#L140-L163随后上报 exit 事件。退出码是整个数据流中最有「价值」的信号服务端发现exit_status 0会立即触发失败告警邮件、短信、Slack 等见 server/lib/minicron/alert/ 目录。服务端存储五个端点如何写入数据库服务端Hub接收数据的入口是 server/lib/minicron/hub/controllers/api/executions.rb五个端点各司其职 先说安全所有/api开头的请求都要经过 认证中间件它从X-API-Key请求头取出 API 密钥反查users表确认身份密钥对不上直接返回 401数据流在进门第一道就被拦住。️ init 端点最有意思它在一个数据库事务里完成三件「自动识别」动作规则识别主机按主机名查找hosts表查不到就自动创建这台主机识别任务对命令做哈希command_hash按哈希查找jobs表查不到就自动创建任务编号执行取该任务已有的最大执行序号 1创建一条新的executions记录这意味着你第一次用 minicron 跑新命令、新机器服务端会自动建档无需手工登记。同时它还会校验任务是否被禁用——被禁用的任务数据流在这里就断掉了服务端会拒绝执行。 其余四个端点很直接start/finish把时间戳换算成 UTC 时间更新executions表的started_at、finished_at字段output每行输出都创建一条job_execution_outputs记录exit更新exit_status字段并在非 0 时调用告警模块server/lib/minicron/hub/controllers/api/executions.rb#L173-L211。数据库视角四张表看懂最终存储形态所有数据最终落在数据库中表结构见 server/db/schema.rb表存什么数据流中的来源hosts哪台机器在上报init 时自动建档jobs被监控的命令含唯一command_hashinit 时自动建档executions每次执行序号、开始/结束时间、退出码init 建档start/finish/exit 补全job_execution_outputs每次执行的逐行输出含序号 seq 和时间戳每行 output 请求各存一条executions表上有一个(user_id, job_id, number)的唯一索引保证「同一用户的同一任务执行序号绝不重复」——这正是数据流不会串号的关键约束。模型间的关联任务 1→N 执行、执行 1→N 输出行定义在 server/lib/minicron/hub/models/execution.rb 和 job_execution_output.rb 中删除执行记录时其输出行也会级联删除。数据流的下游失败与漏跑自动告警数据存入数据库还不是终点服务端还有一位「值夜员」——Monitor。它每 59 秒扫一遍所有 cron 计划schedules 表结合 cron 表达式推算「上次应该跑在什么时候」再回查executions表如果窗口期内没有对应的执行记录→ 判定为漏跑miss触发告警而失败fail告警则由 exit 端点在退出码非 0 时直接触发。至此从你终端里的一条minicron run命令到面板里的历史记录、告警推送整条数据流形成了闭环minicron run 命令 │ ▼ ① init主机/任务自动建档获得 execution_id ▼ ② start伪终端启动命令记录开始时间 ▼ ③ output逐行扫描、逐行上报、逐行落库 ▼ ④ finish记录结束时间 ▼ ⑤ exit记录退出码 ──非 0──▶ 触发失败告警 ▼ 数据库executions / job_execution_outputs ▼ Monitor 巡检 ──发现漏跑──▶ 触发 miss 告警 ▼ Web 面板查看历史执行与完整输出快速上手与延伸阅读启动服务端minicron server start默认监听 0.0.0.0:9292配置见 server/config/server.toml支持 SQLite / MySQL / PostgreSQL客户端支持--dry-run模式只本地测试命令而不向服务端发送数据见 README.md五段式请求/响应结构体Init、Start、Output、Finish、Exit统一定义在 client/api/api.go想深入数据流细节可从这里入手服务端整体应用与路由前缀逻辑见 server/lib/minicron/hub/app.rb。一句话总结minicron 的数据流 一个execution_id串起五步 API 上报 四张表完成存储 一条 Monitor 巡检兜底漏跑。看懂了这条链路你就完全掌握了 minicron 的核心工作原理。【免费下载链接】minicron️ Monitor your cron jobs项目地址: https://gitcode.com/gh_mirrors/mi/minicron创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考