管理大量 Python 3 数据分析小脚本的最佳方案是什么？

[locktionc]

应用场景

有一个原始数据库 A，里面包含所有需要的数据。

• 脚本 1. 从 A 中捞出每天新增的数据，去重后塞入数据库 B
• 脚本 2：从 A 中捞出每天新增数据，计算与昨日相比的增量并发邮件
• 脚本 3：从 B 中捞出每天的新增数据，计算与昨日相比的增量并发邮件
• 脚本 4： 从 B 中捞出所有 tag 为'video'的数据，把它们的 ID 和所有 tag 为'news'的数据进行对比，找出'title'相同的记录
• 脚本 5：从 B 中捞出数据，查询 Solr，把查询到的数据中的某些字段与 B 中的数据合并，然后写入数据库 C
• 脚本 6，7，8，9，10，……

例子中主要是数据分析的脚本，在实际中不仅限于此，还有不少 log 分析的脚本，警报脚本等等。

这样的需要定时运行的小脚本有 40 多个。现在全靠 crontab 和 jenkins 运行，已经感觉难以管理了。

对于这些要长不长，要短不短的小脚本，大家有什么比较好的管理方案吗？

需求

1. 支持定时启动

2. 满足某些条件（某个脚本运行完，某个脚本的输出结果满足什么条件等等）启动

3. 热拔插，添加 /修改新脚本不影响老脚本

4. 新脚本可以轻松获取某个或者某些老脚本的输出结果

5. 脚本量大了以后，快速找到实现某个功能的脚本文件以方便排查问题

在 Python 2 时代，有一个 Frabic 可以大致实现这个功能，不知道在 Python 3 时代，有没有更好的方式？

[chenqh]

这不是写文档的作用吗

[locktionc]

@chenqh 文档不能解决小脚本的调度和组合的问题。

[ToT]

公司内部有 scheduler， 可以将任何 job 部署到指定 nodes 运行，可以订制时间+dependency。Python 应该也有类似 lib 吧。
http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html


小报告多的话，我是单独写一个 UI 让大家查看的。

[bxh566]

luigi?

[locktionc]

@bxh566 我看看

[httplife]

再写一个 管理 py

[locktionc]

@httplife 实在找不到更好的情况下，也只有这样做了。

[udumbara]

airflow

[monsterxx03]

用过 luigi, airflow, 这些为了 ETL 做的工具不太适合管理这些脚本,这些工具都需要脚本做适配, 我们的问题是脚本数太多，还是分散到好多人写的，最后框架还是自己写的，给每个脚本写一段 yaml 的配置定义:

daily_log_cal:
type: call
once: per_day
timeout: 600
func: 'path.to.moudule:main'
args:
- a
- b
kwargs:
c: 1
slack:
- '@somebody'
deps:
- upstream_job1

每个脚本暴露一个 main 入口函数, 可以从 yaml 中传入参数, 用子进程来运行每个任务，防止一些脚本写的有问题耗内存太多不释放, 用 signal 实现超时控制, 任务运行失败直接 slack 通知到人, deps 定义一个简单的 DAG 依赖管理, 上游任务失败直接跳过.

还可以根据需求定制一些其他类型的任务，比如 type: sql, 就是制定一个 sql 文件，直接在数据仓库里执行(一般是刷新一些表).

至于运行启动时间, 如果任务有精确到几点几分的要求就单独设置 cronjob，如果只是要求 hourly 或者 daily 运行一次，就定制一个任务 list 作为入口，用 cronjob 触发.

[locktionc]

@monsterxx03 yaml 对缩进太敏感了。实在要自己写的话，我们可能会用 ini 或者 json

[iyaozhen]

@locktionc 😂哥你都用游标卡尺了。还怕配置文件的缩进。yaml 用作配置文件比 json 和 ini 体验好很多

[wibile]

airflow

[locktionc]

@wibile 我看看

[RangerWolf]

遇到同样的问题！
没有什么太好的解决方案， 目前也是 crontab 为主。