作者:or70woo | 来源:互联网 | 2023-02-05 22:21
我正在运行5个DAG,它们在base_log_folder
一个月内生成了大约6GB的日志数据.我只是添加了一个,remote_base_log_folder
但似乎它不排除登录到base_log_folder
.
是否有自动删除旧日志文件,旋转它们或强制气流不能仅在远程存储中登录磁盘(base_log_folder)?
1> Vinod Vutpal..:
请参阅https://github.com/teamclairvoyant/airflow-maintenance-dags
这个插件有DAG可以杀死暂停的任务和日志清理.您可以获取概念,并可以根据您的要求提供可以清理的新DAG.