并行运行气流任务/dags

您将需要使用LocalExecutor。

检查您的配置（airflow.cfg），您可能正在使用SequentialExectuor该配置连续执行任务。

Airflow使用后端数据库存储元数据。检查您的airflow.cfg文件并查找executor关键字。默认情况下，Airflow使用SequentialExecutor无论何种顺序执行任务的方法。因此，要允许Airflow在Parallel中运行任务，您将需要在Postges或MySQL中创建一个数据库，并在airflow.cfg（sql_alchemy_connparam）中对其进行配置，然后将执行程序更改为LocalExecutorin airflow.cfg然后运行airflow initdb。

请注意，在使用时，LocalExecutor您需要使用Postgres或MySQL而不是SQLite作为后端数据库。

更多信息：https : //airflow.incubator.apache.org/howto/initialize-database.html

如果要对Airflow进行真实的测试，则应考虑设置真实的数据库后端并切换到LocalExecutor。由于Airflow是使用强大的SqlAlchemy库构建的以便与其元数据进行交互，因此您应该能够将任何支持的数据库后端用作SqlAlchemy后端。我们建议使用MySQL或Postgres。