作者:常叽叽_655 | 来源:互联网 | 2023-01-09 04:02
设置Apache Airflow集群的最低硬件要求是什么?
例如。群集中不同类型节点的RAM,CPU,磁盘等。
谢谢
1> jastang..:
我在伪分布式模式下使用很小的实例(32个并行工作器; Postgres后端)没有任何问题:
内存4096 MB
CPU 1000 MHz
VCPU 2个VCPU
磁盘40 GB
如果要使用分布式模式,则保持同质就可以了。无论如何,气流不应该真正使人沉重。将工作负载推向其他事物(Spark,EMR,BigQuery等)。
您还必须运行某种消息队列,例如RabbitMQ。我认为他们也接受Redis。但是,这并没有真正显着影响您的尺寸。