google-cloud-dataflowvsapache-beam

每个用于数据流的Google文档都说它现在基于Apache Beam，将我定向到Beam网站真是令人困惑。另外，如果我寻找github项目，我会看到google dataflow项目为空，而所有内容都将归入Apache Beam Repo。现在说我需要创建一个管道，根据从Apache Beam读取的内容，我会做的：from apache_beam.options.pipeline_options但是，如果我使用google-cloud-dataflow，则会出现错误：no module named 'options'，事实证明我应该使用from apache_beam.utils.pipeline_options。因此，看起来google-cloud-dataflow具有较旧的Beam版本，将被弃用吗？

我应该选择哪一个来开发我的数据流管道？

最终在Google Dataflow发行说明中找到答案

Cloud Dataflow SDK发行版包含Apache Beam生态系统的子集。此子集包括定义管道并在本地和Cloud Dataflow服务上执行管道的必要组件，例如：

核心SDK

DirectRunner和DataflowRunner

其他Google Cloud Platform服务的I / O组件

Cloud Dataflow SDK发行版不包含其他Beam组件，例如：

其他分布式处理引擎的运行程序

非Cloud Platform服务的I / O组件

2.0.0版基于Apache Beam 2.0.0的子集