ApacheBeam:FlatMapvsMap？

我想了解在哪种情况下我应该使用FlatMap或Map.我的文档似乎并不清楚.

我仍然不明白在哪种情况下我应该使用FlatMap或Map的转换.

有人能给我一个例子,这样我才能理解他们的不同之处吗？

我理解Spark中FlatMap与Map的区别,但不确定是否有相似之处？

Beam中的这些变换与Spark(Scala也是如此)完全相同.

甲Map变换,映射从PCollectionN个元素的到另一个PCollectionN个元素的.

FlatMap变换将PCollectionsN个元素中的一个映射到零个或多个元素的N个集合中,然后将其展平为单个元素PCollection.

举个简单的例子,会发生以下情况:

beam.Create([1, 2, 3]) | beam.Map(lambda x: [x, 'any'])
# The result is a collection of THREE lists: [[1, 'any'], [2, 'any'], [3, 'any']]

鉴于:

beam.Create([1, 2, 3]) | beam.FlatMap(lambda x: [x, 'any'])
# The lists that are output by the lambda, are then flattened into a
# collection of SIX single elements: [1, 'any', 2, 'any', 3, 'any']