作者:酸奶82 | 来源:互联网 | 2023-02-05 15:00
有没有之间的差异ParDo
,并FlatMap
在数据流/ Apache的梁?
我认为两者都将一个函数应用于传入的每个元素PCollection
,并返回迭代; 但我想必须有一些区别?
1> Kenn Knowles..:
FlatMap
是一个更简单的操作,就像你期望的那样ParDo
.如果这符合您的需求,那么这是一个不错的选择.
ParDo
是元素计算的低级构建块,具有附加功能,如侧输入,多输出集合,对当前窗口的访问,一些用于启动和提交元素束的低级回调等等.
在实践中,许多使用FlatMap
并ParDo
最终使用类似的代码批量,但在我看来,使用最简单(最高级别)的转换是最可读的.