【数据湖Hudi的概念】KeyGeneration和ConcurrencyControl

Hudi提供了几种key generators&＃xff0c;key generators的通用配置如下&＃xff1a;

1.1 SimpleKeyGenerator

将一个列转换成string类型&＃xff0c;作为分区字段名称

1.2 ComplexKeyGenerator

recordkey和partitionpath都将一个或多个字段作为key&＃xff0c;多个字段逗号分隔。比如"Hoodie.datasource.write.recordkey.field" : "col1,col3"

1.3 NonPartitionedKeyGenerator

如果表不是分区表&＃xff0c;使用NonPartitionedKeyGenerator&＃xff0c;生成一个empty “” partiiton

1.4 CustomKeyGenerator

可以同时使用SimpleKeyGenerator、ComplexKeyGenerator、TimestampBasedKeyGenerator

• 指定keygenerator.class

hoodie.datasource.write.keygenerator.class&＃61;org.apache.hudi.keygen.CustomKeyGenerator


• 指定recordkey&＃xff0c;可以是SimpleKeyGenerator或ComplexKeyGenerator

hoodie.datasource.write.recordkey.field&＃61;col1,col3


创建的record key格式为&＃xff1a;col1:value1,col3:value3

• 指定partitionpath&＃xff0c;格式为&＃xff1a;“field1:PartitionKeyType1,field2:PartitionKeyType2,…”&＃xff0c;PartitionKeyType的可选值为simple、timestamp

hoodie.datasource.write.partitionpath.field&＃61;col2:simple,col4:timestamp


HDFS上创建的分区路径为&＃xff1a;value2/value4

1.5 TimestampBasedKeyGenerator

这个key generator用于partition字段&＃xff0c;需要设置的配置如下&＃xff1a;

下面是使用的一些例子

Timestamp is GMT

输入字段值: “1578283932000L”&＃xff0c;生成的Partition path: “2020-01-06 12”

如果输入字段值为null&＃xff0c;生成的Partition path: “1970-01-01 08”

Timestamp is DATE_STRING

输入字段值: “2020-01-06 12:12:12”&＃xff0c;生成的Partition path: “2020-01-06 12”

如果输入字段值为null&＃xff0c;生成的Partition path: “1970-01-01 12:00:00”

Scalar examples

如果输入字段值为null&＃xff0c;生成的Partition path: “1970-01-02 12”

支持的方式&＃xff1a;

1. MVCC&＃xff1a;Hudi的table service&＃xff0c;如compaction、clean&＃xff0c;利用MVCC在写入和读取之间提供snapshot isolation。可以实现单一写入和并发读
2. OPTIMISTIC CONCURRENCY(experimental)&＃xff1a;实现并发写入&＃xff0c;需要Zookeeper或HiveMetastore获取locks的支持。如write_A写入file1和file2&＃xff0c;write_B写入file3和file4&＃xff0c;则两个write写入成功&＃xff1b;如write_A写入file1和file2&＃xff0c;write_B写入file2和file3&＃xff0c;则只能有一个write成功&＃xff0c;另一个write失败

Multi Writer Guarantees

• upsert: 表不会有重复数据
• insert: 即使开启dedup&＃xff0c;表也可能有重复数据
• bulk_insert: 即使开启dedup&＃xff0c;表也可能有重复数据
• incremental pull: Data consumption和checkpoints可能会乱序