作者:人鱼同体 | 来源:互联网 | 2022-12-02 15:10
无法通过Hive访问通过Spark(pyspark)创建的Hive表。
df.write.format("orc").mode("overwrite").saveAsTable("db.table")
从Hive访问时出错:
错误:java.io.IOException:java.lang.IllegalArgumentException:bucketId超出范围:-1(状态=,代码= 0)
在Hive中成功创建表,并能够在Spark中读取该表。表元数据可访问(在Hive中),数据文件在表(在hdfs中)目录中。
Hive表的TBLPROPERTIES是:
'bucketing_version'='2',
'spark.sql.create.version'='2.3.1.3.0.0.0-1634',
'spark.sql.sources.provider'='orc',
'spark.sql.sources.schema.numParts'='1',
我还尝试了使用其他解决方法创建表,但在创建表时出错:
df.write.mode("overwrite").saveAsTable("db.table")
要么
df.createOrReplaceTempView("dfTable")
spark.sql("CREATE TABLE db.table AS SELECT * FROM dfTable")
错误:
AnalysisException:u'org.apache.hadoop.hive.ql.metadata.HiveException:MetaException(由于以下原因,message:Table default.src未能通过严格的托管表检查:将该表标记为托管表,但不是事务性表。) ;'
堆栈版本详细信息:
火花2.3
Hive3.1
Hortonworks数据平台HDP3.0