nebulagraphexchange3.0.x

Nebula Exchange&＃xff08;简称 Exchange&＃xff09;是一款 Apache Spark™ 应用&＃xff0c;用于在分布式环境中将集群中的数据批量迁移到 Nebula Graph 中&＃xff0c;能支
持多种不同格式的批式数据和流式数据的迁移。
Exchange 由 Reader、Processor 和 Writer 三部分组成。Reader 读取不同来源的数据返回 DataFrame 后&＃xff0c;Processor 遍历 DataFrame 的
每一行&＃xff0c;根据配置文件中fields 的映射关系&＃xff0c;按列名获取对应的值。在遍历指定批处理的行数后&＃xff0c;Writer 会将获取的数据一次性写入到 Nebula
Graph 中。下图描述了 Exchange 完成数据转换和迁移的过程。

Exchange 有社区版和企业版两个系列&＃xff0c;二者功能不同。社区版在 GitHub 开源开发&＃xff0c;企业版属于 Nebula Graph 企业套餐&＃xff0c;详情参见版本对比

Exchange 适用于以下场景&＃xff1a;

• 需要将来自 Kafka、Pulsar 平台的流式数据&＃xff0c;如日志文件、网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务&＃xff0c;以及来自
  数据中心内所连接设备或仪器的遥测数据等转化为属性图的点或边数据&＃xff0c;并导入 Nebula Graph 数据库。
• 需要从关系型数据库&＃xff08;如 MySQL&＃xff09;或者分布式文件系统&＃xff08;如 HDFS&＃xff09;中读取批式数据&＃xff0c;如某个时间段内的数据&＃xff0c;将它们转化为属性图的点或边数
  据&＃xff0c;并导入 Nebula Graph 数据库。
• 需要将大批量数据生成 Nebula Graph 能识别的 SST 文件&＃xff0c;再导入 Nebula Graph 数据库。
• 需要导出 Nebula Graph 中保存的数据。

仅企业版 Exchange 支持从 Nebula Graph 中导出数据。

• 适应性强&＃xff1a;支持将多种不同格式或不同来源的数据导入 Nebula Graph 数据库&＃xff0c;便于迁移数据。
• 支持导入 SST&＃xff1a;支持将不同来源的数据转换为 SST 文件&＃xff0c;用于数据导入。
• 支持 SSL 加密&＃xff1a;支持在 Exchange 与 Nebula Graph 之间建立 SSL 加密传输通道&＃xff0c;保障数据安全。
• 支持断点续传&＃xff1a;导入数据时支持断点续传&＃xff0c;有助于节省时间&＃xff0c;提高数据导入效率。(目前仅迁移 Neo4j 数据时支持断点续传。)
• 异步操作&＃xff1a;会在源数据中生成一条插入语句&＃xff0c;发送给 Graph 服务&＃xff0c;最后再执行插入操作。
• 灵活性强&＃xff1a;支持同时导入多个 Tag 和 Edge type&＃xff0c;不同 Tag 和 Edge type 可以是不同的数据来源或格式。
• 统计功能&＃xff1a;使用 Apache Spark™ 中的累加器统计插入操作的成功和失败次数。
• 易于使用&＃xff1a;采用 HOCON&＃xff08;Human-Optimized Config Object Notation&＃xff09;配置文件格式&＃xff0c;具有面向对象风格&＃xff0c;便于理解和操作。

Exchange 3.0.0 支持将以下格式或来源的数据转换为 Nebula Graph 能识别的点和边数据&＃xff0c;然后通过 nGQL 语句的形式导入 Nebula Graph&＃xff1a;

• 存储在 HDFS 或本地的数据&＃xff1a;
• Apache Parquet
• Apache ORC
• JSON
• CSV
• Apache HBase™
• 数据仓库&＃xff1a;
• Hive
• MaxCompute
• 图数据库&＃xff1a;Neo4j&＃xff08;Client 版本 2.4.5-M1&＃xff09;
• 关系型数据库&＃xff1a;
• MySQL
• PostgreSQL
• 列式数据库&＃xff1a;ClickHouse
• 流处理软件平台&＃xff1a;Apache Kafka®
• 发布/订阅消息平台&＃xff1a;Apache Pulsar 2.4.5

除了用 nGQL 语句的形式导入数据&＃xff0c;Exchange 还支持将数据源的数据生成 SST 文件&＃xff0c;然后通过 Console 导入 SST 文件。
此外&＃xff0c;企业版 Exchange 支持以 Nebula Graph 为源&＃xff0c;将数据导出到 CSV 文件。

Q:
用exchange-spark2.4 最终编译为nebula-exchange_spark_2.4-3.0.0.jar

现在操作为从hive中导入到nebulagraph3.0遇到两问题
1 在用spark2.4.8 scala212导入时,应该是兼容问题不能成功导入
2 后来用spark.2.4.5 操作 现在提示找不到hive中表,可以确认单独运行spark查询这张表是没有问题的
后又看3.0.2文档中有写加入-h true才能开启hive,但这个参数应该在最后加,加上后如下错误

A:
与文档一样操作编译jar

mvn clean package -Dmaven.test.skip&＃61;true -Dgpg.skip -Dmaven.javadoc.skip&＃61;true -pl nebula-exchange_spark_2.4 -am -Pscala-2.11 -Pspark-2.4


文档导入hive写的,需要参数hive支持

需要改变下参数写法

export SPARK_HOME&＃61;/opt/spark-2.4.5-211
$SPARK_HOME/bin/spark-submit \
--master yarn \
--deploy-mode client \
--class com.vesoft.nebula.exchange.Exchange \
--files /home/bigdata_tec/wsw/graph/application.conf \
/home/bigdata_tec/wsw/graph/nebula-exchange_spark_2.4-3.0.0.jar -c /home/bigdata_tec/wsw/graph/application.conf -h


还有提示版本为Nebula Graph Exchange 2.0.0可能是个内部小bug