Flink（十五）——Flink项目如何运行

前言

之前写了不少 Flink 文章了&＃xff0c;也有不少 demo&＃xff0c;但是文章写的时候都是在本地直接运行 Main 类的 main 方法&＃xff0c;其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包&＃xff0c;然后运行得。最开始在第一篇 Flink&＃xff08;三&＃xff09;—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 中其实提到过了 Flink 自带的 UI 界面&＃xff0c;今天我们就来看看如何将我们的项目打包在这里发布运行。

准备

编译打包

项目代码就拿我之前的文章 Flink 写入数据到 ElasticSearch 吧&＃xff0c;代码地址是在 GitHub 仓库地址&＃xff1a;https://github.com/zhisheng17/flink-learning/tree/master/flink-learning-connectors/flink-learning-connectors-es6 &＃xff0c;如果感兴趣的可以直接拿来打包试试水。

我们在整个项目 &＃xff08;flink-learning&＃xff09;pom.xml 所在文件夹执行以下命令打包&＃xff1a;

mvn clean install


然后你会发现在 flink-learning-connectors-es6 的 target 目录下有 flink-learning-connectors-es6-1.0-SNAPSHOT.jar 。

启动 ES

注意你的 Kafka 数据源和 ES 都已经启动好了, 清空了下 ES 目录下的 data 数据&＃xff0c;为了就是查看是不是真的有数据存入进来了。

提交 jar 包

将此文件提交到 Flinkserver 上&＃xff0c;如下图&＃xff1a;

点击下图红框中的”Upload”按钮&＃xff1a;

如下图&＃xff0c;选中刚刚上传的文件&＃xff0c;填写类名&＃xff0c;再点击”Submit”按钮即可启动 Job&＃xff1a;

查看运行结果

如下图&＃xff0c;在 Overview 页面可见正在运行的任务&＃xff1a;

你可以看到 Task Manager 中关于任务的 metric 数据
、日志信息以及 Stdout 信息。

查看 Kibana &＃xff0c;此时 ES 中已经有数据了&＃xff1a;

我们可以在 flink ui 界面上的 overview cancel 这个 job&＃xff0c;那么可以看到 job 的日志&＃xff1a;