1. 前言
Schedulerx2.0的客户端提供分布式执行、多种任务类型、统一日志等框架&＃xff0c;用户只要依赖schedulerx-worker这个jar包&＃xff0c;通过schedulerx2.0提供的编程模型&＃xff0c;简单几行代码就能实现一套高可靠可运维的分布式执行引擎。
这篇文章重点是介绍基于schedulerx2.0的分布式执行引擎原理和最佳实践&＃xff0c;相信看完这篇文章&＃xff0c;大家都能写出高效率的分布式作业&＃xff0c;说不定速度能提升好几倍:)
2. 可扩展的执行引擎
Worker总体架构参考Yarn的架构&＃xff0c;分为TaskMaster, Container, Processor三层&＃xff1a;
TaskMaster&＃xff1a;类似于yarn的AppMaster&＃xff0c;支持可扩展的分布式执行框架&＃xff0c;进行整个jobInstance的生命周期管理、container的资源管理&＃xff0c;同时还有failover等能力。默认实现StandaloneTaskMaster(单机执行)&＃xff0c;BroadcastTaskMaster(广播执行)&＃xff0c;MapTaskMaster(并行计算、内存网格、网格计算)&＃xff0c;MapReduceTaskMaster(并行计算、内存网格、网格计算)。
Container&＃xff1a;执行业务逻辑的容器框架&＃xff0c;支持线程/进程/docker/actor等。
Processor&＃xff1a;业务逻辑框架&＃xff0c;不同的processor表示不同的任务类型。
以MapTaskMaster为例&＃xff0c;大概的原理如下图所示&＃xff1a;
3. 分布式编程模型之Map模型
Schedulerx2.0提供了多种分布式编程模型&＃xff0c;这篇文章主要介绍Map模型(之后的文章还会介绍MapReduce模型&＃xff0c;适用更多的业务场景)&＃xff0c;简单几行代码就可以将海量数据分布式到多台机器上进行分布式跑批&＃xff0c;非常简单易用。
针对不同的跑批场景&＃xff0c;map模型作业还提供了并行计算、内存网格、网格计算三种执行方式&＃xff1a;
并行计算&＃xff1a;子任务300以下&＃xff0c;有子任务列表。
内存网格&＃xff1a;子任务5W以下&＃xff0c;无子任务列表&＃xff0c;速度快。
网格计算&＃xff1a;子任务100W以下&＃xff0c;无子任务列表。
4. 并行计算原理
因为并行任务具有子任务列表&＃xff1a;
如上图&＃xff0c;子任务列表可以看到每个子任务的状态、机器&＃xff0c;还有重跑、查看日志等操作。
因为并行计算要做到子任务级别的可视化&＃xff0c;并且worker挂了、重启还能支持手动重跑&＃xff0c;就需要把task持久化到server端&＃xff1a;
如上图所示&＃xff1a;
server触发jobInstance到某个worker&＃xff0c;选中为master。
MapTaskMaster选择某个worker执行root任务&＃xff0c;当执行map方法时&＃xff0c;会回调MapTaskMaster。
MapTaskMaster收到map方法&＃xff0c;会把task持久化到server端。
同时&＃xff0c;MapTaskMaster还有个pull线程&＃xff0c;不停拉取INIT状态的task&＃xff0c;并派发给其他worker执行。
5. 网格计算原理
网格计算要支持百万级别的task&＃xff0c;如果所有任务都往server回写&＃xff0c;server肯定扛不住&＃xff0c;所以网格计算的存储实际上是分布式在用户自己的机器上的&＃xff1a;
如上图所示&＃xff1a;
server触发jobInstance到某个worker&＃xff0c;选中为master。
MapTaskMaster选择某个worker执行root任务&＃xff0c;当执行map方法时&＃xff0c;会回调MapTaskMaster。
MapTaskMaster收到map方法&＃xff0c;会把task持久化到本地h2数据库。
同时&＃xff0c;MapTaskMaster还有个pull线程&＃xff0c;不停拉取INIT状态的task&＃xff0c;并派发给其他worker执行。
6. 最佳实践
6.1 需求
举个例子&＃xff1a;
读取A表中status&＃61;0的数据。
处理这些数据&＃xff0c;插入B表。
把A表中处理过的数据的修改status&＃61;1。
数据量有4亿&＃43;&＃xff0c;希望缩短时间。
6.2 反面案例
我们先看下如下代码是否有问题&＃xff1f;
public class ScanSingleTableProcessor extends MapJobProcessor {
private static int pageSize &＃61; 1000;
&＃64;Override
public ProcessResult process(JobContext context) {
String taskName &＃61; context.getTaskName();
Object task &＃61; context.getTask();
if (WorkerConstants.MAP_TASK_ROOT_NAME.equals(taskName)) {
int recordCount &＃61; queryRecordCount();
int pageAmount &＃61; recordCount / pageSize;//计算分页数量
for(int i &＃61; 0 ; i List recordList &＃61; queryRecord(i);//根据分页查询一页数据
map(recordList, "record记录");//把子任务分发出去并行处理
}
return new ProcessResult(true);//true表示执行成功&＃xff0c;false表示失败
} else if ("record记录".equals(taskName)) {
//TODO
return new ProcessResult(true);
}
return new ProcessResult(false);
}
}
如上面的代码所示&＃xff0c;在root任务中&＃xff0c;会把数据库所有记录读取出来&＃xff0c;每一行就是一个Record&＃xff0c;然后分发出去&＃xff0c;分布式到不同的worker上去执行。逻辑是没有问题的&＃xff0c;但是实际上性能非常的差。结合网格计算原理&＃xff0c;我们把上面的代码绘制成下面这幅图&＃xff1a;
如上图所示&＃xff0c;root任务一开始会全量的读取A表的数据&＃xff0c;然后会全量的存到h2中&＃xff0c;pull线程还会全量的从h2读取一次所有的task&＃xff0c;还会分发给所有客户端。所以实际上对A表中的数据&＃xff1a;
全量读2次
全量写一次
全量传输一次
这个效率是非常低的。
6.3 正面案例
下面给出正面案例的代码&＃xff1a;
public class ScanSingleTableJobProcessor extends MapJobProcessor {
private static final int pageSize &＃61; 100;
static class PageTask {
private int startId;
private int endId;
public PageTask(int startId, int endId) {
this.startId &＃61; startId;
this.endId &＃61; endId;
}
public int getStartId() {
return startId;
}
public int getEndId() {
return endId;
}
}
&＃64;Override
public ProcessResult process(JobContext context) {
String taskName &＃61; context.getTaskName();
Object task &＃61; context.getTask();
if (taskName.equals(WorkerConstants.MAP_TASK_ROOT_NAME)) {
System.out.println("start root task");
Pair idPair &＃61; queryMinAndMaxId();
int minId &＃61; idPair.getFirst();
int maxId &＃61; idPair.getSecond();
List taskList &＃61; Lists.newArrayList();
int step &＃61; (int) ((maxId - minId) / pageSize); //计算分页数量
for (int i &＃61; minId; i taskList.add(new PageTask(i, (i&＃43;step > maxId ? maxId : i&＃43;step)));
}
return map(taskList, "Level1Dispatch");
} else if (taskName.equals("Level1Dispatch")) {
PageTask record &＃61; (PageTask)task;
long startId &＃61; record.getStartId();
long endId &＃61; record.getEndId();
//TODO
return new ProcessResult(true);
}
return new ProcessResult(true);
}
&＃64;Override
public void postProcess(JobContext context) {
//TODO
System.out.println("all tasks is finished.");
}
private Pair queryMinAndMaxId() {
//TODO select min(id),max(id) from xxx
return null;
}
}
如上面的代码所示&＃xff0c;
每个task不是整行记录的record&＃xff0c;而是PageTask&＃xff0c;里面就2个字段&＃xff0c;startId和endId。
root任务&＃xff0c;没有全量的读取A表&＃xff0c;而是读一下整张表的minId和maxId&＃xff0c;然后构造PageTask进行分页。比如task1表示PageTask[1,1000]&＃xff0c;task2表示PageTask[1001,2000]。每个task处理A表不同的数据。
在下一级task中&＃xff0c;如果拿到的是PageTask&＃xff0c;再根据id区间去A表处理数据。
根据上面的代码和网格计算原理&＃xff0c;得出下面这幅图&＃xff1a;
如上图所示&＃xff0c;
A表只需要全量读取一次。
子任务数量比反面案例少了上千、上万倍。
子任务的body非常小&＃xff0c;如果recod中有大字段&＃xff0c;也少了上千、上万倍。
综上&＃xff0c;对A表访问次数少了好几倍&＃xff0c;对h2存储压力少了上万倍&＃xff0c;不但执行速度可以快很多&＃xff0c;还保证不会把自己本地的h2数据库搞挂。
作者&＃xff1a;黄晓萌
本文为云栖社区原创内容&＃xff0c;未经允许不得转载。
京公网安备 11010802041100号