Kylin中cube优化

前言

Apache Kylin 在中企的使用主要在新数仓系统以及 BI 报表的数据计算工作&＃xff0c;带来的变化有&＃xff1a;

一方面Kylin帮助我们提升了开发效率&＃xff0c;减少了开发人员需要手动编写HQL/SQL 语句去查询维度数据的状况&＃xff1b;

另一方面解耦现有系统设计&＃xff0c;数据计算层主要包括Spark类的实时计算和HQL的离线计算&＃xff08;Kylin在我司目前还没有接入实时流计算&＃xff0c;后期会尝试接入&＃xff09;&＃xff0c;通过引入Kylin&＃xff0c;整个离线计算这一块就可以转到Kylin去处理&＃xff0c;灵活度高了很多&＃xff1b;

最后&＃xff0c;Apache Kylin采用HBase做为结果集的存储&＃xff0c;对外提供API&＃xff0c;并且支持大部分BI展示工具&＃xff0c;目前2.0&＃43;版本也提供了基于Spark的计算引擎和雪花模型&＃xff0c;可见&＃xff0c;在未来Kylin在中企动力的应用场景会越来越丰富。

在Apache Kylin高性能的背后&＃xff0c;Cube是至关重要的核心。Cube是所有Dimension 的组合&＃xff0c;每一种Dimension 的组合称之为Cuboid&＃xff0c;有N个Dimension的Cube就会有2^n个Cuboid。因此&＃xff0c;一个优化得当的Cube既能满足高速查询的需要&＃xff0c;又可节省集群资源&＃xff0c;本文将从Kylin Cube的设计方面带大家了解Cube的优化方案。

前面说过&＃xff0c;Cube是所有维度的组合&＃xff0c;当我们有10个维度时&＃xff0c;那么就会预计算2^10 也就是1024个Cuboid&＃xff0c;但当我们真正查询的时候&＃xff0c;可能只会用到100个Cuboid&＃xff0c;如果不对Cube进行优化的话&＃xff1a;

• 会使得Build出来的Cube Size 很大&＃xff0c;从而占用大量的磁盘空间&＃xff1b;

• Cube Building的时间会很长 &＃xff1b;

• 会占用集群的计算资源 。

因此&＃xff0c;如果使用Apache Kylin做数据分析&＃xff0c;Cube优化将是我们必做的一项工作。

Cube 维度优化主要方式

1. Cube ID 剪枝优化2. 衍生维度优化3. 聚合组优化4. 强制维度5. 层次维度6. 联合维度7. Cube并发粒度优化

以上7种优化方式&＃xff0c;都可以认为是对维度的一种剪枝&＃xff0c;因为每种优化的最终目的都是为了减少Cuboid的数量&＃xff0c;下面我将逐个介绍每个优化项的概念以及使用场景。

1. Cube ID 剪枝优化

前面说到如果有10个维度&＃xff0c;那么就会生成2^10&＃61;1024个Cuboid&＃xff0c;如果有20个维度那么将会生成2^20&＃61;1048576个Cuboid&＃xff0c;是指数级增长&＃xff0c;kylin.properties中参数 kylin.cube.aggrgroup.max-combination&＃xff1d;4096&＃xff0c;也就是说当Cuboid数量大于4096时&＃xff0c; Cube定义是无法保存的的&＃xff0c;会报TooManyCuboidException异常。

1.检查Cuboid数目

执行命令 &＃xff1a;

bin/kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader cubeName

2.检查Cube Size

在kylin web gui 的model界面选择一个READY状态的Cube&＃xff0c;将光标移到Cube Size上面&＃xff0c;会显示出Cube源数据的大小&＃xff0c;以及当前Cube的大小除以源数据大小的比例&＃xff0c;如图&＃xff1a;

一般&＃xff0c;Cube的膨胀率应该在0%&＃xff0d;1000%之间&＃xff0c;如果Cube的膨胀率超过了1000%&＃xff0c;那么就需要查询其中的原因了&＃xff0c;导致膨胀率高的原因一般为以下几点&＃xff1a;

1)、Cube的维度数量较多&＃xff0c;没有进行很好的剪枝&＃xff1b;

2)、Cube中存在较高基数的维度&＃xff0c;导致这类维度每个Cuboid占用的空间很大&＃xff0c;从而造成Cube体积变大&＃xff1b;

3)、存在比较占用空间的度量。

对于Cube膨胀率高的情况&＃xff0c;需要针对实际的业务需求进行分析&＃xff0c;可以考虑通过下面的几种优化方式进行优化&＃xff1a;

2. &＃xff3b;Derived Dim&＃xff3d;衍生维度优化

衍生维度&＃xff08;Derived Dim&＃xff09;&＃xff1a;当一个或者多个维度能够从主键中推断出来&＃xff0c;那么这些维度列就称之为衍生“Derived” 列。

衍生维度&＃xff08;Derived Dim&＃xff09;优化效果&＃xff1a;维度表中的n个维度计算&＃xff0c;将Cuboid从2^n 减为2。

使用场景&＃xff1a;在星型模型中&＃xff0c;有一个用户维度表&＃xff0c;表中包含了ID&＃xff0c;A&＃xff0c;B&＃xff0c;C &＃xff0c;其中ID 为PK&＃xff0c;在这里通过ID的值就可以确定A&＃xff0c;B&＃xff0c;C的值&＃xff0c;因为A&＃xff0c;B&＃xff0c;C为ID的Derived。当进行build一个Cube包含A&＃xff0c;B&＃xff0c;C 的时候&＃xff0c;只需要包含ID&＃xff0c;并且将A&＃xff0c;B&＃xff0c;C标记为derived &＃xff0c;这样derived列就不会生成Cuboid 。

3. &＃xff3b;Aggregation Group&＃xff3d;聚合组优化

聚合组&＃xff08;Aggregation Group&＃xff09;: 根据业务的维度组合&＃xff0c;划分出具有强依赖的组合&＃xff0c;这些组合称之为聚合组&＃xff0c;在聚合组内&＃xff0c;维度之间的组合会预计算&＃xff0c;聚合组之间并不交叉预计算&＃xff0c;从而减少Cuboid的数量.

聚合组优化效果&＃xff1a;如果有4个维度&＃xff0c;分别为A&＃xff0c;B&＃xff0c;C&＃xff0c;D&＃xff0c;那么就会有16个Cuboid&＃xff0c;如果AB和CD分别为聚集组的话&＃xff0c;那么Cuboid的数量就缩减为8个。

使用场景&＃xff1a;所有维度中&＃xff0c;有部分维度之间具有聚合操作的&＃xff0c;可以将这些维度放在一个聚合组内。不放在聚合组里面的&＃xff0c;就直接进行Base Cube操作。

4. &＃xff3b;Mandatory Dimensions&＃xff3d;强制维度

强制维度&＃xff08;Mandatory Dimensions&＃xff09;&＃xff1a;所有Cubeid中都包含的维度称之为强制维度&＃xff0c;不包含强制维度的Cubeid不会计算。

优化效果&＃xff1a;只计算包含强制维度的Cubeid&＃xff0c;Cubeid的数量会缩减一半。

使用场景&＃xff1a;假如有三个维度A&＃xff0c;B&＃xff0c;C&＃xff0c;那么Cuboid就会有8个&＃xff0c;分别为ABC&＃xff0c;AB&＃xff0c;BC&＃xff0c;AC&＃xff0c;A&＃xff0c;B&＃xff0c;C&＃xff0c;这时将A设置为强制维度&＃xff0c;那么就只会计算ABC&＃xff0c;AB&＃xff0c;AC&＃xff0c;A这四个 Cubeid。

5. &＃xff3b;Hierarchy Dimension&＃xff3d;层次维度

层次维度&＃xff08;Hierarchy Dim&＃xff09;&＃xff1a;某些维度之间具有上下层次关联。

优化效果&＃xff1a;如果有三个维度A&＃xff0c;B&＃xff0c;C 设置为层次维度&＃xff0c;那么Cuboid数量将由2^3减为3&＃xff0b;1。

使用场景&＃xff1a;比较适用于进行下钻分析&＃xff0c;比如年月日&＃xff0c;省市县这种。

6. &＃xff3b;Joint Dimension&＃xff3d;联合维度

联合维度&＃xff08;Joint Dimension&＃xff09;&＃xff1a;固定用来分组的维度查询。

优化效果&＃xff1a;将多个维度优化到一个维度。

使用场景&＃xff1a;假如有ABC三个维度&＃xff0c;但是在查询的时候只会出现Group by A&＃xff0c;B&＃xff0c;C&＃xff0c;而不会出现Group A&＃xff0c;Group by B&＃xff0c;Group by A、B等等这种情况&＃xff0c;那么就可以将A&＃xff0c;B&＃xff0c;C设置为联合维度。

7. 调整Cube并发粒度

当Segment中某个Cuboid的大小超出一定的阈值时&＃xff0c;系统会将该Cuboid的数据分片到多个Hbase Region Server&＃xff0c;从而实现Cuboid数据读取的并行化&＃xff0c;优化Cube的查询速度。

kylin的默认设置中

kylin.storage.hbase.region-cut-gb&＃61;5&＃xff0c;

kylin.storage.hbase.min-region-count&＃61;1,

kylin.storage.hbase.max-region-count&＃61;500

在实际应用中&＃xff08;根据实际数据量调整&＃xff09;&＃xff0c;可以将

kylin.storage.hbase.min-region-count&＃61;2,

kylin.storage.hbase.max-region-count&＃61;100&＃xff0c;

kylin.storage.hbase.region-cut-gb&＃xff1d;1

上面设置为最小为2个分区&＃xff0c;每个分区大小为1G&＃xff0c;最多设置100个region分区