博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apache Kylin的核心概念
阅读量:5066 次
发布时间:2019-06-12

本文共 1575 字,大约阅读时间需要 5 分钟。

 

 

  不多说,直接上干货!

 

 

1、表(table):This is definition of hive tables as source of cubes,在build cube 之前,必须同步在 kylin中。
2、模型(model):模型描述了一个星型模式的数据结构,它定义了一个事实表(Fact Table)和多个查找表(Lookup Table)的连接和过滤关系。
3、 Cube 描述:描述一个Cube实例的定义和配置选项,包括使用了哪个数据模型、包含哪些维度和度量、如何将数据进行分区、如何处理自动合并等等。
4、Cube实例:通过Cube描述Build得到,包含一个或者多个Cube Segment。
5、分区(Partition):用户可以在Cube描述中使用一个DATA/STRING的列作为分区的列,从而将一个Cube按照日期分割成多个segment。
6、立方体段(cube segmetn):它是立方体构建(build)后的数据载体,一个 segment 映射hbase中的一张表,立方体实例构建(build)后,会产生一个新的segment,一旦某个已经构建的立方体的原始数据发生变化,只需刷新(fresh)变化的时间段所关联的segment即可。
7、聚合组:每一个聚合组是一个维度的子集,在内部通过组合构建cuboid。
8、作业(job):对立方体实例发出构建(build)请求后,会产生一个作业。该作业记录了立方体实例build时的每一步任务信息。作业的状态信息反映构建立方体实例的结果信息。如作业执行的状态信息为RUNNING 时,表明立方体实例正在被构建;若作业状态信息为FINISHED ,表明立方体实例构建成功;若作业状态信息为ERROR ,表明立方体实例构建失败!
 
 

DIMENSION & MEASURE的种类

  • Mandotary:强制维度,所有cuboid必须包含的维度。
  • Hierarchy:层次关系维度,维度之间具有层次关系性,只需要保留一定层次关系的cuboid即可。
  • Derived:衍生维度,在lookup 表中,有一些维度可以通过它的主键衍生得到,所以这些维度将不参加cuboid的构建。
  • Count Distinct(HyperLogLog) :直接进行count distinct是很难去计算的,一个近似的算法HyperLogLog可以保持错误率在一个很低的范围内。
  • Count Distinct(Precise):将基于RoaringBitMap进行计算,目前只支持int和BigInt。

 

Cube Action种类

  • BUILD:给定一个分区列指定的时间间隔,对Cube进行Build,创建一个新的cube Segment。
  • REFRESH:这个操作,将在一些分期周期内对cube Segment进行重新build。
  • MERGE:这个操作将合并多个cube segments。这个操作可以在构建cube时,设置为自动完成。
  • PURGE:清理一个Cube实例下的segment,但是不会删除HBase表中的Tables。

 

Job状态

  NEW:表示一个job已经被创建。 PENDING:表示一个job已经被job Scheduler提交,等待执行资源。

  RUNNING:表示一个job正在运行。 FINISHED:表示一个job成功完成。
  ERROR:表示一个job因为错误退出。 DISCARDED:表示一个job被用户取消。

 

Job执行

  RESUME:这个操作将从失败的Job的最后一个成功点继续执行该Job。 DISCARD:无论工作的状态,用户可以结束它和释放资源。

 
 

转载于:https://www.cnblogs.com/zlslch/p/7404416.html

你可能感兴趣的文章
【IdentityServer4文档】- 欢迎来到 IdentityServer4
查看>>
安全测试的一些漏洞和测试方法
查看>>
spring框架学习笔记(八)
查看>>
vim格式化代码
查看>>
探索 ConcurrentHashMap 高并发性的实现机制
查看>>
Web服务器超时处理
查看>>
keil C 51 strlen库函数使用
查看>>
JS取得绝对路径
查看>>
排球积分程序(三)——模型类的设计
查看>>
编程原则 流水账
查看>>
tomcat URL乱码问题
查看>>
wpf首次项目开发技术总结wpf页面
查看>>
python numpy sum函数用法
查看>>
Linux中的SELinux详解--16
查看>>
php变量什么情况下加大括号{}
查看>>
less入门
查看>>
如何实现手游app瘦身?
查看>>
linux程序设计---序
查看>>
【字符串入门专题1】hdu3613 【一个悲伤的exkmp】
查看>>
C# Linq获取两个List或数组的差集交集
查看>>