- 基于Apache Kylin构建大数据分析平台
- 蒋守壮
- 279字
- 2021-01-07 17:47:57
1.2 Apache Kylin的应用场景
(1)假如你的数据存在于Hadoop的HDFS分布式文件系统中,并且你使用Hive来基于HDFS构建数据仓库系统,并进行数据分析,但是数据量巨大,比如PB级别。
(2)同时你的Hadoop平台也使用HBase来进行数据存储和利用HBase的行键实现数据的快速查询等应用。
(3)你的Hadoop平台的数据量逐日累增。
(4)对于数据分析的维度大概10个左右。
如果你的应用类似上面,那么非常适合采用Apache Kylin来做大数据量的多维数据分析。
Apache Kylin的核心思想是利用空间换时间,将计算好的多维数据结果存入HBase,实现数据的快速查询。同时,由于Apache Kylin在查询方面制定了多种灵活的策略,进一步提高空间的利用率,使得这样的平衡策略在应用中值得采用。