ClickHouse如何实现存算分离？

　　在介绍ClickHouse之前，说一下OLAP。OLAP也叫联机分析处理（Online Analytical Processing）。OLAP系统以维度模型来存储历史数据，其主要存储描述性的数据并且在结构上都是同质的。
　　01
　　ClickHouse
　　OLAP应用有如下特点：
　　1、大多数的请求是读请求；
　　2、每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列；
　　3、宽表，即每个表包含着大量的列；
　　4、处理单个查询时需要高吞吐量（每个服务器每秒高达数十亿行）；
　　5、每一个查询除了一个大表外都很小；
　　6、查询结果明显小于源数据，换句话说，数据被过滤或聚合后能够被盛放在单台服务器的内存中。
　　OLAP引擎的痛点：
　　–SparkSQL&Hive性能不够快；
　　–Impala对内存要求高，需要依赖Hadoop生态软件和基础。
　　综上，市面上的OLAP引擎不够理想，这时，ClickHouse来了。ClickHouse由俄罗斯yandex公司开发，分布式软件定义存储专为在线数据分析而设计，能够使用SQL查询生成实时数据报告，在2016年开源。
　　首先，也是ClickHouse最突出的优点：“快”。ClickHouse官方测试对比，1亿的数据集测试中，ClickHouse的性能，比Hive快259倍，比MySQL快801倍；


　　ClickHouse vs Vertica vs Greeplum
　　其次，ClickHouse足够轻量，不依赖Hadoop生态。除了解决上述的问题，ClickHouse还有如下优点：
　　1、列式存储+数据压缩；
　　2、并行和分布式查询；
　　3、支持SQL；
　　4、实时数据更新。
　　02
　　存储需求
　　ClickHouse作为OLAP的新宠备受关注，国内大厂也纷纷跟进大规模使用。那么ClickHouse对存储有什么需求？
　　ClickHouse早期并没有走Hadoop生态，而是采用Local attached storage（本地存储）的存储方式，其可靠性通过原生支持shard+replication来保障。也可以通过RAID 5方式，来提高磁盘数据的可靠性和读取能力。
　　但ClickHouse存储毕竟不是专业存储，面临着以下几个问题：
　　1、在ClickHouse众多的表引擎中，又属合并树(MergeTree)表引擎及其家族系列(*MergeTree)最为强大，在生产环境绝大部分场景中都应该使用此系列的表引擎。ReplicatedMergeTree实现了ClickHouse的replication特性，需要依赖ZooKeeper实现分布式系统的协作，当并发写入量较大时，ZooKeeper对表元数据同步有延迟，会成为集群的瓶颈，降低集群整体性能；
　　2、当数据写入ClickHouse某个节点异常，导致副本间的数据不一致；
　　3、难扩容，难维护。
　　针对上述问题，XSKY为用户的ClickHouse需求打造了高可用的软件定义存储解决方案：
　　–本身高可用的存储，去中心化设计，不会出现单个瓶颈的情况；
　　–强一致性存储系统，保证数据一致性；
　　–支持无限制横向扩展，使存储性能与容量同步线性增长，同时配合图形化的管理界面，解决运维问题。
　　03
　　ClickHouse on S3
　　上面提到了MergerTree，这里说一下MergeTree在ClickHouse存储方式。默认情况下ClickHouse的数据存储在/var/lib/clickhouse/data目录下：
　　说明：
　　1、default：数据库名；
　　2、hdfs_engine_table：表名；
　　3、2a1dedbe81258ce26f3c450185e5550811_0：其中的一个part，每次插入数据就会生成一个part，part会不定时的merge成更大的一个part，每个part里的数据都是按照主键排序存储；
　　4、checksums.txt：校验值文件；
　　5、columns.txt：列名文件，记录了表中的所有列名；
　　6、x.bin：每一列的真实数据；
　　7、x.mrk2：每一列的mrk文件；
　　8、primary.idx：主键文件，存储了主键值。
　　早在去年的时候，ClickHouse社区就进了一个PR：https://github.com/ClickHouse/ClickHouse/pull/7946，关于支持S3&HDFS的计划，并在之后陆续合入了DiskS3，终于在ClickHouse v20.4.2.9版本正式合入PR:https://github.com/ClickHouse/ClickHouse/pull/9646，MergeTree全面支持S3。
　　那么，怎么让ClickHouse的数据存储在S3上？仅需如下两个步骤即可：
　　一、创建存储配置
　　在/etc/clickhouse-server/config.d目录下创建配置文件并添加如下配置：
　　说明：
　　1、YOUR_ENDPOINT：对象存储的endpoint，如：10.0.x.x:8060；
　　2、BUCKET_NAME：桶名；
　　3、OBJECT_PREFIX：对象名前缀；
　　4、AK：对象用户的访问密钥；
　　5、SK：对象用户的秘密密钥。
　　二、创建MergeTree表
　　在创建表时设置上一步骤中创建的存储策略SETTINGS storage_policy='s3'即可。
　　经过上述两个步骤就可以进行插入删除操作。
　　我们先来看看s3_table是怎么存储到对象存储上的？
　　如下，这么看跟普通的MergeTree没有区别？
　　其实真实的数据已经存储在对象存储上，比如：1_2_2_0/count.txt文件中记录着真正的位置。
　　可通过S3 Browser查看到指定目录下已存了真实数据。
　　04
　　应用测试
　　如上讲述了如何使用对象存储存储ClickHouse的数据，下面就做一个简单的测试。这里使用航班飞行的真实数据。
　　说明：该ClickHouse环境为虚机测试环境，16G的内存，4核CPU，不能体现出性能，仅做功能测试。
　　1、通过如下命令下载2017年的飞行数据：
　　2、创建ontime数据库：
　　3、将下载好的数据导入到ClickHouse：
　　4、进行数据查询：
　　查看导入的数据量：
　　查询2017最受欢迎的目的地：
　　查询最受欢迎的出发城市：
　　05
　　总结
　　近年来ClickHouse发展迅猛，除了其丰富的功能，优秀的性能，还有就是在当下不可忽视的数据量增长。XSKY对象存储可为企业提供全面的云存储安全服务，其可扩展的性能、先进的数据存储和管理功能，更重要的是能够实现ClickHouse的存算分离，让应用更加专注于应用。  

注意：吐槽知乎网只是一个问答与文章免费发布平台，所有信息均有会员免费发布，不产生金钱交易，如果你有资金往来，请及时通过电话与对方联系，调查清楚，确认无误在选择，否则造成你的损失，由自己承担，本平台概不负责，谢谢！