链接:juejin.im/post/6863283398727860238

2020年Java原创口试题库连载中

【000期】Java最全面试题库思维导图

联表查询如何在jsp上显示这个列式数据库牛20亿行的查询1s完成 jQuery

【001期】JavaSE口试题(一):面向工具

【002期】JavaSE口试题(二):基本数据类型与访问润色符

【003期】JavaSE口试题(三):JavaSE语法(1)

【004期】JavaSE口试题(四):JavaSE语法(3)

【005期】JavaSE口试题(五):String类

【006期】JavaSE口试题(六):泛型

【007期】JavaSE口试题(七):非常

【008期】JavaSE口试题(八):凑集之List

【009期】JavaSE口试题(九):凑集之Set

【010期】JavaSE口试题(十):凑集之Map

【011期】JavaSE口试题(十一):多线程(1)

【012期】JavaSE口试题(十二):多线程(2)

【013期】JavaSE口试题(十三):多线程(3)

【014期】JavaSE口试题(十四):基本IO流

【015期】JavaSE口试题(十五):网络IO流

【016期】JavaSE口试题(十六):反射

【017期】JavaSE口试题(十七):JVM之内存模型

【018期】JavaSE口试题(十八):JVM之垃圾回收

【020期】JavaSE系列口试题汇总(共18篇)

【019期】JavaWeb口试题(一):JDBC

【021期】JavaWeb口试题(二):HTTP协议

【022期】JavaWeb口试题(三):Cookie和Session

【023期】JavaWeb口试题(四):JSP

【024期】JavaWeb口试题(五):Filter和Listener

【025期】Java工具口试题(一):版本掌握工具

【026期】Java工具口试题(二):项目管理工具

【027期】Java设计模式口试题

【028期】JavaWeb系列口试题汇总(共10篇)

【029期】JavaEE口试题(一)Web运用做事器

【030期】JavaEE口试题(二)SpringMVC

【031期】JavaEE口试题(三)Spring(1)

【032期】JavaEE口试题(四)Spring(2)

【033期】JaveEE口试题(五)MyBatis

【034期】JavaEE口试题(六)Hibernate

【035期】JavaEE口试题(七)SpringBoot(1)

更多内容,点击上面蓝字查看

一、ClickHouse 是什么?

ClickHouse:是一个用于联机剖析(OLAP)的列式数据库管理系统(DBMS)

通过ClickHouse实践,完美的办理了MySQL查询瓶颈,20亿行以下数据量级查询,90%都可以在1s内给到结果,随着数据量增加,ClickHouse同样也支持集群,大家如果感兴趣,可以积极考试测验

我们首先理清一些根本观点

OLTP:是传统的关系型数据库,紧张操作增编削查,强调事务同等性,比如银行系统、电商系统

OLAP:是仓库型数据库,紧张是读取数据,做繁芜数据剖析,侧重技能决策支持,供应直不雅观大略的结果

接着我们用图示,来理解一下列式数据库和行式数据库差异

在传统的行式数据库系统中(MySQL、Postgres和MS SQL Server),数据按如下顺序存储:

在列式数据库系统中(ClickHouse),数据按如下的顺序存储:

两者在存储办法上比拟:

以上是ClickHouse基本先容,更多可以查阅官方手册

二、业务问题

业务端现有存储在Mysql中,5000万数据量的大表及两个辅表,单次联表查询开销在3min+,实行效率极低。
经由索引优化、水平分表、逻辑优化,成效较低,因此决定借助ClickHouse来办理此问题

终极通过优化,查询韶光降落至1s内,查询效率提升200倍!

希望通过本文,可以帮助大家快速节制这一利器,并能在实践中少走弯路。

三、ClickHouse实践1.Mac下的Clickhouse安装

我是通过docker安装,也可以下载CK编译安装,相对麻烦一些。

docker安装

https://blog.csdn.net/qq_24993831/article/details/103715194

2.数据迁移:从Mysql到ClickHouse

ClickHouse支持Mysql大多数语法,迁移本钱低,目前有五种迁移方案:

create table engin mysql,映射方案数据还是在Mysql

insert into select from,先建表,在导入

create table as select from,建表同时导入

csv离线导入

streamsets

选择第三种方案做数据迁移:

CREATE TABLE[IF NOT EXISTS][db.]table_name ENGINE=MergetreeAS SELECTFROM mysql('host:port','db','database','user','password')

3.性能测试比拟类型数据量表大小查询速率MySQL5000万10G205sClickHouse5000万600MB1s内

4.数据同步方案

临时表

图片来源:携程 新建temp中间表,将Mysql数据全量同步到ClickHouse内temp表,再更换原ClickHouse中的表,适用数据量适度,增量和变量频繁的场景

synch

开源的同步软件推举:synch 事理是通过Mysql的binlog日志,获取sql语句,再通过行列步队消费task

5.ClickHouse为什么快?

只须要读取要打算的列数据,而非行式的整行数据读取,降落IO cost

同列同类型,有十倍压缩提升,进一步降落IO

clickhouse根据不同存储场景,做个性化搜索算法

四、碰着的坑1.ClickHouse与mysql数据类型差异性

用Mysql的语句查询,创造报错:

办理方案:LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id),中转一下,统一无符号类型关联

2.删除或更新是异步实行,只担保终极同等性

查询CK手册创造,即便对数据同等性支持最好的Mergetree,也只是担保终极同等性:

如果对数据同等性哀求较高,推举大家做全量同步来办理

五、总结

通过ClickHouse实践,完美的办理了Mysql查询瓶颈,20亿行以下数据量级查询,90%都可以在1s内给到结果,随着数据量增加,ClickHouse同样也支持集群,大家如果感兴趣,可以积极考试测验 : )

之前,给大家发过三份Java口试宝典,这次新增了一份,目前统共是四份口试宝典,相信在跳槽前一个月按照口试宝典准备准备,基本没大问题。

《java口试宝典5.0》(初中级)

《350道Java口试题:整理自100+公司》(中高等)

《资深java口试宝典-视频版》(资深)

《Java[BAT]口试必备》(资深)

分别适用于初中级,中高等资深级工程师的口试复习。

内容包含java根本、javaweb、mysql性能优化、JVM、锁、百万并发、行列步队,高性能缓存、反射、Spring百口桶事理、微做事、Zookeeper、数据构造、限流熔断降级等等。

看到这里,证明有所收成