链接:juejin.im/post/6863283398727860238
2020年Java原创口试题库连载中
【000期】Java最全面试题库思维导图
【001期】JavaSE口试题(一):面向工具
【002期】JavaSE口试题(二):基本数据类型与访问润色符
【003期】JavaSE口试题(三):JavaSE语法(1)
【004期】JavaSE口试题(四):JavaSE语法(3)
【005期】JavaSE口试题(五):String类
【006期】JavaSE口试题(六):泛型
【007期】JavaSE口试题(七):非常
【008期】JavaSE口试题(八):凑集之List
【009期】JavaSE口试题(九):凑集之Set
【010期】JavaSE口试题(十):凑集之Map
【011期】JavaSE口试题(十一):多线程(1)
【012期】JavaSE口试题(十二):多线程(2)
【013期】JavaSE口试题(十三):多线程(3)
【014期】JavaSE口试题(十四):基本IO流
【015期】JavaSE口试题(十五):网络IO流
【016期】JavaSE口试题(十六):反射
【017期】JavaSE口试题(十七):JVM之内存模型
【018期】JavaSE口试题(十八):JVM之垃圾回收
【020期】JavaSE系列口试题汇总(共18篇)
【019期】JavaWeb口试题(一):JDBC
【021期】JavaWeb口试题(二):HTTP协议
【022期】JavaWeb口试题(三):Cookie和Session
【023期】JavaWeb口试题(四):JSP
【024期】JavaWeb口试题(五):Filter和Listener
【025期】Java工具口试题(一):版本掌握工具
【026期】Java工具口试题(二):项目管理工具
【027期】Java设计模式口试题
【028期】JavaWeb系列口试题汇总(共10篇)
【029期】JavaEE口试题(一)Web运用做事器
【030期】JavaEE口试题(二)SpringMVC
【031期】JavaEE口试题(三)Spring(1)
【032期】JavaEE口试题(四)Spring(2)
【033期】JaveEE口试题(五)MyBatis
【034期】JavaEE口试题(六)Hibernate
【035期】JavaEE口试题(七)SpringBoot(1)
更多内容,点击上面蓝字查看
一、ClickHouse 是什么?
ClickHouse:是一个用于联机剖析(OLAP)的列式数据库管理系统(DBMS)
通过ClickHouse实践,完美的办理了MySQL查询瓶颈,20亿行以下数据量级查询,90%都可以在1s内给到结果,随着数据量增加,ClickHouse同样也支持集群,大家如果感兴趣,可以积极考试测验
我们首先理清一些根本观点
OLTP:是传统的关系型数据库,紧张操作增编削查,强调事务同等性,比如银行系统、电商系统
OLAP:是仓库型数据库,紧张是读取数据,做繁芜数据剖析,侧重技能决策支持,供应直不雅观大略的结果
接着我们用图示,来理解一下列式数据库和行式数据库差异
在传统的行式数据库系统中(MySQL、Postgres和MS SQL Server),数据按如下顺序存储:
在列式数据库系统中(ClickHouse),数据按如下的顺序存储:
两者在存储办法上比拟:
以上是ClickHouse基本先容,更多可以查阅官方手册
二、业务问题 业务端现有存储在Mysql中,5000万数据量的大表及两个辅表,单次联表查询开销在3min+,实行效率极低。经由索引优化、水平分表、逻辑优化,成效较低,因此决定借助ClickHouse来办理此问题 终极通过优化,查询韶光降落至1s内,查询效率提升200倍! 希望通过本文,可以帮助大家快速节制这一利器,并能在实践中少走弯路。 三、ClickHouse实践1.Mac下的Clickhouse安装 我是通过docker安装,也可以下载CK编译安装,相对麻烦一些。 docker安装 https://blog.csdn.net/qq_24993831/article/details/103715194 2.数据迁移:从Mysql到ClickHouse ClickHouse支持Mysql大多数语法,迁移本钱低,目前有五种迁移方案: create table engin mysql,映射方案数据还是在Mysql insert into select from,先建表,在导入 create table as select from,建表同时导入 csv离线导入 streamsets 选择第三种方案做数据迁移: 3.性能测试比拟 临时表 图片来源:携程 新建temp中间表,将Mysql数据全量同步到ClickHouse内temp表,再更换原ClickHouse中的表,适用数据量适度,增量和变量频繁的场景 synch 开源的同步软件推举:synch 事理是通过Mysql的binlog日志,获取sql语句,再通过行列步队消费task 5.ClickHouse为什么快? 只须要读取要打算的列数据,而非行式的整行数据读取,降落IO cost 同列同类型,有十倍压缩提升,进一步降落IO clickhouse根据不同存储场景,做个性化搜索算法 四、碰着的坑1.ClickHouse与mysql数据类型差异性 用Mysql的语句查询,创造报错: 办理方案:LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id),中转一下,统一无符号类型关联 2.删除或更新是异步实行,只担保终极同等性 查询CK手册创造,即便对数据同等性支持最好的Mergetree,也只是担保终极同等性: 如果对数据同等性哀求较高,推举大家做全量同步来办理 五、总结 通过ClickHouse实践,完美的办理了Mysql查询瓶颈,20亿行以下数据量级查询,90%都可以在1s内给到结果,随着数据量增加,ClickHouse同样也支持集群,大家如果感兴趣,可以积极考试测验 : ) 之前,给大家发过三份Java口试宝典,这次新增了一份,目前统共是四份口试宝典,相信在跳槽前一个月按照口试宝典准备准备,基本没大问题。 《java口试宝典5.0》(初中级) 《350道Java口试题:整理自100+公司》(中高等) 《资深java口试宝典-视频版》(资深) 《Java[BAT]口试必备》(资深) 分别适用于初中级,中高等,资深级工程师的口试复习。 内容包含java根本、javaweb、mysql性能优化、JVM、锁、百万并发、行列步队,高性能缓存、反射、Spring百口桶事理、微做事、Zookeeper、数据构造、限流熔断降级等等。 看到这里,证明有所收成CREATE TABLE[IF NOT EXISTS][db.]table_name ENGINE=MergetreeAS SELECTFROM mysql('host:port','db','database','user','password')
类型 数据量 表大小 查询速率 MySQL5000万10G205sClickHouse5000万600MB1s内4.数据同步方案