首页  

clickhouse写入注意点     所属分类 clickhouse 浏览量 466
写入方法
文件导入
insert语句
JDBC接口


insert语句逐条插入性能最差,对于MergeTree表引擎,大数据量写入会触发频繁的后台文件合并,
可能会出现  too many parts 错误
可使用批量 insert语句

INSERT INTO mytable VALUES
('2010-03-10', 28194901262, '8006-6129-3130-5580', 1169)
('2015-10-17', 67128904894, '4681-5453-2740-1617', 8109)
('2013-08-05', 79681799770, '6661-8986-3509-6991', 55);



jdbc接口有两种驱动
官方使用HTTP协议的驱动
housepower开源的基于TCP的驱动


对于分布式CH集群的写入,建议写本地表,而不是直接写分布式表
通过JDBC接口进行写入时,要注意batchSize的调优,
太小容易出现“too many parts”的问题,太大又会使整体的写入性能下降,具体的取值可根据实际的环境做调整

副本对整体写入性能的影响不大



https://clickhouse.com/docs/zh/introduction/performance#shu-ju-de-xie-ru-xing-neng
每次批量写入不少于1000行,或每秒不超过一个写入请求 ,
使用tab-separated格式将一份数据写入到MergeTree表中时,写入速度大约为 50 到 200MB/s ,
如果数据每行为1Kb,那么写入的速度为50000到200000行每秒

上一篇     下一篇
《给孩子的高效学习手册》笔记

哈佛大学推荐的20个快乐习惯

Clickhouse数据写入机制

《唤醒孩子的内驱力》笔记

量化选基技术指标和公式

如何进行深度学习