hbase snappy和gz压缩的测试

还为你等着

2024-06-25 帮助1人

工作中对hbase压缩格式进行了测试,记录一下.

1.先从hbase的测试表(snappy格式)读取数据到hdfs,计算读取hbase snappy格式表的效率:

开始时间:2021-12-07 10:06:04

结束时间:2021-12-07 10:38:04

2.写入数据到hbase的测试表(snappy格式),计算写入hbase snappy格式表的效率:

开始时间:2021-12-07 11:03:00

结束时间:2021-12-07 12:55:44

3.写入数据到hbase的测试表(gz格式),计算写入hbase gz格式表的效率:

开始时间:2021-12-07 13:21:06

结束时间:2021-12-07 14:43:12

4.最后从hbase的测试表(gz格式)读取数据到hdfs,计算读取hbase gz格式表的效率:

开始时间:2021-12-07 14:53:00

结束时间:2021-12-07 15:25:17

汇总:

hbase的snappy和gz压缩格式读取/写入对比
类型	数据量	压缩格式	开始时间	结束时间	耗时(秒)	cpu消耗最大值	cpu消耗平均值值	总消耗(耗时*cpu平均值)
写入	2207114条	snappy	2021-12-07 11:03:00	2021-12-07 12:55:44	6764	15.24	6	40584
写入		gz	2021-12-07 13:21:06	2021-12-07 14:43:12	4926	33.49	20	98520
读取		snappy	2021-12-07 10:06:04	2021-12-07 10:38:04	1920	3.45	2	3840
读取		gz	2021-12-07 14:53:00	2021-12-07 15:25:17	1937	3.55	2	3874
读取		两种压缩格式,对于读取来说效率和资源使用情况几乎没有差异,不需要考虑性能和机器负载问题.
写入		gz比snappy压缩写入速度更快,比snappy约快27%,消耗cpu更高,cpu平均消耗约是snappy的3.4倍左右,总消耗约是snappy的2.4倍左右.gz的压缩率约是snappy的2.6倍.
结论	p环境cpu使用率约在30%,delivery_message表单副本每个月增加6t左右,json表每月约增加60t左右.按此统计,delivery_message最多占用cpu总使用率的十分之一,也就是3%.根据以上测试数据可得:delivery_message表使用gz压缩,读取几乎无影响,写入对cpu的消耗增加约在4.2%~7.2%左右.

对集群cpu的影响:

学新通

测试机器详情:

这篇好文章是转载于：学新通技术网

photoshop保存的图片太大微信发不了怎么办