DFSClient Packet dfs.write.packet.size

HBase 里面调用DFSOutputStream的方法常用的是：write、sync

write会往当前Packet里面写数据，sync会强制生成一个Packet。

在DFSClient Packet里面每次都会new 一个 big byte array，size 是65557(more than 64K，data+checksum+head)，由于sync会强制生成Packet，对于小kv数据来说，实际的数据会比较少，几百、几千、上万，很多时候其实没有64k的数据，所以这个使用率比较低。

（1）想到的方法是：使用一个Packet Pool

（2）减少dfs.write.packet.size，默认是64k



第一种方法：Packet不在经常new了，每次取Packet时从一个pool里面取，如果pool里面没有就new一个，使用完后就放到pool里面。测试结果不是很好，gc频率以及总gc时间都变少了很多，但是平均RT（ response time）变长，其中比较有意思的是：有很多请求RT变少了，也有不少RT变长了，两级分化严重，总体上面平均RT变长，导致TPS下降。

原先gc频率很快，单次gc时间比较短，总的gc时间比较长。

据说pool的方式对于现在的jvm来说不是最优的，因为现在的jvm创建对象速度已经很快了，并且这个pool时间长了会放到old区，old区到young区的引用比较多的话，那么ygc效率就会比较低下



第二种方法：

调整dfs.write.packet.size，可以调整成32k、16k

效果大概如下：

测试的是 key/value = 10/100 bytes

export HBASE_REGIONSERVER_OPTS="-Xms8g -Xmx8g -Xmn2g -XX:SurvivorRatio=16 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=75 -Xloggc:$HBASE_HOME/logs/gc-regionserver-`date +%Y%m%d-%H-%M`.log"




Java代码 复制代码 收藏代码
1.dfs.write.packet.size = 64k
2. Writer Finished,Consume time is: 383 seconds
3.==================Summary==================
4. Tables And Columns: hbasetest(10){caches:value1(100)}
5.----------Writer Statistics--------------
6. Write Threads: 100
7. Write Rows: 10000000
8. Consume Time: 383s
9. Requests: 10000000 Success: 100% (10000000) Error: 0% (0)
10. Avg TPS: 26041 Max TPS: 44460 Min TPS: 3183
11. Avg RT: 3ms
12. RT <= 0: 0% 3483/10000000
13. RT (0,1]: 12% 1273633/10000000
14. RT (1,5]: 81% 8123190/10000000
15. RT (5,10]: 1% 147321/10000000
16. RT (10,50]: 3% 371064/10000000
17. RT (50,100]: 0% 74896/10000000
18. RT (100,500]: 0% 6400/10000000
19. RT (500,1000]: 0% 13/10000000
20. RT > 1000: 0% 0/10000000
21.
22. jstat -gcutil 19968 2s
23. S0 S1 E O P YGC YGCT FGC FGCT GCT
24. 58.44 0.00 54.47 15.66 99.85 154 4.191 0 0.000 4.191
25.
26.dfs.write.packet.size = 32k
27.
28.Writer Finished,Consume time is: 367 seconds
29.==================Summary==================
30. Tables And Columns: hbasetest(10){caches:value1(100)}
31.----------Writer Statistics--------------
32. Write Threads: 100
33. Write Rows: 10000000
34. Consume Time: 367s
35. Requests: 10000000 Success: 100% (10000000) Error: 0% (0)
36. Avg TPS: 27173 Max TPS: 45276 Min TPS: 968
37. Avg RT: 3ms
38. RT <= 0: 0% 7274/10000000
39. RT (0,1]: 19% 1948293/10000000
40. RT (1,5]: 73% 7350970/10000000
41. RT (5,10]: 2% 259443/10000000
42. RT (10,50]: 3% 371545/10000000
43. RT (50,100]: 0% 56944/10000000
44. RT (100,500]: 0% 5360/10000000
45. RT (500,1000]: 0% 85/10000000
46. RT > 1000: 0% 86/10000000
47.
48. S0 S1 E O P YGC YGCT FGC FGCT GCT
49. 0.00 92.02 92.32 14.89 99.74 67 2.668 0 0.000 2.668
50.
51. dfs.write.packet.size = 16k
52.
53.Writer Finished,Consume time is: 364 seconds
54.==================Summary==================
55. Tables And Columns: hbasetest(10){caches:value1(100)}
56.----------Writer Statistics--------------
57. Write Threads: 100
58. Write Rows: 10000000
59. Consume Time: 364s
60. Requests: 10000000 Success: 100% (10000000) Error: 0% (0)
61. Avg TPS: 27397 Max TPS: 45309 Min TPS: 890
62. Avg RT: 3ms
63. RT <= 0: 0% 9291/10000000
64. RT (0,1]: 21% 2118605/10000000
65. RT (1,5]: 71% 7192119/10000000
66. RT (5,10]: 2% 265516/10000000
67. RT (10,50]: 3% 346697/10000000
68. RT (50,100]: 0% 61084/10000000
69. RT (100,500]: 0% 6590/10000000
70. RT (500,1000]: 0% 15/10000000
71. RT > 1000: 0% 83/10000000
72.
73. S0 S1 E O P YGC YGCT FGC FGCT GCT
74. 53.45 0.00 77.52 15.31 99.24 50 2.295 0 0.000 2.295






YGC（young gc次数） YGCT（young gc总时间，单位s） dfs.write.packet.size 单次gc时间（单位ms）

154 4.191 64K 27.57236842105263



67 2.668 32k 39.82089552238806



50 2.295 16K 45.9