hadoop
与hadoop相关知识
zhoukk1985
这个作者很懒,什么都没留下…
展开
-
聊聊 acks 参数对消息持久化的影响!
(0)写在前面面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响?这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,以及背后的原理。(1)如何保证宕机的时候数据不丢失?如果要想理解这个acks参数的含义,首先就得搞明白kafka的高可用架构原理。比如下面的图里就是表明了对于每一个To...转载 2020-10-26 09:23:34 · 208 阅读 · 0 评论 -
线上故障排查技巧
线上故障主要会包括 CPU、磁盘、内存以及网络问题,而大多数故障可能会包含不止一个层面的问题,所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的,基本上出问题就是 df、free、top 三连,然后依次 jstack、jmap 伺候,具体问题具体分析即可。CPU一般来讲我们首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁 GC 以及上下文切换过多。而最常见的...转载 2020-10-16 09:09:57 · 703 阅读 · 0 评论 -
探究与解决YARN Container分配过于集中的问题
最近生产上经常资源充足yarn还会将spark的executor集中分配到个别的nodemanager的问题,在网上找到了一篇有理有据的文章,推荐一下。https://blog.csdn.net/nazeniwaresakini/article/details/105137788答案放最前面将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false,或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数(如3转载 2020-06-28 15:11:47 · 1104 阅读 · 0 评论