2019年10月_jast_zsh

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 kafka如何彻底删除topic及数据

前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。step1：如果需要被删除topic 此时正在被程序 produce和consume，则这些生产和消费...

2019-10-26 14:49:13 554

原创 IntelliJ IDEA Maven jar包冲突解决，快速发现jar包冲突

IntelliJ IDEA 自带的Diagrams 去查看jar包冲突相当费劲 ~ ，安装个插件即可快速解决该问题打开Settings，搜索maven helper，并安装安装完成后，直接打开pom文件，点击Dependency Analyzer删除冲突jar包，在右侧右键冲突jar，选择Exclude此时已经更新成功，可以点击Refresh UI 查看结果...

2019-10-23 18:45:51 2507

原创 CDH Kerberos 认证下Kafka 消费方式

集群Kerberos认证安装参考：https://datamining.blog.csdn.net/article/details/98480008目录环境：配置Java Producer 代码文件内容：kafka_client_jaas.confkrb5.conf ( kerberos 配置文件复制过来即可)kafka.keytabJava Co...

2019-10-22 15:13:25 2788 2

原创 Storm 本地运行报错java.lang.ClassNotFoundException: org.apache.curator.shaded.com.google.common.cache.Cach

java.lang.NoClassDefFoundError: org/apache/curator/shaded/com/google/common/cache/CacheBuilder at org.apache.curator.framework.imps.NamespaceWatcherMap.<init>(NamespaceWatcherMap.java:31) at ...

2019-10-16 17:27:01 5279

原创 ClouderaManager agent 报错，无法连接到结群 Error, CM server guid updated, expected xxx , received xxx

场景集群版本：CDH 6.0.1服务器版本：Centos 7.3JAVA版本：1.8异常出现原因搭建集群中遇到异常，删除agent节点，重新部署CM后发现异常，CDH处于无法使用状态异常查看agent日志会出现,说无法连接到服务端7182端口，排查防火墙等问题，均正常Heartbeating to xxxx:7182 failed.继续往下看日志，提示我们获...

2019-10-15 17:26:46 1797

原创 Spark 创建 hive表报错 ROW FORMAT DELIMITED is only compatible with 'textfile', not 'parquet'

场景：在spark分析数据时，创建hive表失败。提示异常：19/10/09 10:59:18 INFO execution.SparkSqlParser: Parsing command: CREATE EXTERNAL TABLE IF NOT EXISTSdm_xxx.user_area(biFollowersCount String,city String,creat...

2019-10-09 13:47:28 4080