zhaolq1024的博客

不生产博客，只是别人博客的裁缝一入kerberos深似海，从此节操是个玩意儿之前写过一篇spark消费kafka问题记录(cdh5.16.2)，主要记录了安装spark2后，spark的问题，和本地可以执行，而一提集群缺包的问题，这篇主要记录下启用kerberos后的一些问题版本信息如下集群启用kerberos后，想用命令行测下kafkakafka-topics --cre...

版本如下kafka和spark都安装完成后，执行spark2-shell竟然报错Error: A JNI error has occurred, please check your installation and try again网上搜大概是jdk版本的问题，添加环境变量可以解决export SPARK_DIST_CLASSPATH=$(hadoop clas...

断断续续看了点书，写个博客记录下，图片是百科找的，博客内容都是我比较感兴趣的，书里很多内容都特别详细，感兴趣的可以去买来阅读。<第一章 认识apache kafka>kafka核心功能？高性能的消息发送与高性能的消息消费消息引擎系统？1.消息队列模型，提供了点对点的消息传递方式生产者发布一条消息只能被一个消费者消费2.发布/订阅模型(kafka 引入消费...

当我们的spark streaming程序需要消费kafka数据，我们需要根据自己的spark版本和kafka broker版本选择合适的maven依赖  spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 支持的kafka版本 0.8+ 0.10+ 依赖包使用的spark版本 2.0-及2.0+ ...