![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark streaming
hadoop程序猿
爸爸的爸爸是爷爷
展开
-
spark消费kafka问题记录(cdh5.16.2)
版本如下kafka和spark都安装完成后,执行spark2-shell竟然报错Error: A JNI error has occurred, please check your installation and try again网上搜大概是jdk版本的问题,添加环境变量可以解决export SPARK_DIST_CLASSPATH=$(hadoop clas...原创 2019-11-01 10:42:29 · 549 阅读 · 0 评论 -
spark streaming消费kafka maven依赖选择
当我们的spark streaming程序需要消费kafka数据,我们需要根据自己的spark版本和kafka broker版本选择合适的maven依赖 spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 支持的kafka版本 0.8+ 0.10+ 依赖包使用的spark版本 2.0-及2.0+ ...原创 2019-01-03 13:42:04 · 6280 阅读 · 1 评论