从Kafka获取数据后,处理数据后,发送到mysql

最新推荐文章于 2022-08-24 11:41:57 发布

zty19940628

最新推荐文章于 2022-08-24 11:41:57 发布

阅读量1.3k

点赞数

本文链接：https://blog.csdn.net/zty19940628/article/details/106086484

版权

本文介绍了如何从Kafka消费数据，经过处理后，将数据存储到MySQL数据库的过程。涉及Kafka消费者API的使用、数据清洗转换及MySQL的插入操作。

摘要由CSDN通过智能技术生成

import java.sql.DriverManager

import com.bawei.stream.StreamFromKafka.createFunc
import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.streaming.dstream.{
   DStream, InputDStream}
import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe
import org.apache.spark.streaming.kafka010.KafkaUtils
import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.streaming.{
   Seconds, StreamingContext