sparkStream中作为kafka的生产者

最新推荐文章于 2024-12-19 16:41:25 发布

善若止水

最新推荐文章于 2024-12-19 16:41:25 发布

阅读量2.2k

点赞数

分类专栏： spark kafka 文章标签： spark kafka

本文链接：https://blog.csdn.net/zhaoxiangchong/article/details/78379927

版权

本文介绍了如何在SparkStream中作为Kafka的生产者，将文件数据发送到Kafka。详细过程包括所需依赖的jar包，样例数据展示，启动Kafka及创建topic，以及验证数据的消费者端操作。通过Idea启动SparkSteam程序，观察数据成功打入Kafka的迹象。

摘要由CSDN通过智能技术生成

大家好：

sparkStream中作为kafka的生产者,将某个文件中的数据打到kafka中。

package Traffic

import java.util.Properties
import kafka.producer.{KeyedMessage, Producer, ProducerConfig}
import org.apache.spark.{SparkConf, SparkContext}
import org.codehaus.jettison.json.JSONObject


/**
  * Created by Administrator on 2017/10/14.
  * 功能：SparkStream作为kafka的生产者，将制定文件数据打到kafka中
  *
  */
object KafkaEventProducer {
  def main(args: Array[String]): Unit = {


    //创建topic
    val topic="car_event"
    val brokers="192.168.17.108:9092"
    val props=new Properties()
    //把broker put进去
    props.put("metadata.broker.list",brokers)
    //把kafka编译器放进去
    props.put("serializer.class","kafka.serializer.StringEncoder")
   //配置kafka的config(配置)
    val kafkaconfig=new ProducerConfig(props)
    val producer=new Producer[String,String](kafkaconfig)
   //配置spark的config
    val conf=new SparkConf().setA