最近由于项目需要, 搭建了一个类似线上环境的处理流数据的环境
用的是CDH 版本5.9.x
hdfs组成: 2 namenode HA, 6 datanode
kafka: 3 台kafka server
zookeeper: 3台
flume: 1台
spark: 6台 每台32G内存
数据流程是有远端终端向我们数据处理服务器(Gengo)发送, 再由Gengo向kafka还有flume发送同样数据
flume那份数据最后会存储到hdfs上, 万一哪天spark或者kafka挂了, 我们还可以通过离线Job处理hdfs上的数据, 保证数据完整
kafka的数据直接有我们spark streaming的job使用, 每60秒取一批
同时job中的一些配置文件我们也可以通过zookeeper的node监听来动态更新, 主要就是通过往zookeepernode里添加id, Job就会触发事件, 从数据库更新那个id的相关信息
用的是CDH 版本5.9.x
hdfs组成: 2 namenode HA, 6 datanode
kafka: 3 台kafka server
zookeeper: 3台
flume: 1台
spark: 6台 每台32G内存
数据流程是有远端终端向我们数据处理服务器(Gengo)发送, 再由Gengo向kafka还有flume发送同样数据
flume那份数据最后会存储到hdfs上, 万一哪天spark或者kafka挂了, 我们还可以通过离线Job处理hdfs上的数据, 保证数据完整
kafka的数据直接有我们spark streaming的job使用, 每60秒取一批
同时job中的一些配置文件我们也可以通过zookeeper的node监听来动态更新, 主要就是通过往zookeepernode里添加id, Job就会触发事件, 从数据库更新那个id的相关信息