kafka + flume + hdfs + zookeeper + spark 测试环境搭建

最近由于项目需要， 搭建了一个类似线上环境的处理流数据的环境

用的是CDH 版本5.9.x

hdfs组成： 2 namenode HA, 6 datanode
kafka： 3 台kafka server
zookeeper： 3台
flume： 1台
spark： 6台 每台32G内存

数据流程是有远端终端向我们数据处理服务器（Gengo）发送， 再由Gengo向kafka还有flume发送同样数据

flume那份数据最后会存储到hdfs上， 万一哪天spark或者kafka挂了， 我们还可以通过离线Job处理hdfs上的数据， 保证数据完整

kafka的数据直接有我们spark streaming的job使用， 每60秒取一批

同时job中的一些配置文件我们也可以通过zookeeper的node监听来动态更新， 主要就是通过往zookeepernode里添加id， Job就会触发事件， 从数据库更新那个id的相关信息