kafka内外网流量分离

由于kafka设计问题，节点信息保存在zookeeper里，如果绑定了内网ip，则外网不能访问；绑定了外网ip则内网不能访问（内网访问需要走流量），因此如果想让外网访问kafka，则内网机器必须也要能访问外网，这一点不符合内外网分离的设计。

在kafka0.9版本里，一个broker可以绑定多个listener了，这就可以使用这种方式实现内外网流量分离。

参考这篇文章

https://cwiki.apache.org/confluence/display/KAFKA/KIP-103%3A+Separation+of+Internal+and+External+traffic

实践了一下是可行的

broker1

listener.security.protocol.map=CLIENT:PLAINTEXT,REPLICATION:PLAINTEXT

advertised.listeners=CLIENT://10.27.231.160:9092,REPLICATION://18.178.133.180:19092

listeners=CLIENT://10.27.231.160:9092,REPLICATION://18.178.133.180:19092

inter.broker.listener.name=REPLICATION

broker2

listener.security.protocol.map=CLIENT:PLAINTEXT,REPLICATION:PLAINTEXT

advertised.listeners=CLIENT://10.27.231.161:9092,REPLICATION://18.178.133.181:19092

listeners=CLIENT://10.27.231.161:9092,REPLICATION://18.178.133.181:19092

inter.broker.listener.name=REPLICATION

broker3

listener.security.protocol.map=CLIENT:PLAINTEXT,REPLICATION:PLAINTEXT

advertised.listeners=CLIENT://10.27.231.162:9092,REPLICATION://18.178.133.182:19092

listeners=CLIENT://10.27.231.162:9092,REPLICATION://18.178.133.182:19092

inter.broker.listener.name=REPLICATION

这样内网通过 10.27.231.160:9092，10.27.231.161:9092，10.27.231.162:9092访问

外网可以通过 18.178.133.180:19092 18.178.133.181:19092，18.178.133.182:19092

内网和外网流量是分离的

这要求每个kafka节点都可以绑定外网ip，那种通过防火墙将端口映射到内网ip的方式是不行的。