logstash+kafka 文件日志收集

logstash和kafka的安装和使用

http://blog.csdn.net/yesuhuangsi/article/details/51954346

logstash 配置：

input {
        file {
                path => "/tmp/logFile/*.log"
                type=> "string"
        }
}
filter {

}

output{
    kafka {
        bootstrap_servers => "10.14.18.10:9092"
        topic_id => "test-topic"
    }
}

指定配置执行logstash:

/opt/logstash/bin/logstash agent -f /etc/logstash/conf.d/test.conf

为了方便测试，output改成如下可以在命令行看到实时的变更。

output {
    stdout {}
}

都说logstash性能有问题， 吞吐慢一点应该可以解决当前的使用场景，每天可能一两次传输几十M的数据，这是我能想到最快的持续解决方案了。