![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
elasticsearch
zzvine
这个作者很懒,什么都没留下…
展开
-
logstash配置kafka
文章目录logstash配置kafkalogstash配置kafka根据不同topic输出到不同的ES索引# input插件需要监听Logstash进程所在节点的端口,请使用8000~9000范围内的端口。input { kafka { bootstrap_servers => '10.0.24.111:9092' group_id => 'elk-dev' # 正则匹配topic topics_pattern => "elk-.*"原创 2022-02-10 09:45:43 · 5286 阅读 · 0 评论 -
golang批量写入elasticsearch
文章目录需求ES写入阿里云CDN的API整体代码BulkProcessor流程图需求需要将阿里云CDN的离线日志每天自动化写入到elasticsearch,方便查看。ES写入使用olivere/elastic组件单携程批量写入用Bulk,数据量上来之后一定会出现性能瓶颈后改用多携程用BulkProcessor// ReadLineFile 同步方式,使用Bulk批量写入func ReadLineFile(index int, fileName string, elk *Elk) { if原创 2021-12-22 17:15:59 · 4479 阅读 · 1 评论