大数据
文章平均质量分 88
zhaishujie
这个作者很懒,什么都没留下…
展开
-
kafka学习总结(处理多个consumer只消费topic数据一次)
最近遇到一个问题,由于kafka接收数据进行处理所花费的时间较长,导致kafka队列中有堆积,然后就想开启很多个consumer但是不怎么会用,报了一些错误,通过一天的学习了解,终于可以让多个consumer共同消费topic中的数据了。使用3个producer同时对一个topic写入数据,其中使用2个group组来对数据进行读取,其中topic中的partitions定为2。在每个group下又创原创 2017-05-12 11:53:50 · 35881 阅读 · 7 评论 -
MooseFs 3.X 安装(Centos7)
参考官方文档:https://moosefs.com/download/#older 环境: IP hostname 系统 192.168.3.23 node3 Centos7.2 192.168.3.24 node4 Centos7.2 192.168.3.25 node5 Centos7.2 节点分布: Maste...原创 2018-08-23 15:15:58 · 1017 阅读 · 0 评论 -
hadoop2.7.5 集群搭建(高可用)
附录hadoop所有版本下载地址:https://archive.apache.org/dist/hadoop/common/ 由于需要用到hadoop的服务器配置特写出来分享此文档。 服务器: hostname ip 系统 node1 192.168.3.21 centos7.2 nod...原创 2018-08-22 18:30:06 · 2421 阅读 · 0 评论