- 博客(27)
- 收藏
- 关注
原创 zookeeper监听器原理(通俗)
2)在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信 (conmet),一个负责监听 (listener)5)Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。3)通过connect线程将注册的监听事件发送给Zookeeper。4)在Zokeeper的注册监听器列表中将注册的监听事件添加到列表中。6)listener线程内部调用了process()方法。2)监听子节点增减的变化。1)监听节点数据的变化。
2023-11-28 17:26:29
392
原创 Zookeeper择主原理(通俗)
那根据这个规则的话,第一台服务器,接受到的投票是(1,0),跟自己的投票(0,0)比,ZXID是一样的,但是myid比接收到的投票的小,所以第一台原先是推荐自己投票为(0,0),现在进行了PK以后,投票修改为(1,0)。第二台服务器,接受到的投票是(0,0),跟自己的投票(1,0)比,ZXID是一样的,但是myid是比接受到的投票的大,所以坚持自己的投票(1,0)。比如第一台投自己的话,它会发送给第二台机器的投票是(0,0),第一个0代表的是机器的myid,第二个0代表是的ZXID。
2023-11-27 18:00:01
432
原创 HIVE实战项目——Youtube视频网站常规各项指标
数据上传到HDFS、Hive建对应的表、使用HQL分析有用指标(不低于五个)、使用Sqoop将Hive中的结果导出到MySQL中,使用FineBI进行可视化。
2023-11-24 11:03:15
485
原创 HIVE排序(全局排序、内部排序、分区排序)
对于distribute by进行测试,一定要分配多reduce进行处理,否则无法看到distribute by的效果。1. Distribute By:类似MR中partition,进行分区,结合sort by使用。cluster by除了具有distribute by的功能外还兼具sort by的功能。Sort By:每个MapReduce内部进行排序,对全局结果集来说不是排序。当distribute by和sorts by字段相同时,可以使用cluster by方式。例如:按照部门和工资升序排序。
2023-11-15 11:31:19
192
原创 HIVE关于表的创建
2. collection items terminated by '_' --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)3. map keys terminated by ':' -- MAP中的key与value的分隔符。也就是说,在map里不仅不同的键值对需要用_区分,每个对里的key和value也需要用:区分。也就是说,每一行数据结束读取下一行的时候怎么判断当遇到'\n'的时候换行。也就是说,这一行的格式是,分割字段的最终是通过,来分隔成每一列。
2023-11-14 15:10:50
50
原创 C++之文本管理
3.指定打开方式 对象名.open("文件路径",(打开方式)ios::out);:文件打开方式可以配合使用 例如:二进制方式写文件 ios::binary|ios::out。ios::trunc 如果文件存在先删除,再创建。4.写内容 对象名
2023-08-18 09:25:28
39
1
HIVE实战项目-Youtube视频网站常规指各项标
2023-11-24
HIVE实战项目-Youtube视频网站常规指各项标
2023-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人