自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 zookeeper监听器原理(通俗)

2)在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信 (conmet),一个负责监听 (listener)5)Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。3)通过connect线程将注册的监听事件发送给Zookeeper。4)在Zokeeper的注册监听器列表中将注册的监听事件添加到列表中。6)listener线程内部调用了process()方法。2)监听子节点增减的变化。1)监听节点数据的变化。

2023-11-28 17:26:29 392

原创 Zookeeper择主原理(通俗)

那根据这个规则的话,第一台服务器,接受到的投票是(1,0),跟自己的投票(0,0)比,ZXID是一样的,但是myid比接收到的投票的小,所以第一台原先是推荐自己投票为(0,0),现在进行了PK以后,投票修改为(1,0)。第二台服务器,接受到的投票是(0,0),跟自己的投票(1,0)比,ZXID是一样的,但是myid是比接受到的投票的大,所以坚持自己的投票(1,0)。比如第一台投自己的话,它会发送给第二台机器的投票是(0,0),第一个0代表的是机器的myid,第二个0代表是的ZXID。

2023-11-27 18:00:01 432

原创 HIVE实战项目——Youtube视频网站常规各项指标

数据上传到HDFS、Hive建对应的表、使用HQL分析有用指标(不低于五个)、使用Sqoop将Hive中的结果导出到MySQL中,使用FineBI进行可视化。

2023-11-24 11:03:15 485

原创 HIVE排序(全局排序、内部排序、分区排序)

对于distribute by进行测试,一定要分配多reduce进行处理,否则无法看到distribute by的效果。1. Distribute By:类似MR中partition,进行分区,结合sort by使用。cluster by除了具有distribute by的功能外还兼具sort by的功能。Sort By:每个MapReduce内部进行排序,对全局结果集来说不是排序。当distribute by和sorts by字段相同时,可以使用cluster by方式。例如:按照部门和工资升序排序。

2023-11-15 11:31:19 192

原创 HIVE关于表的创建

2. collection items terminated by '_' --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)3. map keys terminated by ':' -- MAP中的key与value的分隔符。也就是说,在map里不仅不同的键值对需要用_区分,每个对里的key和value也需要用:区分。也就是说,每一行数据结束读取下一行的时候怎么判断当遇到'\n'的时候换行。也就是说,这一行的格式是,分割字段的最终是通过,来分隔成每一列。

2023-11-14 15:10:50 50

原创 Linux网络服务-思维导图

2023-09-18 15:29:10 42

原创 Linux文件服务-思维导图

2023-09-18 15:28:38 24

原创 Linux网络管理实战3-思维导图

2023-09-18 15:28:06 57

原创 Linux网络管理实战2-思维导图

2023-09-18 15:27:34 39

原创 Linux网络管理实战1-思维导图

2023-09-18 15:26:59 41

原创 Linux网络配置-思维导图

2023-09-18 15:26:27 108

原创 Linux日志管理-思维导图

2023-09-18 15:25:56 33

原创 Linux计划任务-思维导图

2023-09-18 15:25:21 25

原创 Linux国内YUM源配置-思维导图

2023-09-18 15:24:48 27

原创 Linux软件安装-思维导图

2023-08-18 09:42:35 109 1

原创 Linux文件查找和压缩-思维导图

2023-08-18 09:42:00 29 1

原创 Linux存储管理-思维导图

2023-08-18 09:41:26 74 1

原创 Linux管道和重定向-思维导图

2023-08-18 09:40:50 46 1

原创 Linux进程管理-思维导图

2023-08-18 09:40:14 88 1

原创 Linux用户权限-思维导图

2023-08-18 09:39:38 45 1

原创 Linux用户管理-思维导图

2023-08-18 09:38:57 55 1

原创 Linux文件管理-思维导图

2023-08-18 09:38:06 55 1

原创 C++之文本管理

3.指定打开方式 对象名.open("文件路径",(打开方式)ios::out);:文件打开方式可以配合使用 例如:二进制方式写文件 ios::binary|ios::out。ios::trunc 如果文件存在先删除,再创建。4.写内容 对象名

2023-08-18 09:25:28 39 1

原创 C++之职工管理系统

C++之员工管理系统

2022-12-22 14:54:17 48 1

原创 C++之文件操作

C++之文件管理

2022-12-14 16:55:14 122

原创 C++之多态

C++多态

2022-12-13 17:51:42 81

原创 C++继承

C++基础之继承篇

2022-12-12 17:36:37 147 1

HIVE实战项目-Youtube视频网站常规指各项标

包含了idea代码关于使用mapreduce清洗数据,以及上传数据到HDFS。 包含了hive创表以及sqoop导出数据到MySQL。

2023-11-24

HIVE实战项目-Youtube视频网站常规指各项标

包含了idea代码关于使用mapreduce清洗数据,以及上传数据到HDFS。 包含了hive创表以及sqoop导出数据到MySQL。

2023-11-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除