![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
9随遇而安
这个作者很懒,什么都没留下…
展开
-
hdfs图解
hdfs NameNode 保存元数据(HDFS目录结构,文件权限等) Secondary NameNode(非HA) 每小时都会合并fsimage和edits,将合并信息写入到新的的fsimage,减少 NameNode 启动时间 fsimage:存储文件元数据 edits:元数据操作变化的信息写入在edits的事务日志文件中 Standby NameNde(HA) 1、实时同步activity NameNod...原创 2020-09-15 22:28:42 · 168 阅读 · 0 评论 -
大数据-部署、代码、设计
一、环境安装 1、安装hadoop3.2.1(mac伪分布式) 2、安装hive3.1.2 3、安装spark3.0.0 二、代码连接 1、java代码操作hdfs文件 2、jdbc连接hive(hiveserver2) 3、SparkLauncher提交jar任务到spark-yarn 三、遇到的一些问题 1、启动hiveserver2连接不上jdbc:hive2:...原创 2020-04-13 21:49:57 · 1083 阅读 · 1 评论