大数据开发
文章平均质量分 57
shuest
这个作者很懒,什么都没留下…
展开
-
频繁full gc 调参
日志里频繁full gc ,可以用这里参数替换重跑看下:原创 2023-08-16 11:04:50 · 402 阅读 · 0 评论 -
hive oom问题和解决办法
job.splitmetainfo该文件记录split的元数据信息,如input文件过多,记录的文件结构信息超出默认设置就会报错;或者将此值设置的更大:set mapreduce.job.split.metainfo.maxsize=20000000。分析:hadoop参数重mapreduce.job.split.metainfo.maxsize 参数默认设置10M,处理:可临时调整参数忽略此校验:set mapreduce.job.split.metainfo.maxsize=-1。原创 2022-10-09 10:33:54 · 2080 阅读 · 0 评论 -
虚拟机VMWare15.5.0 Centos7 网络配置NAT踩坑记
用单位的电脑,卡了好久在防火墙这,因为没有管理员权限不能关闭防火墙。后来配置了防火墙通过的规则就搞定了。首先配宿主机防火墙:然后彻底centos关掉防火墙:systemctl stop firewalld.service然后可以查看状态:systemctl status firewalld.service点击DHCP设置,配置如下:点击NAT设置,配置如下VMnet8 网卡 配置:虚拟机里的网卡设置:vi /etc/sysconfi.原创 2020-06-02 17:44:27 · 673 阅读 · 0 评论 -
HDFS的工作原理
1.HDFS集群分为两大角色:NameNode、DataNode(Secondary Namenode)2.NameNode负责管理整个文件系统的元数据3.DataNode 负责管理用户的文件数据块4.文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上5....转载 2020-04-08 15:38:10 · 198 阅读 · 0 评论 -
利用MapReduce进行单词计数WordCount的过程图示详解
利用MapReduce进行单词计数WordCount的过程如下:(1)首先是读取文件,对文件按偏移量拆分。(2)自定义Map,将value拆分成单词,作为新的key。value是原每条句子中,拆分出来单词的出现频率。(3)sort部分按字典顺序排序,combine将map中间阶段进行合并。(4)Reduce端先进行合并排序,得到value list。再使用用户定义的Re...原创 2020-04-07 09:43:03 · 8514 阅读 · 1 评论