hadoop
文章平均质量分 59
小小白帝
用苦瓜的生活来接受大聪明的日子。
展开
-
启动hive报错124.2MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing
安装hive整合LZO出错:启动hive命令bin/hive,报错:原因:运行Tez时检查到用过多内存而被NodeManager杀死进程问题,这种问题是从机上运行的Container试图使用过多的内存,而被NodeManager kill掉了解决方案:方案一:或者是关掉虚拟内存检查。我们选这个,修改hadoop的yarn-site.xml配置文件,我的路径是vi /opt/module/hadoop2.7.2/etc/hadoop/yarn-site.xml,具体情况根据实际路径进行修改。&l原创 2021-01-25 10:22:29 · 457 阅读 · 0 评论 -
hive报错(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory/tmp/hive/.
报错场景:使用shell脚本进行对hive的数据查询导入导致出错,先是hive执行时间较长,后面hive报错。问题描述:使用jps查询进程,发现有三个hive进程,三个RunJar,RunJar,RunJar,用 kill -9杀不死线程,报错信息如下图:Logging initialized using configuration in file:/opt/module/hive/conf/hive-log4j.propertiesSLF4J: Class path contains mult原创 2021-01-25 10:07:30 · 595 阅读 · 0 评论 -
大数据Hadoop2.7.2完全分布式安装教程
hadoop完全分布式安装一、完全分布式运行模式(开发重点)分析:1)准备3台客户机(hadoop101,hadoop102.hadoop103,关闭防火墙、静态ip、主机名称)2)安装JDK1.83)配置环境变量4)安装Hadoop2.7.25)配置环境变量6)配置集群7)配置ssh8)群起并测试集群2,安装JDK1.82.1 配置hosts[yb@hadoop101 opt]$ sudo vi /etc/profile加入自己的IP,我的是192.168.1.101 h原创 2021-01-14 12:46:50 · 710 阅读 · 2 评论