大数据
小小白帝
用苦瓜的生活来接受大聪明的日子。
展开
-
启动hive报错124.2MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing
安装hive整合LZO出错:启动hive命令bin/hive,报错:原因:运行Tez时检查到用过多内存而被NodeManager杀死进程问题,这种问题是从机上运行的Container试图使用过多的内存,而被NodeManager kill掉了解决方案:方案一:或者是关掉虚拟内存检查。我们选这个,修改hadoop的yarn-site.xml配置文件,我的路径是vi /opt/module/hadoop2.7.2/etc/hadoop/yarn-site.xml,具体情况根据实际路径进行修改。&l原创 2021-01-25 10:22:29 · 462 阅读 · 0 评论 -
hive报错(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory/tmp/hive/.
报错场景:使用shell脚本进行对hive的数据查询导入导致出错,先是hive执行时间较长,后面hive报错。问题描述:使用jps查询进程,发现有三个hive进程,三个RunJar,RunJar,RunJar,用 kill -9杀不死线程,报错信息如下图:Logging initialized using configuration in file:/opt/module/hive/conf/hive-log4j.propertiesSLF4J: Class path contains mult原创 2021-01-25 10:07:30 · 600 阅读 · 0 评论 -
大数据面试爱问的业务指标
大数据面试爱问的业务指标事件分析:商品点击,商品详情页,商品列表页,广告,消息通知,用户前台活跃,用户后台活跃,评论,收藏,点赞,错误日志。统计:用户,新增用户,活跃用户,周活跃用户,月活跃用户,月活跃率,沉默用户,版本分布,本周回流用户,连续N周活跃用户,忠诚用户,连续活跃用户,近期流失用户,流程用户,用户新鲜度,单次使用时长,日使用时长,周使用时长,月使用时长,启动次数计算标准。...原创 2021-01-19 16:24:07 · 159 阅读 · 0 评论 -
flume读取kafka消息并存储到HDFS上出现异常Attempt to heart beat failed since member id is not valid, reset it and t
flume读取kafka消息并存储到HDFS上出现异常Attempt to heart beat failed since member id is not valid, reset it and try to re-jo1 报错情景:flume根据kafka不同的topic进行收集信息,但是启动flume发现flume日志报错: Attempt to heart beat failed since member id is not valid, reset it and try to re-jo在这原创 2021-01-18 16:59:29 · 1394 阅读 · 1 评论 -
大数据Hadoop2.7.2完全分布式安装教程
hadoop完全分布式安装一、完全分布式运行模式(开发重点)分析:1)准备3台客户机(hadoop101,hadoop102.hadoop103,关闭防火墙、静态ip、主机名称)2)安装JDK1.83)配置环境变量4)安装Hadoop2.7.25)配置环境变量6)配置集群7)配置ssh8)群起并测试集群2,安装JDK1.82.1 配置hosts[yb@hadoop101 opt]$ sudo vi /etc/profile加入自己的IP,我的是192.168.1.101 h原创 2021-01-14 12:46:50 · 716 阅读 · 2 评论