HADOOP
just-天之蓝
这个作者很懒,什么都没留下…
展开
-
zookeeper 开机自启动脚本
linux 中开机自启动运行脚本的主要方法介绍zookeeper 开机自启动脚本设置1.linux 中开机自启动运行脚本的主要方法介绍Linux 中开机自启动或者运行的脚本设置大致分为三种 1.将自己写好的脚本或命令写入/etc/rc.local文件中。系统会根据该文件来启动所指定的脚本或命令。 2.通过启动脚本来创建一个服务,使用chkconfig来指定启动服务的级别,并在ntsysv工具下原创 2016-01-20 09:59:29 · 2865 阅读 · 0 评论 -
飞虎集群hadoop集群断电后启动问题
问题描述解决问题问题描述在hadoop集群未能正常关闭时再重新启动会出现集群启动不了等多个问题,这些问题其中一个就是 1. 节点连接不上(如下图) 解决问题1.通过网页进入master主页(如下图) 2.按如下图操作原创 2016-08-17 21:05:19 · 766 阅读 · 0 评论 -
大数据组hadoop集群启动
一.启动总体顺序 zookeeper -> hadoop -> hbase 二.用脚本启动过程(初次启动) 1.启动zookeepeer: 使用 sh zk-manager.sh start 命令(manage02) 2.格式化 zookeepeer(manage02) hdfs zkfc –formatZK 3.启动 JournalNo原创 2016-05-28 10:34:19 · 699 阅读 · 0 评论 -
Operation category READ is not supported in state standby解决办法
参考的文章:http://www.cnblogs.com/smartloli/p/4298430.html 当然,在操作的过程中,发现与上述文章中描述的还是有一些小小的区别。 配置好后,start-dfs.sh start-yarn.sh之后,相关的进程,会自动被启动。包括 namenode两个进程,zkfc,journal 等,不需要自己手动启动。 但是standby的namenode的r转载 2016-05-24 21:15:27 · 32567 阅读 · 1 评论 -
HADOOP 中 查看 web 端口号
1.查看 namenode 信息: http://namenode:50070/ 2.查看 datanode 信息: http://datanode:50075/ 3.查看 2ndNN信息: http://2nd NN :50090 4.查看集群信息: http://yarn-RM:8088/ 5.查看 NM 信息: http://yarn-NM:8042/原创 2016-03-14 19:48:07 · 8388 阅读 · 0 评论 -
HADOOP 网页日志分析代码详解
一主代码分析一.主代码分析package org.conan.myhadoop;import java.io.IOException;import java.util.HashSet;import java.util.Iterator;import java.util.Set;import org.apache.hadoop.fs.Path;import org.apache.hadoop原创 2016-03-11 21:09:02 · 1410 阅读 · 0 评论 -
hadoop 第一个程序 wordcount 详解
package net.csdn.blog.zephyr.main;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.原创 2016-01-26 19:29:01 · 562 阅读 · 0 评论 -
格式化 namenode 时出现的 WARN
一问题发现二问题解决步骤一.问题发现在主机上执行 hdfs namenode -format 并启动 namenode 后会发现日志中有以下的warn: 问题分析:根据上面的内容可以看出此 warn 与 hdfs-site.xml 中的配置有关。二.问题解决步骤编辑 hdfs-site.xml 文件中的 dfs.namenode.name.dir 的路径如下: (即加个备份目录 name原创 2016-01-26 16:47:22 · 627 阅读 · 0 评论 -
SLF4J和log4j错误警告的解决方法
hbase 启动时遇到 log4j 的问题1. hbase 启动时遇到 log4j 的问题问题描述: 我在 hbase 启动时曾遇到如下的问题SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J原创 2016-01-21 18:55:13 · 5005 阅读 · 0 评论 -
开启 hbase 时,slave 上的 HRegionServer 没有启动
问题描述解决方法1.问题描述我在开启 hbase 时发现 slave 上的 HRegionserver 没有启动,后来查看 log 日志发现如下问题: 由上述图片中的信息初步判断是由于 date 时间设置没有与主机同步2.解决方法第一种:使用 date -s “2014-1-4 12:16:00” 在 root 权限下键入时间,使其与 主机同步 第二种:http://blog.c原创 2016-01-21 18:02:56 · 6313 阅读 · 2 评论 -
eclipse 启动不了
1. 2. 3. Linux下No more handles [gtk_init_check() failed] - cleaneyes - ITeye技术网站 http://cleaneyes.iteye.com/blog/752508 实用技巧:在Linux下设置xhost方法步骤_Linux教程_www.knowsky.com http://www.knowsky.com/转载 2016-01-18 11:05:34 · 607 阅读 · 0 评论 -
hadoop 中 HDFS 由于多次格式化引起的 nanenode 与 datanode 启动异常
问题介绍1 发现问题解决问题注意1.问题介绍刚开始是由于启动 Hbase 时 HMaster 进程总是出现几秒种后便消失,虽然主机的 namenode 和 slave 的datanode 进程中由显示,但当查看他们的日志时仍然看到了如下错误。 (/usr/local/cluster/hadoop/logs/hadoop-hadoop2-nanenode-out.log 文件) (由于特殊原原创 2016-01-21 11:27:24 · 1124 阅读 · 0 评论 -
HA模式下的Hadoop+ZooKeepeer+Hbase启动和关闭顺序!(针对本实验室的集群)
HA模式下的Hadoop+ZooKeepeer+Hbase启动和关闭顺序!(针对本实验室的集群)1.本实验室的主机规划2.总体的启动顺序和关闭顺序·启动顺序·关闭顺序3.启动和关闭顺序的初步介绍·启动顺序的初步介绍·关闭顺序的初步介绍4.总体的启动和关闭顺序表1.本实验室的主机规划 | * IP* | * 主机名* | * 用户名 * | * 全部进程* | |:—-|:—–|原创 2016-01-02 18:57:21 · 3531 阅读 · 0 评论 -
使用hadoop过程中两次datanode无法启动问题
两次datanode无法启动分别发生在虚拟多节点和物理多节点的情况下,但是“病症”是一样的: start-all.sh执行时可以清楚的看到” starting datanode, logging to 。。。。“,也没有出错; 但是启动完后用jps命令一查,发现没有datanode; 在web中可以发现live datanode为0(total 0, dead 0); 如果执行stop-all.sh转载 2016-01-17 17:37:54 · 761 阅读 · 0 评论 -
大数据集群机房事项:
一服务器事项一.服务器事项:1.商用服务器一般要拥有双插座的中级机架式服务器(支持足够多的容错内存),建议NAMENODE做RAID(0/5),因为可以提高可靠性,但是不建议在Datanode上做RAID,因为HDFS已经内置了复制和容错功能(一般寻三份,在计算节点上,由HDFS划分block)。 2.小集群主机至少支持运行1Gb网卡,大集群要使用10GB的TOR交换机原创 2017-03-20 15:30:15 · 1102 阅读 · 0 评论