hadoop集群
天天_sdlyzl
在人生的道路上,应是左边种植梦想,右边种植真实,随时采撷,收获希望...
展开
-
hadoop环境异常整理【工作笔记】
1.简介造成环境异常的问题和恢复可通过以下几种情况:1. 日志文件积累造成没有磁盘空间节点进入安全模式2. 节点进入进入黑名单3. Edits文件过大造成没有磁盘空间4. 服务器关闭5. Oozie调度工作流恢复方法2.日志文件积累造成没有磁盘空间2.1hadoop日志文件Hadoop的日志文件存储在/翻译 2014-01-03 09:47:33 · 808 阅读 · 0 评论 -
两个集群之间拷贝数据
从集群A拷贝到集群B。两个集群之间是通过host通信,所以首先要在执行拷贝动作的服务器中配置另一个集群的host,即:在集群A中执行拷贝动作,则将集群B的host配置到集群A中;在集群B中执行拷贝动作,则将集群A的host配置到集群B中。如下所示:hadoop fs -cp hdfs://hadoop-test-master.360buy.com:8020/user/jdreb原创 2013-12-24 18:49:01 · 4290 阅读 · 0 评论 -
启动工作流权限问题
上一篇关于集群安装的博文中,需要纠正一个错误。在hadoop配置文件ore-site.xml 中:原创 2013-12-24 13:56:10 · 835 阅读 · 0 评论 -
hadoop集群安装手记
俗话说,好记性不如烂笔头!在公司初次接触hadoop,搭建时所记。比较基础,看着勿喷!以192.168.197.81~83 三台服务器为例一、配置hosts编辑/etc/hosts:192.168.197.81 hadoop-zl-master.360buy.com192.168.197.82 hadoop-zl-sl001.360buy.com192.168.197.原创 2013-12-23 19:11:27 · 1208 阅读 · 0 评论 -
修改linux 系统编码为utf-8
vi /etc/sysconfig/i18nLANG="zh_CN.GBK" 修改为LANG="zh_CN.UTF-8".保存退出source /etc/sysconfig/i18n检查编码:locale原创 2014-01-03 09:55:33 · 1598 阅读 · 0 评论