2014年12月_roger666888

12月 11月 10月 09月 08月 07月 06月

原创 Python安装

Python2.7.9下载链接tar -xvf Python-2.7.9.tgzcd Python-2.7.9检查环境：./configure --prefix=/usr/local/python2.7makemake install安装好后可以运行一下Python看看是否正常了/usr/local/python2.7/b

2014-12-22 21:22:31 450

原创 sudo yum install gcc-c++ 安装出问题

sudo yum install gcc-c++ 安装出问题，怎么样都连接不上镜像文件，清楚了yum的cache也没有用，后来发现是DNS没有设置：然后发现也连接不上外网，ping 不通www.baidu.com打开 /etc/resolv.conf 发现什么都没有，增加DNS设置问题解决。

2014-12-22 21:02:30 4913

原创 ooziedb 初始化的时候需要执行以下语句

oozied 初始化的时候需要执行： ooziedb.sh create -sqlfile oozie.sql如果遇到：org.apache.oozie.service.AuthorizationException: E0501: Could not perform authorization operation, User: oozie is not allowed to i

2014-12-13 19:06:19 2319

原创 ssh 无密码登录出错问题

[test@ceshiserver234 .ssh]$ssh -v localhostOpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013debug1: Reading configuration data /etc/ssh/ssh_configdebug1: Applying options for *debug1: Connecting

2014-12-13 14:47:48 1093

原创使用ssh 无密码登录的时候总是出错

[test@ceshiserver234 .ssh]$ssh -v localhostOpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013debug1: Reading configuration data /etc/ssh/ssh_configdebug1: Applying options for *debug1: Connecting

2014-12-13 14:47:30 3885

原创创建文件的软连接

[dataanalyze@d7 prog]$ lltotal 4drwxrwxr-x. 11 dataanalyze dataanalyze 4096 Dec 4 20:11 hadoop-2.4.1[dataanalyze@d7 prog]$ ln -s hadoop-2.4.1/ hadoop[dataanalyze@d7 prog]$ lltotal 4lr

2014-12-04 20:23:58 2649

原创 xxx is not in the sudoers file. This incident will be reported

xxx is not in the sudoers file. This incident will be reported解决办法：$ su -$chmod u+w /etc/sudoers$gedit /etc/sudoers找到这一行："root ALL=(ALL) ALL"在起下面添加"www_linuxidc_com ALL=(ALL)

2014-12-04 20:08:40 600

原创 hadoop job执行出错 org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodErro

job 在执行的时候在reduce的时候出现了3次 FAILED 状态，然后在其他几点上重试能正常跑完。错误内容如下：2014-12-04 15:38:38,564 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: org.apache.co

2014-12-04 18:59:38 6405

原创修改linux文件最大进程数和文件打开数

如何修改linux文件最大进程数和文件打开数:使用ulimit -a 查看当前用户最大：默认是max user processes 和 open files 是1024如果是非root用户。使用 sudo vi /etc/security/limits.conf命令编辑文件：

2014-12-04 17:53:52 986

原创 Linux简单抓包命令

linux抓包命令：抓取从192.168.2.12 and 172.16.0.66 两台机器上发送到本机上的包，并放在当前目录下的 tcpdump.dump.wbb1 二进制文件里：tcpdump host 192.168.2.12 and 172.16.0.66 -f -a -XX -w tcpdump.dump.wbb1 -i eth0使用：tcpdump

2014-12-04 17:22:58 734

原创 linux命令

查找yarn-*文件中包含SelectChannelConnector@d1.hadoop 内容：cat /app/prog/hadoop/logs/yarn-* | grep "SelectChannelConnector@d1.hadoop" | less

2014-12-04 17:09:45 453

原创 hadoop 2.4.1日志聚合设置，并设置自动回收时间

1.hadoop 日志默认生产路径是各个datanode节点上 hadoop环境变量对应的logs文件夹下面：设置完日志聚合之后生成的路径：但是怎么样设置日志聚合呢？ yarn.log-aggregation-enable true yarn.lo

2014-12-04 16:55:32 2372

原创 hadoop java.io.IOException: Cannot run program "nice"

1.使用非root用户启动hadoop集群，然后跑job，job中有几千个文件执行mapreduce的时候总是出现以下错误：hadoop java.io.IOException: Cannot run program "nice"，而且过一会就会出现OutofMemory情况。后来发现，因为mapreduce需要处理的文件特别多，导致打开了过多的文件，而linux系统默认非root

2014-12-04 08:47:15 1459