roger666888-CSDN博客

原创 java.lang.VerifyError: Bad <init> method call from inside of a branch

http://bugs.java.com/view_bug.do?bug_id=8051012https://bugs.openjdk.java.net/browse/JDK-8051012其实是jdk bug

2015-05-09 11:20:47 2045 2

原创 linux打开文件包含 "-"开头的文件

linux打开文件包含 "-"开头的文件：vi -- -test.txt

2015-05-07 20:09:13 1836 2

原创 HBASE当节点启停

很多时候，节点失效是因为pid文件被删除引起（默认pid文件中/tmp下），所以最好把很多默认是/tmp的目录修改成自己的目录，比如hbase的pid配置可以在hbase-env.sh中，修改export HBASE_PID_DIR=/var/hadoop/pids就可以。hbase节点失效常对应60020端口异常。进入hbase shell1、查看节点情况：status当然，也

2015-05-06 21:19:58 991

原创 hadoop fsck

Usage: DFSck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 检查这个目录中的文件是否完整 -move 破损的文件移至/lost+found目录 -delete

2015-04-24 09:51:03 1707

原创执行 hive 权限问题

执行 hive 的时候：Caused by: java.sql.SQLException: null, message from server: "Host 'test75' is not allowed to connect to this MySQL server"没有权限：mysql> grant all privileges on hive.* to root@"%

2015-04-13 11:54:20 1236

转载 linux上 mysql 密码忘记

一.MySQL密码的恢复方法之一如果忘记了MySQL的root密码，可以用以下方法重新设置：1.切换到root下su root 2. KILL掉系统里的MySQL进程； killall -TERM mysqld 3. 用以下命令启动MySQL，以不检查权限的方式启动； safe_mysqld --skip-grant-tables & 4. 然后用空密码方式使用r

2015-04-13 10:58:57 415

转载 vi 命令替换

1. 基本的替换:s/vivian/sky/ 替换当前行第一个 vivian 为 sky:s/vivian/sky/g 替换当前行所有 vivian 为 sky:n,$s/vivian/sky/ 替换第 n 行开始到最后一行中每一行的第一个 vivian 为 sky:n,$s/vivian/sky/g 替换第 n 行开始到最后一行中每一行所有 vivian 为 sk

2015-04-02 19:13:40 443

原创 hadoop 2.4.1 secondaryNameNode 配置及启动：

hadoop 2.4.1 secondaryNameNode配置及启动：首先需要在secondaryNameNode上做好无密登陆，防止nameNode宕机以后需要临时配置。在hdfs-site.xml中增加以下内容： dfs.namenode.checkpoint.dir file:///home/hadoop/namesecondary/checkp

2015-04-02 16:02:53 3778

原创 hadoop2.4.1 安装hue with Yarn模式

Here are some urls about HUE,your can refer to following urls intall hue and check some error message:http://cloudera.github.io/hue/docs-3.7.0/manual.htmlhttps://github.com/cloudera/hu

2015-04-02 15:02:25 6002

原创 hue 读取hive metastore错误 NameError: global name '_' is not defined

hue 读取hive metastore错误 NameError: global name '_' is not defined File "/opt/app/prog/hue-3.7.1/build/env/lib/python2.6/site-packages/Django-1.4.5-py2.6.egg/django/core/handlers/base.py", line

2015-04-02 14:59:35 2536

原创 hadoop secondaryNameNode 启动报错

hadoop/sbin/hadoop-daemons.sh --hostnames d2.hadoop start secondarynamenode 2015-04-02 12:04:03,137 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOExceptionj

2015-04-02 14:30:19 3760 2

原创 Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being availa

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[192.168.2.1:50010], original=[192.168.2.1:50010]).

2015-03-25 19:36:53 2479

原创 mysqld dead but pid file exists

[root@ceshi mysql]#/etc/init.d/mysqld statusmysqld dead but pid file exists[root@ceshi mysql]#cd /var/run/mysqld[root@ceshi mysqld]#lltotal 4-rw-rw-r--. 1 mysql mysql 5 Mar 18 11:59 mysqld.p

2015-03-19 11:40:56 3599

转载 JVM系列五:JVM监测&工具[整理中]

JVM系列五:JVM监测&工具[整理中] 转自前几篇篇文章介绍了介绍了JVM的参数设置并给出了一些生产环境的JVM参数配置参考方案。正如之前文章中提到的JVM参数的设置需要根据应用的特性来进行设置，每个参数的设置都需要对JVM进行长时间的监测，并不断进行调整才能找到最佳设置方案。本文将介绍如果通过工具及Java api来监测JVM的运行状

2015-03-19 10:19:07 555

转载【JVM】HotSpot JVM内存管理和GC策略总结

【JVM】HotSpot JVM内存管理和GC策略总结转自JVM的相关知识是学习java高级特性必须要去深入学习的。平时也有一些学习和实践，不过总结比较少。今天有时间总结一下最基础的内存模型和GC策略的知识，在此记录一下。 hotspot jvm内存模型1.内存模型hotspot的内存模型很多地方都有类似总结,我也简单总结了一下，大概

2015-03-19 10:15:43 595

原创 hadoop 日志错误 java.io.IOException: Premature EOF from inputStream

hadoop 日志错误：2015-03-17 11:24:25,467 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: d135.hadoop:50010:DataXceivererror processing WRITE_BLOCK operation src: /192.168.1.118:64599 dst: /192.

2015-03-18 21:04:16 26611

原创使用操作系统root密码更改mysql密码

方法1：用SET PASSWORD命令　　mysql -u root　　mysql> SET PASSWORD FOR 'root'@'localhost' = PASSWORD('newpass');方法2：用mysqladmin　　mysqladmin -u root password "newpass"　　如果root已经设置过密

2015-03-18 11:52:25 432

原创更改linux时间

[test@a19 profile.d]$ dateTue Mar 17 04:54:22 EDT 2015[test@a19 profile.d]$ su rootPassword: [root@a19 profile.d]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimecp: overwrite `/etc/lo

2015-03-17 17:03:20 595

原创获取hdfs没有正常关闭的文件并删除

由于hdfs文件系统中存在损坏的文件导致mapreducejob执行出错：使用以下命令搜索HDFS文件没有正常关闭的文件：hadoop fsck /logs/ -files -openforwrite | grep "MISSING"将搜索到的文件写入文件：hadoop fsck /logs/ -files -openforwrite | grep "MIS

2015-03-17 14:20:08 2896

原创 hive alter table (删除某一列)语句

HIVE alter table 语句结构：CREATE TABLE test (creatingTs BIGINT,a STRING,b BIGINT,c STRING,d STRING,e BIGINT,f BIGINT);如果需要删除 column f 列，可以使用以下语句：ALTER TABLE test REPLACE COLU

2015-03-13 13:59:10 34111

原创解决Maven工程中报 Missing artifact jdk.tools:jdk.tools

方案一：jdk.tools:jdk.tools是与JDK一起分发的一个JAR文件，可以如下方式加入到Maven项目中： jdk.tools jdk.tools 1.7 system ${JAVA_HOME}/lib/tools.jar详见Maven FAQ for adding dependencies to t

2015-03-12 20:13:07 3786

原创 linux 磁盘挂载

目前我们所有新机器上都有16块磁盘：1.查看所有需要挂载的磁盘：# fdisk -l WARNING: GPT (GUID Partition Table) detected on '/dev/sdq'! The util fdisk doesn't support GPT. Use GNU Parted.Disk /dev/sdq: 299.4 GB, 299439751

2015-03-12 19:48:41 634

原创将hive数据查询直接写入文件

hive -e "select dateentry,count(distinct(uid)) from log where (channel!='淘宝平台') and appid=1 and code = 'ABP044' and dateentry> '2015-02-02' and dateentrygroup by dateentry" > ABP044.txt ;

2015-02-13 10:04:39 3190

转载 Linux系统下安装rz/sz命令及使用说明

转载地址：点击打开链接对于经常使用Linux系统的人员来说，少不了将本地的文件上传到服务器或者从服务器上下载文件到本地，rz / sz命令很方便的帮我们实现了这个功能，但是很多Linux系统初始并没有这两个命令。今天，我们就简单的讲解一下如何安装和使用rz、sz命令。1.软件安装（1）编译安装root 账号登陆后，依次执行以下命令：1cd

2015-01-28 16:10:17 446

转载关于Hadoop数据块Miss在页面提示的问题

原文地址請教一個hadoop運行維護中的問題：背景：調整hadoop配置：1. hadoop的dfs.replication之前設置為1，現在改為3；2. 去掉一個節點，增加6個節點。現狀50070頁面出現提示：WARNING : There are about 900 missing blocks. Please check the log or

2015-01-14 14:27:26 483

原创 Python安装

Python2.7.9下载链接tar -xvf Python-2.7.9.tgzcd Python-2.7.9检查环境：./configure --prefix=/usr/local/python2.7makemake install安装好后可以运行一下Python看看是否正常了/usr/local/python2.7/b

2014-12-22 21:22:31 444

原创 sudo yum install gcc-c++ 安装出问题

sudo yum install gcc-c++ 安装出问题，怎么样都连接不上镜像文件，清楚了yum的cache也没有用，后来发现是DNS没有设置：然后发现也连接不上外网，ping 不通www.baidu.com打开 /etc/resolv.conf 发现什么都没有，增加DNS设置问题解决。

2014-12-22 21:02:30 4889

原创 ooziedb 初始化的时候需要执行以下语句

oozied 初始化的时候需要执行： ooziedb.sh create -sqlfile oozie.sql如果遇到：org.apache.oozie.service.AuthorizationException: E0501: Could not perform authorization operation, User: oozie is not allowed to i

2014-12-13 19:06:19 2312

原创 ssh 无密码登录出错问题

[test@ceshiserver234 .ssh]$ssh -v localhostOpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013debug1: Reading configuration data /etc/ssh/ssh_configdebug1: Applying options for *debug1: Connecting

2014-12-13 14:47:48 1068

原创使用ssh 无密码登录的时候总是出错

[test@ceshiserver234 .ssh]$ssh -v localhostOpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013debug1: Reading configuration data /etc/ssh/ssh_configdebug1: Applying options for *debug1: Connecting

2014-12-13 14:47:30 3875

原创创建文件的软连接

[dataanalyze@d7 prog]$ lltotal 4drwxrwxr-x. 11 dataanalyze dataanalyze 4096 Dec 4 20:11 hadoop-2.4.1[dataanalyze@d7 prog]$ ln -s hadoop-2.4.1/ hadoop[dataanalyze@d7 prog]$ lltotal 4lr

2014-12-04 20:23:58 2635

原创 xxx is not in the sudoers file. This incident will be reported

xxx is not in the sudoers file. This incident will be reported解决办法：$ su -$chmod u+w /etc/sudoers$gedit /etc/sudoers找到这一行："root ALL=(ALL) ALL"在起下面添加"www_linuxidc_com ALL=(ALL)

2014-12-04 20:08:40 593

原创 hadoop job执行出错 org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodErro

job 在执行的时候在reduce的时候出现了3次 FAILED 状态，然后在其他几点上重试能正常跑完。错误内容如下：2014-12-04 15:38:38,564 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: org.apache.co

2014-12-04 18:59:38 6386

原创修改linux文件最大进程数和文件打开数

如何修改linux文件最大进程数和文件打开数:使用ulimit -a 查看当前用户最大：默认是max user processes 和 open files 是1024如果是非root用户。使用 sudo vi /etc/security/limits.conf命令编辑文件：

2014-12-04 17:53:52 973

原创 Linux简单抓包命令

linux抓包命令：抓取从192.168.2.12 and 172.16.0.66 两台机器上发送到本机上的包，并放在当前目录下的 tcpdump.dump.wbb1 二进制文件里：tcpdump host 192.168.2.12 and 172.16.0.66 -f -a -XX -w tcpdump.dump.wbb1 -i eth0使用：tcpdump

2014-12-04 17:22:58 720

原创 linux命令

查找yarn-*文件中包含SelectChannelConnector@d1.hadoop 内容：cat /app/prog/hadoop/logs/yarn-* | grep "SelectChannelConnector@d1.hadoop" | less

2014-12-04 17:09:45 444

原创 hadoop 2.4.1日志聚合设置，并设置自动回收时间

1.hadoop 日志默认生产路径是各个datanode节点上 hadoop环境变量对应的logs文件夹下面：设置完日志聚合之后生成的路径：但是怎么样设置日志聚合呢？ yarn.log-aggregation-enable true yarn.lo

2014-12-04 16:55:32 2366

原创 hadoop java.io.IOException: Cannot run program "nice"

1.使用非root用户启动hadoop集群，然后跑job，job中有几千个文件执行mapreduce的时候总是出现以下错误：hadoop java.io.IOException: Cannot run program "nice"，而且过一会就会出现OutofMemory情况。后来发现，因为mapreduce需要处理的文件特别多，导致打开了过多的文件，而linux系统默认非root

2014-12-04 08:47:15 1444