2015年11月_zhoulixin8

转载 date命令

转自：http://www.cnblogs.com/peida/archive/2012/12/13/2815687.html 在linux环境中，不管是编程还是其他维护，时间是必不可少的，也经常会用到时间的运算，熟练运用date命令来表示自己想要表示的时间，肯定可以给自己的工作带来诸多方便。1．命令格式： date [参数]... [+格式]2．命令功能：date

2015-11-30 17:03:42 168

原创 shell 引号转义符通配符特殊字符

下面内容解释hive -e "" 中为什么用四个反斜杠，而hive-CMD中只用两个反斜杠 hive -e "select split('1.2.3.4','\\\\.') from default.dual;" hive> select split('1.2.3.4','\\.') from default.dual; 上面两种情况执行结果一样需要注意的是：

2015-11-30 15:31:19 33206

转载 hive函数 -- split 字符串分割函数

转自：http://blog.csdn.net/lxpbs8851/article/details/18712407 hive字符串分割函数split(str, regex) - Splits str around occurances that match regexTime taken: 0.769 seconds, Fetched: 1 row(s)返回值为一个数组a

2015-11-30 15:16:12 1450

转载查看job的详细日志出错： Aggregation is not enabled. Try the nodemanager at d2.hadoop:42812

转自：http://www.ithao123.cn/content-918773.htmlhadoopjob执行完之后：点击 http://n1.hadoop:19888/jobhistory/attempts/job_1406341693880_0001/r/SUCCESSFUL 出现Aggregation is not enabled. Try the nodemana

2015-11-16 22:32:48 919

转载 Hive日志调试

转自：http://www.iteblog.com/archives/873　这些天看到很多人在使用Hive的过程遇到这样或那样的错误，看着那些少的可怜的错误日志出错，一直找不到原因。后来我给他们介绍了修改日志输出级别之后，错误原因很快得到定位。于是乎我写了这篇博文。希望那些在使用HQL的过程中遇到问题，通过这里介绍的方法进行调试而定位到错误，从而少走弯路。好了，废话不多说进入

2015-11-16 20:48:34 418

转载 mysql忘记root密码拯救方法(flush privileges)

转自：http://blog.sina.com.cn/s/blog_62449fcf0100y5lu.htmlmysql忘记root密码拯救方法(flush privileges)1、结束当前正在运行的mysql进程。# /etc/init.d/mysql stop2、用mysql安全模式运行并跳过权限验证。# /usr/bin/mysqld_safe --skip-g

2015-11-16 17:03:40 424

转载 eclipse上单步调试Hive

转自:http://blog.sina.com.cn/s/blog_9f48885501017eyl.html 在~/workspace/hive新建了两个目录lib和conf从hive目录中的lib和hadoop目录中的lib复制一份到一个目录里，我是放在~/workspace/hive/lib 还要把hadoop目录下的hadoop*.jar都拷贝过来

2015-11-16 16:56:53 338

转载 Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数

前面已经讲到，变量名只能包含数字、字母和下划线，因为某些包含其他字符的变量有特殊含义，这样的变量被称为特殊变量。例如，$ 表示当前Shell进程的ID，即pid，看下面的代码：复制纯文本新窗口$echo $$$echo $$运行结果29949特殊变量列表变量含义$0当前脚本的文件名$

2015-11-05 11:47:58 282

转载 profile、bashrc、bash_profile区别

经常安装软件时会配置各种环境变量，每个人的安装指南都不一样，常用的配置环境修改如下： /etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置.所以如果你有对/etc/profile有修改的话必须得重启你的修改才会生效，此修改对每个用户都生效。/etc/bashrc:

2015-11-05 11:21:31 267

原创 hive依赖oracle执行结果

#每10分钟检查一次开关表HADOOP_LIST_NO_FLAG，如果ETL已执行成功则继续，否则异常推出for i in {1..35}do etl_flag=`sqoop eval \ -D oozie.job.id=$wf_job_id

2015-11-03 18:13:47 245

原创定时调度shell

scheduler.sh：#!/bin/bash./timing.sh 201401271339if [ "$?" -eq 0 ]; then echo "调度命令写在这里" echo `date +"%Y-%m-%d %X"`"程序已调起"else echo "调度失败"fi timing.sh#! /bin/bash#shell

2015-11-03 18:11:15 597

原创 SAS常用功能

%GLOBAL odb;%LET odb=cowlife;%GLOBAL path;%LET path=netslifemiscow;%GLOBAL schema;%LET schema=tmrlifearc;%GLOBAL user;%LET user=netslifesas;%GLOBAL password;%LET password=; libna

2015-11-03 18:09:46 2066 1

原创解析DATASTAGE导出文件dsx和congnos的mdl文件

DS源表和目标表解析：Option ExplicitPublic Declare Function WaitForSingleObject Lib "kernel32" (ByVal hHandle As Long, ByVal dwMilliseconds As Long) As LongPublic Declare Function CloseHandle Lib "kerne

2015-11-03 16:47:49 3719 1

原创 OOZIE依赖解析并用mxGraph画出依赖图

方式一：在hive中创建表，通过UDTF解析hdfs上的coordinate.xml获取应用间的依赖关系，并以父子维的方式存储在hive表中，以后可以在java中直接访问hive表，并用mxgraph画出依赖图create_hadoop_app_info.hqluse pad_hdp;drop table hadoop_app_info;create table hadoop_

2015-11-03 12:53:35 2850

zhoulixin8的专栏