zhiquanliu-CSDN博客

原创 scala java 集合转换

1.java集合转scala 方法一：自动隐式转换import scala.collection.JavaConversions._ 方法二：Wrappers.JListWrapper.apply(javaList)2.scala集合转Java 自动隐式转换import scala.collection.JavaConversions...

2016-10-18 12:41:12 239

原创 shell 读取msyql

#!/bin/bashHOST_IP='hyman'USER='root'PASSWD='123456'DBNAME='zhenai_etl'sql="SELECT t.data_id,t.databaseType,t.keep_day,s.host_ip,s.host_port,s.user_name,s.user_pwdFROM t_src_interface_c...

2016-10-13 15:22:45 142

原创解决eclipse 创建项目默认JRE 是1.5的问题

解决eclipse 创建项目默认JRE 是1.5的问题修改settings.xml<profile> <id>jdk-1.7</id> <activation> <activeByDefault>true</activeByDefault> <jdk>1.7</jdk&a

2016-10-13 14:38:00 1471

原创导出maven 依赖jar

输入以下命令：mvn dependency:copy-dependencies -DoutputDirectory=lib更简单的 mvn dependency:copy-dependencies 会导出到targetdependency 下面　　mvn clean dependency:copy-dependencies package 复制依赖的jar 非常有用...

2016-09-30 11:54:06 95

原创 MySQL数据库中文字符在Linux终端显示乱码解决方案

用Mysql终端进入Mysql数据库一看乱码了第一感觉就是latin1字符。执行sq脚本查看Mysql字符集相关属性：SHOW VARIABLES LIKE 'character_set_%'; 果然是latin1字符集首先想到的就是把latin1改成utf8执行命令：set names utf8;SHOW VARIABLES LIKE 'char...

2016-02-03 02:43:06 303

原创 mysql 创建用户、授权

//创建用户create user 'hive'@'%' identified by 'hive'; //授权grant all privileges on *.* to 'hive'@'%' with grant option;flush privileges;

2015-08-27 15:19:03 448

原创 Hadoop数据迁移 distcp 工具

hadoop distcp 备份HDFS文件，并行复制大量数据。 1.同版本集群之间复制： hadoop distcp hdfs://namenode1/src hdfs://namenode2/dist 这将从第一个集群中复制/src目录下的内容复制到第二个集群中的/dist目录下默认情况下，distcp会跳过目标路径已经有的文件，但可以通过提供的-o...

2015-08-23 19:05:43 623

原创 MapReduce生成HFile文件、加载HFile到HBase

MapReduce生成HFile文件、加载HFile到HBase 1、程序代码public class TransformHFile extends Configured implements Tool{ public static final String COLUMN_FAMILY = "info"; public static final String[] C...

2015-08-23 17:44:47 570

原创 Mapreduce导入数据到HBase中

MapReuce导入数据文件到HBASE表中1. 代码编写 /** * 参考 org.apache.hadoop.hbase.mapreduce.ImportTsv * org.apache.hadoop.hbase.mapreduce.TsvImporterMapper * @author Hyman */public class ImportEmp extend...

2015-08-23 14:04:13 359

原创 HBASE bulkload 加载TSV数据

生成HFile文件 HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/conf \${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \-Dimporttsv.columns=HBASE_ROW_KEY,\...

2015-08-22 12:19:25 171

原创 hadoop 提交 mapreduce假死的问题

hadoop版本是CDH5.3.3的，安装了伪分布模式，一直以来程序运行好好的，突然间运行mapreduce程序卡在running job上，mapreduce已经提交到yarn上去了一直卡着没动，纠结了N天，总算搞定了，之前还以为是我的内存不够，我把内存设置成6G了，没跑别的应用，查看内存使用情况 [ehp@hadoop-ehp hadoop-2.5.0-cdh5....

2015-08-19 22:52:59 488

原创 Hive UDF编程

编写一个类继承 org.apache.hadoop.hive.ql.exec.UDF在该类中加入 evaluate 方法"evaluate" should never be a void method. However it can return "null" if * needed. public class UDFLastDay extends UDF{...

2015-08-16 17:25:30 90

原创 hbase 压缩配置

对hbase 的hfile 进行snappy压缩的配置： 1> hadoop集群必须先配置好snappy压缩参考http://hymanliu.iteye.com/blog/2224330 2>在hbase的lib/native目录下一个软链接 Linux-amd64-64 -> $HADOOP_HOME/lib/native 重启hbase集群。 ...

2015-08-05 23:16:04 542

1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b...

2015-07-18 16:57:28 99

原创 hadoop2.x的编译 & hadoop-snappy编译 & hadoop2.x 配置 snappy压缩

hadoop2.x 默认没有支持snappy压缩，需要我们自己编译才能支持snappy的压缩。查看hadoop2.x 的BUILDING文件， Snappy build options: Snappy is a compression library that can be utilized by the native code. It is currently a...

2015-07-05 00:33:56 284

flume环境搭建&案例

1.下载wget -c http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.3.tar.gz2.解压tar -zxvf flume-ng-1.5.0-cdh5.3.3.tar.gz -C /opt/modules/3.配置cd /opt/modules/flume-ng-1.5.0-cdh5.3.3/c...

2015-07-04 13:18:12 139

原创 sqoop-1.4.5和hadoop-2.5.2集成

Sqoop安装与配置Sqoop的运行需要依赖于Hadoop，因此需要首先安装Hadoop2.5.2，并且Sqoop的启动前需要首先安装Hadoop。本文使用如下版本sqoop-1.4.5.bin_hadoop-2.0.4-alpha版本，Hadoop使用2.5.2版本 Sqoop安装和配置的步骤 1. 从如下地址下载Sqoop Jav...

2015-03-10 22:29:26 207

原创 hadoop 2.x伪分布式环境搭建

1.linux环境准备(1).设置静态IP(2).设置主机名操作：hostname www.hyman.comvi /etc/sysconfig/network验证：hostname(3).绑定主机名操作：vi /etc/hosts验证：ping www.hyman.com(4).关闭防火墙操作：service iptables st...

2015-03-01 22:51:24 117

原创 JavaScript获取文本框光标的像素位置

<!DOCTYPE html><html><head> <title>InputPostion</title> <script type="text/javascript">var kingwolfofsky = { /** * 获取输入光标在页面中的坐标 * @param

2013-06-20 09:28:06 179

原创扫描接口实现类

package com.fullwisdom.scan; import java.io.File; import java.io.IOException; import java.net.URL; import java.util.ArrayList; import java.util.Enumeration; import java.util.List; import java.util.jar...

2012-07-11 15:25:54 590

原创责任链模式

这是一个过滤消息的例子。==========================package com.fullwisdom.moden.chain;public class Message { private String content; public String getContent() { return content; } ...

2012-06-17 23:02:46 66

原创 android SQLite

1.编写DataBaseOpenHelper 继承SQLiteOpenHelper 完成创建、打开数据库及各种数据库操作。public class DataBaseOpenHelper extends SQLiteOpenHelper { public DataBaseOpenHelper(Context context, String name,C...

2012-05-04 00:14:53 72

原创 android htttp网络通信

1.android get方式发送数据到服务器端。public static boolean doget(String actionurl, Map<String,Object> params,String chartset) throws Exception { StringBuffer sb = new StringBuffer(actionurl);if(...

2012-04-27 15:32:39 136

原创 GET 请求乱码解决方案

1.封装request对象，并做乱码处理逻辑 public class EncodingHttpServletRequestWrapper extends HttpServletRequestWrapper { public EncodingHttpServletRequestWrapper(HttpServletRequest request) {super(requ...

2012-04-27 13:42:52 79

原创 android 网络通信

1. 在在androidManifest.xml文件中授权访问网络的权限 <uses-permission android:name="android.permission.INTERNET"></uses-permission> 2.通过get请问向服务器断发送数据。 public static boolean doget(String ...

2012-04-27 13:42:27 119

原创 javascript 面向对象 prototype原型

//定义构造函数，规定每个js对象必须定义Create构造方法function New(aClass,params){ function _new(){ if(aClass.Create) aClass.Create.apply(this,params); } _new.prototype = aClass; return new _new();} function Ext...

2011-09-23 23:01:07 80

java反编译

在eclipse里面集成java反编译工具开发起来就可以方便的阅读jar包源码了。安装方法如下： 1.下载jad ：jad158g.win.zip 解压把jad.exe 放到path 环境变量所对应的目录中如java/bin/ 目录下 ; 2.下载Jad eclipse插件如： net.sf.jadclipse_3.3.0.jar 把这个jar包放到eclipse/plugi...

2011-09-22 23:44:43 83

zhiquanliu的专栏