- 博客(33)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 elastic search sql 按字段设置分词器
设置分词器：vi elasticsearch.ymlindex: analysis: analyzer: pattern_analyzer: type: custom tokenizer: field_tokenizer tokenizer:
2016-12-07 22:33:05
2850
1
原创 宙斯 安装部署
http://central.maven.org/maven2/com/google/guava/guava/18.0/guava-18.0.jar 版本太老HADOOP_CONF_DIR拷贝 hive-site hdds-site hfs-core hadoop-auth-2.5.2 (1)到 classes http://central.ma
2016-09-17 04:26:26
802
1
原创 spark streaming sql demo
class="ch.qos.logback.core.rolling.RollingFileAppender">${trap.loggingRoot}/trap-all.log${trap.loggingRoot}/trap-all.%i.log13class="ch.qos.logback.core.rolling.SizeBasedTri
2015-10-14 21:14:41
598
原创 tcp 服务器优化
vi /etc/sysctl.conf 编辑文件，加入以下内容：net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30 然后执行/sbin/sysctl -p让参数生效
2014-07-10 17:05:18
669
转载 destoon二次开发
destoon二次开发步骤如下：1：复制以destoon_mall开头的几个表。。把mall 改为你需要的。。我这里改成了give注意修改几个表的备注2：在/module目录下复制一份mall文件夹，重命名为give3：在/template/default下复制一份mall文件夹，重命名为give4：在/网站根目录复制一份mall文件夹，重命名为give5：在数据库de
2013-10-29 09:03:21
1170
原创 ext3grep linux 恢复
# 查询ext3grep /home/sheng/file --ls --inode 2# 恢复单个 仅目录 里面的文件恢复失败 ..ext3grep /home/sheng/file --restore-file del --depth del# 恢复目录里面的一个文件ext3grep /home/sheng/file --restore-file del/1
2013-08-27 13:02:11
533
转载 zookeeper原理 使用场景
hive.metastore.localtruejavax.jdo.option.ConnectionURLjdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=truejavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driver
2013-06-18 15:20:32
1875
转载 secondarynamenode 原理
secondarynamenode配置使用总结博客分类： hadoop 一、环境Hadoop 0.20.2、JDK 1.6、Linux操作系统二、背景上周五的时候，由于操作系统的原因，导致JDK出现莫名的段错误。无论是重启机器还是JDK重装都无济于事。更可悲的是，出问题的机器就是Master。当时心里就凉了半截，因为secondaryna
2013-06-17 18:24:46
656
转载 hive sql 优化
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 对分区插入数据(每次都会覆盖掉原来的数据):长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作业运行效率相对比较低，比如即使
2013-06-01 11:07:40
6739
原创 mysql hive sqoop 分区,优化
sqoop 报错 for input string \N 是因为 hive 用\N 存 NULL, 这样就需要 设置input-null-string '\\\\N' input-null-non-string '\\\\N'同网段，asm 导入可以达到 1W条记录每秒，使用sqoop 从hive导入 网上傻帽说ASM 数据大于几百万性能就不行了,麻烦说性能的时候介绍业务场景
2013-05-13 19:12:04
3462
原创 hive sqoop 问题 Io exception: Connection timed out
当从数据库 读数据的时候 有可能会 Connection timed out， 这是由于sqoop会缓存 connection的原因， 当要load 数据到hive的时候 会再次访问oracle数据库，但是这个时候缓存的 数据库连接对象已经超时了或者被数据库干掉了，解决方法有三个：方法一：修改oracle数据库配置：Sqlnet.ora: SQLNET.INBOUND_CONNECT_
2013-05-07 18:36:08
5180
1
转载 hadoop
人人网的数据平台分为事前和事后两部分。事前数据分析是在开发阶段就有系统规划的统计点，事后数据分析恰恰相反，一般统计的是现有业务的历史。这两种方法是互补的，事先埋点的粒度更细，实时性更强，事后统计的适用范围更广，调整更灵活。我们的事后数据分析用Hadoop搭建。这个集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。1. 网络带宽人人网的Hadoop
2013-05-06 23:25:36
561
1
原创 linux shell
awk:cat /etc/passwd |awk -F':' '{print $1"\t"$7}' gunzip -c flowsinfo_2013022823.txt.gz >test.txt scp [email protected]:/usr/local/hadoop/bigdata3/flowdata/flowdatas_bak/20130228/* .
2013-05-06 22:11:28
663
原创 hive 分区
create table day_table (id int, content string) partitioned by (dt string）；动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict; INS
2013-05-05 23:28:27
864
原创 sqoop hive mysql oracle 数据导入
hive 表定义：drop table if exists MUSER_BASICINFO_CPA;create table MUSER_BASICINFO_CPA(USERINDEX STRING,USERID STRING,USERIMSI STRING,REGISTERTYPE STRING,PROVINDEX STRING,CITYINDEX STRIN
2013-04-28 21:59:04
1712
原创 samba 映射
net use * /deleteC:\Documents and Settings\sh-zhongjw>net use会记录新的网络连接。状态 本地 远程 网络--------------------------------------------------------------------------
2013-04-28 16:39:49
820
原创 yum php mysql apache
yum -y install httpd php mysql mysql-server php-mysql httpd-manual mod_ssl mod_perl mod_auth_mysql php-mcrypt php-gd php-xml php-mbstring php-ldap php-pear php-xmlrpc mysql-connector-odbc mysql-devel
2013-04-03 00:55:30
561
原创 httpclient 例子
import java.io.BufferedReader;import java.io.InputStreamReader;import java.io.UnsupportedEncodingException;import java.util.ArrayList;import java.util.List;import org.apache.http.HttpRespons
2013-04-01 17:54:07
514
原创 vm(centos) 虚拟机安装 for hadoop
格式化 磁盘：mkfs -t ext3 /dev/sba磁盘分区 ：fdisk /dev/sbamount /dev/sba /home如果密钥认证出现问题，如open /root/.ssh/id_rsa failed: Permission denied.需要关闭SELinux。修改/etc/selinux/config文件中的SELINUX=”" 为 disable
2013-03-20 23:26:49
528
原创 mysql master slave 主从安装
mysql 版本： http://www.mysql.com/get/Downloads/MySQL-5.5/MySQL-server-5.5.29-1.rhel5.x86_64.rpm. master: vi/etc/my.cnfadd content:log-bin = master-binlog-bin-index = master-bin.index在 ma
2013-01-16 12:17:11
539
原创 mysql 安装
mysql -h localhost -u root -p启动 myql :mysqld_safe --user=mysql &关闭mysql:mysqladmin -u root -p shutdownmysql 导出mysqldump -uroot -p123456 -hlocalhost --all-databases --lock-all-tables>a.sql
2013-01-14 18:00:33
520
原创 selenium 获取网页所有链接
import java.util.List;import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import org.openqa.selenium.WebElement;import org.openqa.selenium.ie.InternetExplorerDriver;public cla
2012-09-20 10:25:59
8781
原创 cglib 动态创建class 有史以来最简单例子
package com.auto.test;import java.lang.reflect.Field;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import net.sf.cglib.beans.BeanGenerator;import net.sf.
2012-09-20 10:04:27
1293
1
原创 chef 安装
Chef Installation Guide Thursday, June 02, 20111:38 PM This document targets for Ruby 1.8.7 + RubyGems 1.6.2 + Chef 0.10.0., it's based on the Chef Wiki and contains adjustments to fit into Ci
2012-09-18 17:14:56
1938
原创 linux unix 技术网址大全 网站大全
Linux 网站导航使用帮助 http://linux.ubuntu.org.cn/faq/PCLinuxOS http://linux.ubuntu.org.cn/distro/pclinuxosDreamlinux http://linux.ubuntu.org.cn/distro/dreamlinuxAV Linux http://li
2012-09-18 16:27:45
1392
原创 java 技术网站大全
java http://java/java26 http://you.video.sina.com.cn/javajobJavaSwing http://www.javaswingchina.com/portal.phpjava软件下载 http://www.oracle.com/technetwork/java/archive-139210
2012-09-18 16:16:04
524
原创 selenium client server mode
很愤怒网上一些家伙说 selenium client server mode 不支持 ie， 误导我， 娘的 ，不懂别他妈老瞎说，让我研究了 chrome ，firefox 经历了那么多痛苦 草。。。。。。
2012-07-25 20:43:02
508
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人