自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zhenzhendeblog的博客

IDEA导入Kafka源码

原创 Flume收集数据直接入Solr

一.背景在CDH平台上,为了实现NRT(near real-time)近实时搜索,flume收集的数据入solr,solr提供对外查询。在flume收集到数据后(例如测试机器名称dn12.hadoop),需要使用Morphline实现数据的ETL,才能转换成solr的数据格式,所以配置分为三步。二...

2017-05-24 09:57:40 1973 0

原创 linux ssh免密码登录

从机器machineA登陆到机器machineB,需要免密码。只要在A机器上生成秘钥对,将公钥追加到B机器上的授权文件authorized_keys上即可,分两步: 1.创建秘钥对 进入machineA的文件夹/root/.ssh/,用rsa生成秘钥 [root@machineA .s...

2017-02-15 17:02:59 815 0

转载 代码注释:佛祖开光 永无bug

// // _oo0oo_ // o8888888o // 88" . "88 // (| -_- |) /...

2017-01-23 09:12:44 5896 0

转载 hive 的条件判断(if、coalesce、case)

CONDITIONAL FUNCTIONS IN HIVEHive supports three types of conditional functions. These functions are listed below:IF( Test Condition, True Value, Fal...

2016-12-02 10:12:58 24410 1

转载 Hive 0.11 元数据表汇总

微信小程序实战项目——点餐系统      程序员11月书讯,评论得书啦       Get IT技能知识库,50个领域一键直达 关闭 Hive 元数据解析 标签: hivemetastore元数据hadoopbigdata 2013-11-06 10:20 3...

2016-11-29 11:23:32 611 0

原创 hbase基于solr配置二级索引

一.概述 Hbase适用于大表的存储,通过单一的RowKey查询虽然能快速查询,但是对于复杂查询,尤其分页、查询总数等,实现方案浪费计算资源,所以可以针对hbase数据创建二级索引(Hbase Secondary Indexing),供复杂查询使用。 Solr是一个高性能,采用Java5开发,基于...

2016-10-24 14:47:41 8124 3

原创 linux下搭建SolrCound集群及测试(solr5.5.1+zookeeper3.4.8)

说明: solr已内置jetty服务,默认端口8983,可以很方便的在web端操作,不用安装tomcat。 安装完成后,建议使用谷歌浏览器访问,有的浏览器可能会报错。 开放zk要用到的端口或关闭防火墙 solr自带zk,一般不使用,而是自定义安装 一.环境准备 Linux 至少三台(此处使用192...

2016-10-18 14:54:40 3477 3

原创 nginx日志按天生成&定期删除日志

nginx日志按天生成&定期删除日志问题:nginx会按照nginx.conf的配置生成access.log和error.log,随着访问量的增长,日志文件会越来越大,既会影响访问的速度(写入日志时间延长),也会增加查找日志的难度,nginx没有这种按天或更细粒度生成日志的机制。所以下面介...

2016-10-01 08:17:29 18051 2

原创 全国省份地区相关常量备忘

1.省份简称JS,江苏 HE,河北 FJ,福建 BJ,北京 SH,上海 SD,山东 SC,四川 HB,湖北 SN,陕西 SX,山西 HA,河南 JL,吉林 NM,内蒙古 YN,云南 JX,江西 HN,湖南 GX,广西 NX,宁夏 GD,广东 ZJ,浙江 CQ,重庆 LN,辽宁 AH,安徽 TJ,天...

2016-09-28 10:13:14 427 0

原创 Windows下开机自启动Tomcat7

问题:tomcat7解压版,通过startup.bat手动启动tomcat后会出现对话框,如果机器意外重启,tomcat还需要手动重启,比较麻烦。解决:将tomcat安装成系统服务,设置启动方式为自启动。1.安装tomcat服务进入tomcat的bin目录下,运行service.bat insta...

2016-08-11 10:32:08 13569 0

原创 linux下mysql5.7.12忘记密码

一.碰到问题问题:mac上安装的mysql5.7.12,长时间不用,忘记密码,navicat连接时提示: Access denied for user ‘root’@’localhost’ (using password: YES)解决:重置密码二.重置密码详情:2.1关闭mysql服务mac下...

2016-08-09 12:58:20 2782 0

原创 Linux安装配置Redis

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API.这里使用目的:需求是实时匹配一个号码所属地区,且并发量发。那就需要将号码段对应的地区编码表存储到redis,大概30W条,如果实时连接数据库不实际。一.下载官网...

2016-08-09 11:58:54 5161 1

原创 根据wsdl生成客户端:Use of SOAP Encoding is not supported

一.生成方式选择接收到服务端第三方给的wsdl文件,需要在本地生成客户端调用。调用或生成客户端的方式有很多种,可能你会使用eclipse上的插件、IDEA上的插件、使用xfire简单的调用方式等,会碰到各种问题,就是生成不了。其实选择哪种方式,要根据wsdl定义stype和use的方式。stype...

2016-08-07 12:14:25 8791 0

原创 Linux命令备忘记录

1. 查看Linux操作系统1.1 查看系统版本uname -r或cat /etc/centos-release[root@VM-1cea2157-6e12-406a-8268-45bcfb166a17 ~]# uname -r 2.6.32-431.11.2.el6.x86_64 [root@V...

2016-08-01 14:36:45 501 0

原创 linux安装maven

一.安装1.1 官网下载地址:http://maven.apache.org/download.cgi,这里下载最新版apache-maven-3.3.9-bin.tar.gz1.2 安装前需要安装JDK1.7或更新版本,这里已安装JDK1.8[root@besttone-003-0001 ~]#...

2016-07-29 15:45:43 32 1

原创 重新编译、安装spark assembly,使CDH5.5.1支持sparkSQL

重新编译、安装spark assembly,使CDH5.5.1支持sparkSQLCDH内嵌spark版本不支持spark-sql,sparkR,如果要使用,需要将hive的相关依赖包打进spark assembly jar中,下面就是针对spark-sql的编译、安装步骤一.在任意一台linux...

2016-07-27 16:32:13 4175 0

原创 hadoop——压缩和本地库

1. 压缩hadoop中为什么使用压缩,因为压缩既减少了占用磁盘的空间又加快了文件的传输速度。 hadoop中常用到的压缩格式有lzo,lz4,gzip,snappy,bzip2,关于这几种压缩格式的比 较可参看: http://www.linuxidc.com/Linux/2014-05/...

2016-07-12 15:38:33 1899 0

原创 3台机器配置hadoop2.6.4集群

一.3台机器配置hadoop集群 192.168.80.39 hmaster 192.168.80.40 hslave1 192.168.80.56 hslave2    1. 分别设置主机名(重启后生效):vi /etc/sysconfig/network、hosts解析文件:vi /etc/...

2016-06-11 23:17:01 2096 0

原创 hadoop配置ssh免秘钥登录

问题:单机安装hadoop后,进行启动停止服务等操作时,需要多次输入本地密码,比较麻烦,需要配置ssh无密码登录。  问题详细描述:例如下图中关闭hadoop时候,需要输入4此本地密码。 解决方法:只要使用rsa生成秘钥即可。执行命令:ssh-keygen -t rsa ,一路回车 以上!

2016-06-08 10:12:36 1095 0

原创 单机安装hadoop2.6.4

一.单机安装hadoop2.6.4做测试使用,分为以下几步 配置ip、主机名安装JDK,并设置环境变量(此处跳过)下载hadoop,并设置hadoop环境变量修改4个配置文件格式化hdfs启动hadoop查看hadoop运行情况 二.具体安装步骤和注意详情 配置ip、主机名       a...

2016-06-07 13:43:19 2036 0

原创 mac mysql重置忘记密码

背景:mysql安装时间太长,忘记密码了,需要重置      第一步: 在苹果->系统偏好设置中关闭mysql服务                    第二步: 进入终端输入:cd /usr/local/mysql/bin/回车后 登录管理员权限 sudo su(...

2016-05-30 16:21:22 375 0

原创 mac myeclipse2015安装SVN插件

方法一:在线安装,在此忽略,我安装插件从来没现在安装成功过。 方法二:link方式(非常简单) 1、从官网subclipse.tigris.org下载site-1.6.10.zip文件; 2、从中解压出features与 plugins文件夹,复制到/Applications/MyEcli...

2016-05-30 14:52:12 2714 0

原创 使用Nexus搭建Maven仓库

1.目的通过建立自己的私服,可以降低中央仓库负荷、节省外网宽带、加速maven构建、自己部署构件等,从而高效的使用maven,nexus是当前流行的Maven仓库管理软件。2.下载nexus 2.1 网址:http://www.sonatype.org/nexus/,我选择zip包下载 2.2...

2016-04-12 14:14:31 3477 0

原创 Linux环境安装FTP服务Serv-U

需求:在Linux环境上安装FTP服务端Serv-U 解决步骤: 1.下载Serv-U的linux 64bit的安装文件 wget  http://www.rhinosoft.com.cn/download/14.0.1.0/SU-MFTS-Linux-64bit.zip 2.解压安装文件  u...

2016-02-17 09:35:52 4465 1

原创 Navicat设定mysql定时任务

有个需求:将一张表的前一天的数据抽取到另一张表中,使用Mysql数据库的客户端Navicat配置 第一步,创建过程cust_report,直接在查询窗口中执行,保存后函数列表中就会出现。 第二步,新建事件,配置调用过程名称、执行频率和开始时间等 第二天就可以查看该事件的运行情况啦 ...

2016-01-28 13:33:47 5047 0

原创 Tomcat中查看JVM内存使用情况

TOMCAT运行时,实时监控当前应用JVM的使用情况;可以利用Tomcat自带的应用manager查看详情。 首先,需要创建角色manager和对应的用户,修改/conf/tomcat-users.xml               其次,浏览器输入网址:http://IP:p...

2016-01-14 16:50:16 16886 0

原创 Linux安装JDK和Tomcat

下载linux版本的JDK和Tomcat 解压、安装JDK 1. 将文件拷贝到任意目录,解压命令:tar -xvzf jdk-7u25-linux-x64.tar.gz,假设jdk想存放位置:/usr/java/jdk1.7.0_45,则在/usr目录下创建java目录,然...

2016-01-14 16:01:59 24 0

转载 MySQL 自动断开连接的问题

在MySQL数据库中,如果一个连接8小时没有请求和操作,就会自动断开,从而导致一些基于数据库连接的应用程序,特别是 WEB 应用程序出错。  有三个方法可以解决这个问题:  1:修改MySQL配置参数  2:修改JDBC  3:修改第三方的数据库连接池应用 Proxool.xml  ...

2015-12-07 09:49:42 1273 0

转载 [Nginx] nginx提示:500 Internal Server Error错误的解决方法

现在越来越多的站点开始用 Nginx ,("engine x") 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,它已经在该站...

2015-11-24 15:51:14 27973 0

原创 nginx日志access.log error.log按天生成存储,定时删除日志

问题:nginx会按照nginx.conf的配置生成access.log和error.log,随着访问量的增长,日志文件会越来越大,既会影响访问的速度(写入日志时间延长),也会增加查找日志的难度,nginx没有这种按天或更细粒度生成日志的机制,所以需要自己添加定时任务,分割日志文件。 1.新建分割...

2015-11-24 15:30:52 12773 0

原创 linux 获取经过N层Nginx转发的访问来源真实IP

通常系统出于安全考虑,需要进行权限(账号、密码)和IP白名单控制。如何获取访问来源真实的IP,如果公司网络入口设置负载,自己系统设置nginx代理等操作,会使你达到目的不那么简单直接。 通常情况下我们使用request.getRemoteAddr()就可以获取到客户端ip,但是当我们使用了ngin...

2015-11-07 15:39:03 16654 0

原创 jfinal 在linux下报applicationContext.xml找不到

JFinal默认加载spring配置文件applicationContext.xml的路径是项目下的/WEB-INF/下,在windows操作系统下运行正常,部署在Linux系统下报错,如下提示信息(找不到spring的配置文件): [INFO ][localhost-startStop-1] 2...

2015-10-29 12:09:43 1681 0

转载 linux上安装nginx简单几步

nginx下载地址:http://nginx.org/download/,我选择一个1.6.0版本nginx-1.6.0.tar.gz 建议所有操作要在管理员权限下操作,安装目录在/usr/local下,安装在其他目录可能找不到sbin文件夹。 步骤:  # wget http://nginx....

2015-10-08 13:22:06 476 0

提示
确定要删除当前文章?
取消 删除