zhenzhendeblog的博客

IDEA导入Kafka源码

Flume收集数据直接入Solr

一.背景在CDH平台上,为了实现NRT(near real-time)近实时搜索,flume收集的数据入solr,solr提供对外查询。在flume收集到数据后(例如测试机器名称dn12.hadoop),需要使用Morphline实现数据的ETL,才能转换成solr的数据格式,所以配置分为三步。二...

2017-05-24 09:57:40

阅读数 1706

评论数 0

linux ssh免密码登录

从机器machineA登陆到机器machineB,需要免密码。只要在A机器上生成秘钥对,将公钥追加到B机器上的授权文件authorized_keys上即可,分两步: 1.创建秘钥对 进入machineA的文件夹/root/.ssh/,用rsa生成秘钥 [root@machineA .s...

2017-02-15 17:02:59

阅读数 743

评论数 0

代码注释:佛祖开光 永无bug

// // _oo0oo_ // o8888888o // 88" . "88 // (| -_- |) /...

2017-01-23 09:12:44

阅读数 5258

评论数 0

hive 的条件判断(if、coalesce、case)

CONDITIONAL FUNCTIONS IN HIVEHive supports three types of conditional functions. These functions are listed below:IF( Test Condition, True Value, Fal...

2016-12-02 10:12:58

阅读数 18996

评论数 0

Hive 0.11 元数据表汇总

微信小程序实战项目——点餐系统      程序员11月书讯,评论得书啦       Get IT技能知识库,50个领域一键直达 关闭 Hive 元数据解析 标签: hivemetastore元数据hadoopbigdata 2013-11-06 10:20 3...

2016-11-29 11:23:32

阅读数 555

评论数 0

hbase基于solr配置二级索引

一.概述 Hbase适用于大表的存储,通过单一的RowKey查询虽然能快速查询,但是对于复杂查询,尤其分页、查询总数等,实现方案浪费计算资源,所以可以针对hbase数据创建二级索引(Hbase Secondary Indexing),供复杂查询使用。 Solr是一个高性能,采用Java5开发,基于...

2016-10-24 14:47:41

阅读数 7650

评论数 3

linux下搭建SolrCound集群及测试(solr5.5.1+zookeeper3.4.8)

说明: solr已内置jetty服务,默认端口8983,可以很方便的在web端操作,不用安装tomcat。 安装完成后,建议使用谷歌浏览器访问,有的浏览器可能会报错。 开放zk要用到的端口或关闭防火墙 solr自带zk,一般不使用,而是自定义安装 一.环境准备 Linux 至少三台(此处使用192...

2016-10-18 14:54:40

阅读数 3275

评论数 3

nginx日志按天生成&定期删除日志

nginx日志按天生成&定期删除日志问题:nginx会按照nginx.conf的配置生成access.log和error.log,随着访问量的增长,日志文件会越来越大,既会影响访问的速度(写入日志时间延长),也会增加查找日志的难度,nginx没有这种按天或更细粒度生成日志的机制。所...

2016-10-01 08:17:29

阅读数 15743

评论数 2

全国省份地区相关常量备忘

1.省份简称JS,江苏 HE,河北 FJ,福建 BJ,北京 SH,上海 SD,山东 SC,四川 HB,湖北 SN,陕西 SX,山西 HA,河南 JL,吉林 NM,内蒙古 YN,云南 JX,江西 HN,湖南 GX,广西 NX,宁夏 GD,广东 ZJ,浙江 CQ,重庆 LN,辽宁 AH,安徽 TJ,天...

2016-09-28 10:13:14

阅读数 375

评论数 0

Windows下开机自启动Tomcat7

问题:tomcat7解压版,通过startup.bat手动启动tomcat后会出现对话框,如果机器意外重启,tomcat还需要手动重启,比较麻烦。解决:将tomcat安装成系统服务,设置启动方式为自启动。1.安装tomcat服务进入tomcat的bin目录下,运行service.bat insta...

2016-08-11 10:32:08

阅读数 12919

评论数 0

linux下mysql5.7.12忘记密码

一.碰到问题问题:mac上安装的mysql5.7.12,长时间不用,忘记密码,navicat连接时提示: Access denied for user ‘root’@’localhost’ (using password: YES)解决:重置密码二.重置密码详情:2.1关闭mysql服务mac下...

2016-08-09 12:58:20

阅读数 2712

评论数 0

Linux安装配置Redis

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API.这里使用目的:需求是实时匹配一个号码所属地区,且并发量发。那就需要将号码段对应的地区编码表存储到redis,大概30W条,如果实时连接数据库不实际。一.下载官网...

2016-08-09 11:58:54

阅读数 5032

评论数 1

根据wsdl生成客户端:Use of SOAP Encoding is not supported

一.生成方式选择接收到服务端第三方给的wsdl文件,需要在本地生成客户端调用。调用或生成客户端的方式有很多种,可能你会使用eclipse上的插件、IDEA上的插件、使用xfire简单的调用方式等,会碰到各种问题,就是生成不了。其实选择哪种方式,要根据wsdl定义stype和use的方式。stype...

2016-08-07 12:14:25

阅读数 7540

评论数 4

Linux命令备忘记录

1. 查看Linux操作系统1.1 查看系统版本uname -r或cat /etc/centos-release[root@VM-1cea2157-6e12-406a-8268-45bcfb166a17 ~]# uname -r 2.6.32-431.11.2.el6.x86_64 [root@V...

2016-08-01 14:36:45

阅读数 461

评论数 0

linux安装maven

一.安装1.1 官网下载地址:http://maven.apache.org/download.cgi,这里下载最新版apache-maven-3.3.9-bin.tar.gz1.2 安装前需要安装JDK1.7或更新版本,这里已安装JDK1.8[root@besttone-003-0001 ~]#...

2016-07-29 15:45:43

阅读数 1112

评论数 1

重新编译、安装spark assembly,使CDH5.5.1支持sparkSQL

重新编译、安装spark assembly,使CDH5.5.1支持sparkSQLCDH内嵌spark版本不支持spark-sql,sparkR,如果要使用,需要将hive的相关依赖包打进spark assembly jar中,下面就是针对spark-sql的编译、安装步骤一.在任意一台linux...

2016-07-27 16:32:13

阅读数 3977

评论数 0

hadoop——压缩和本地库

1. 压缩hadoop中为什么使用压缩,因为压缩既减少了占用磁盘的空间又加快了文件的传输速度。 hadoop中常用到的压缩格式有lzo,lz4,gzip,snappy,bzip2,关于这几种压缩格式的比 较可参看: http://www.linuxidc.com/Linux/2014-05/...

2016-07-12 15:38:33

阅读数 1721

评论数 0

3台机器配置hadoop2.6.4集群

一.3台机器配置hadoop集群 192.168.80.39 hmaster 192.168.80.40 hslave1 192.168.80.56 hslave2    1. 分别设置主机名(重启后生效):vi /etc/sysconfig/network、hosts解析文件:vi /etc/...

2016-06-11 23:17:01

阅读数 1949

评论数 0

hadoop配置ssh免秘钥登录

问题:单机安装hadoop后,进行启动停止服务等操作时,需要多次输入本地密码,比较麻烦,需要配置ssh无密码登录。  问题详细描述:例如下图中关闭hadoop时候,需要输入4此本地密码。 解决方法:只要使用rsa生成秘钥即可。执行命令:ssh-keygen -t rsa ,一路回车 以上!

2016-06-08 10:12:36

阅读数 929

评论数 0

单机安装hadoop2.6.4

一.单机安装hadoop2.6.4做测试使用,分为以下几步 配置ip、主机名安装JDK,并设置环境变量(此处跳过)下载hadoop,并设置hadoop环境变量修改4个配置文件格式化hdfs启动hadoop查看hadoop运行情况 二.具体安装步骤和注意详情 配置ip、主机名       a...

2016-06-07 13:43:19

阅读数 1945

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭