2017年07月_稻草一根

11月 07月 05月 04月 03月 02月 01月

原创 Flink集群部署详细步骤

1.下载Flink压缩包下载地址：http://flink.apache.org/downloads.html。我集群环境是hadoop2.6，Scala2.11版本的，所以下载的是：flink-1.3.1-bin-hadoop26-scala_2.11.tgz。2.解压上传至五个节点的相同目录，执行如下命令解压： tar xzf flink-1.3.1-bin-ha...

2017-07-28 15:01:01 14567

原创在Centos6.5版本分布式安装Glusterfs3.8版本

1. 登入root用户sudo su root 2. 设置主机名修改hostname文件，以及hosts文件添加如下设置，使集群中的主机可以通过主机名进行访问：10.0.101.2 gfs110.0.101.191 gfs210.0.101.213 gfs310.0.101.61 gfs_cli 10.20.32.19 VM_32_19_centos10

2017-07-26 11:49:12 2834

原创 Linux升级glibc库至2.15版本的快速解决办法

首先下载2.15所需的各种安装包如下：rpm -Uvh glibc-2.15-60.el6.i686.rpm \glibc-devel-2.15-60.el6.i686.rpm \glibc-utils-2.15-60.el6.x86_64.rpm \glibc-2.15-60.el6.x86_64.rpm \glibc-common-2.15-60.el6.x86_64.rpm \

2017-07-25 15:57:28 9181 3

原创 Linux中出现libc.so.6(GLIBC_2.14)(64bit) is needed by...的解决办法

原因是因为系统的glibc版本不符合安装要求，可以对glibc进行升级。下载响应安装包：http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz。解压： tar xvf glibc-2.14.tar.gz 进入glibc-2.14目录：cd glibc-2.14 创建build文件夹：mkdir build 进入build目录：cd buil...

2017-07-25 14:11:27 74953 17

原创 ELK日志平台搭建logstash+elasticsearch+redis+Kibana

安装redis首先下载rediswget http://download.redis.io/releases/redis-3.0.4.tar.gz下载之后解压，编译安装tar -zvxf redis-3.0.4.tar.gzmakemake install然后启动redisredis-server redis.conf &添加&符号表示后台启动安装logst

2017-07-21 15:46:03 889

原创使用SecureCRT等工具时如何让Kibana一直后台运行

在搭建ELK平台时，因为我一般使用CRT进行SSH连接，但是因为Kibana是解压安装，所以当我们关闭SSH连接后程序就结束了，要想让程序在后台运行，我们可以使用nohup命令[root@hdp5 kibana-4.1.2]# nohup /root/Apps/kibana-4.1.2/bin/kibana &[1] 3266[root@hdp5 kibana-4.1.2]# nohup:

2017-07-21 15:09:48 1521

前言：在泰国，一个全新的应用程序允许查看MySQL、PostgreSQL、Oracle和Sqlite的数据。受Beeswax应用程序的启发，它允许您查询关系数据库并在表中查看它。在hue的hue.ini配置文件中添加mysql，定位到databases位置根据服务器上需要查看的数据库的信息更改响应配置。简单配置如下：#########################################...

2017-07-19 17:15:40 4817

原创 Ambari Hadoop集群HA整合Hue安装介绍

HUE整合Ambari安装部署 1.复用bigdata3的mysql设置hue用户create database hue_to_mysql character set utf8 ; CREATE USER hue@'%'IDENTIFIED BY '7dYDrMECSQ';GRANT ALL PRIVILEGES ON *.* TO hue@'%';FLUSH PRI

2017-07-19 17:06:47 2634

原创在root用户执行hive命令报错

Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user/root":hdfs:hdfs:drwxr-xr-x a

2017-07-13 15:23:43 1988

原创 Ambari安装hive组件出现need string or buffer, NoneType found

首先在ambari-server端执行ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar如果执行后依旧没有反应。可能是目录下没有此文件，只需要将jar包放到相应的文件目录下即可。在mysql中为Hive设置用户：设置hive用户create

2017-07-13 14:24:13 472