大数据集群搭建
长期记录工作使用到的大数据环境软件,工具的安装使用流程和遇到的错误所使用的解决方案。
稻草一根
这个作者很懒,什么都没留下…
展开
-
Mysql启动报错:Unit mysql.service failed to load: No such file or directory的解决办法
1、软件环境:OpenSUSE 13.1 x64MySQL 5.6.20 x642、采用RPM包安装MySQL 5.6.20[python] view plain copy# rpm -ivh MySQL-server-5.6.20-1.sles11.x86_64.rpm # rpm -ivh MySQL转载 2017-11-15 11:33:27 · 16723 阅读 · 1 评论 -
ambari安装hive以mysql作为元数据存储建表失败的解决办法
这几天项目上线,需要新安装hive在生产环境上,元数据准备就直接用mysql进行存储,因为行内生产环境肯定不能随随便便就安装一个mysql,所有的数据必须由DBA数据中心进行申请操作,所以我们向DBA提交了建库申请,DBA同事也帮我们建好了hive的元数据存储库,继而我们直接在ambari进行傻瓜式安装hive填上了相应的数据库名,用户名,表名等等,测试连接通过,直接next,但是在最后deplo原创 2017-11-02 11:05:15 · 1995 阅读 · 0 评论 -
Maven项目管理工具的安装和基本使用
最近一直在使用Maven这个项目管理工具,记录一下以便下次使用查阅 。Apache下开源的项目。帮助开发人员管理项目构建,管理JAVA工程。原创 2017-03-09 09:51:28 · 29322 阅读 · 0 评论 -
Ambari安装hive组件出现need string or buffer, NoneType found
首先在ambari-server端执行ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar如果执行后依旧没有反应。可能是目录下没有此文件,只需要将jar包放到相应的文件目录下即可。在mysql中为Hive设置用户:设置hive用户create原创 2017-07-13 14:24:13 · 472 阅读 · 0 评论 -
Ambari Hadoop集群HA整合Hue安装介绍
HUE整合Ambari安装部署 1.复用bigdata3的mysql设置hue用户create database hue_to_mysql character set utf8 ; CREATE USER hue@'%'IDENTIFIED BY '7dYDrMECSQ';GRANT ALL PRIVILEGES ON *.* TO hue@'%';FLUSH PRI原创 2017-07-19 17:06:47 · 2634 阅读 · 0 评论 -
Hue整合Mysql数据库的安装配置
前言:在泰国,一个全新的应用程序允许查看MySQL、PostgreSQL、Oracle和Sqlite的数据。受Beeswax应用程序的启发,它允许您查询关系数据库并在表中查看它。在hue的hue.ini配置文件中添加mysql,定位到databases位置根据服务器上需要查看的数据库的信息更改响应配置。简单配置如下:#########################################...原创 2017-07-19 17:15:40 · 4817 阅读 · 0 评论 -
使用SecureCRT等工具时如何让Kibana一直后台运行
在搭建ELK平台时,因为我一般使用CRT进行SSH连接,但是因为Kibana是解压安装,所以当我们关闭SSH连接后程序就结束了,要想让程序在后台运行,我们可以使用nohup命令[root@hdp5 kibana-4.1.2]# nohup /root/Apps/kibana-4.1.2/bin/kibana &[1] 3266[root@hdp5 kibana-4.1.2]# nohup:原创 2017-07-21 15:09:48 · 1521 阅读 · 0 评论 -
ELK日志平台搭建logstash+elasticsearch+redis+Kibana
安装redis首先下载rediswget http://download.redis.io/releases/redis-3.0.4.tar.gz下载之后解压,编译安装tar -zvxf redis-3.0.4.tar.gzmakemake install然后启动redisredis-server redis.conf &添加&符号表示后台启动安装logst原创 2017-07-21 15:46:03 · 889 阅读 · 0 评论 -
在Centos6.5版本分布式安装Glusterfs3.8版本
1. 登入root用户sudo su root 2. 设置主机名修改hostname文件,以及hosts文件添加如下设置,使集群中的主机可以通过主机名进行访问:10.0.101.2 gfs110.0.101.191 gfs210.0.101.213 gfs310.0.101.61 gfs_cli 10.20.32.19 VM_32_19_centos10原创 2017-07-26 11:49:12 · 2834 阅读 · 0 评论 -
Flink集群部署详细步骤
1.下载Flink压缩包下载地址:http://flink.apache.org/downloads.html。我集群环境是hadoop2.6,Scala2.11版本的,所以下载的是:flink-1.3.1-bin-hadoop26-scala_2.11.tgz。2.解压上传至五个节点的相同目录,执行如下命令解压: tar xzf flink-1.3.1-bin-ha...原创 2017-07-28 15:01:01 · 14567 阅读 · 0 评论