2017年12月_ZoeYen_

原创【配置】Hadoop三节点分布式集群搭建

一、集群规划1.主机规划2.软件规划jdk centos zookeeper hadoop3.用户规划创建hadoop用户和用户组4.目录规划所有软件目录： /home/hadoop/app 所有数据和日志目录： /home/hadoop/data二、安装前环境准备(所有节点)1.禁用防火墙[root@pc1 ~]#chkconfig iptables off[root@pc1 ~

2017-12-30 00:07:09 819

原创【笔记】Mapreduce数据倾斜与优化

一、数据倾斜数据分布：正常的数据分布理论上都是倾斜的，就是我们所说的20-80原理：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量。1.产生原因： Mapreduce程序在运行的时候，运行了大部分，但是还有部分reduce还在运行，甚至长时间运行，最终导致整个程序运行时间很长才结束。造成这种现象的主要原因是：reduce程序处理的key的

2017-12-28 22:54:30 1112

原创【配置】deploy.sh、runRemoteCmd.sh脚本工具的配置使用

1.在master节点上创建/home/hadoop/tools目录。[hadoop@master ~]$ mkdir /home/hadoop/tools[hadoop@master ~]$ cd /home/hadoop/tools2.将本地脚本文件上传至/home/hadoop/tools目录下。[hadoop@master tools]$ rz deploy.conf[hadoop@ma

2017-12-21 11:41:07 5569 1

一、配置1.将HBase相关jar包拷贝到hive的lib目录下2.修改hive-site.xml配置文件①将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。②修改hive.zookeeper.quorum属性。③添加hbase.zookeeper.quorum属性。3.修改hive-env.sh配置文件copy一份模板文件修改4.启动hive 123

2017-12-17 19:19:15 677

原创【笔记】HBase在资源紧张时降低IO的手段

！注意：1.一切都是瓶颈的时候（内存、CPU、IO），所有手段都作用不大； 2、没有绝对的有效手段，必须针对场景具体分析； 3、大多数情况下，都是磁盘IO存在问题（CPU和内存其实问题都不大，除非配置太差）。优化分类：一、表设计1.适当增加列族个数，一起读写的列放在一个列族原理： family多，获取单个cell数据时就不会去扫描同一个rowkey的所有数据（按列族存储），明显降低IO。适用场

2017-12-13 22:20:33 724

原创【笔记】Sqoop 脚本开发规范

目录规范1.目录结构体系/home/hadoop（开发用户）/app/test(数据来源、业务)/sh/sqoop示例：/home/hadoop/app/test/sh/sqoophome/hadoop（开发用户）/app/test(数据来源、业务)/sh/param示例：/home/hadoop/app/test/sh/param2.脚本文件命名规范2.1文件名规范：数据库类型数据层日期_表实体命

2017-12-05 22:01:13 1150

原创【异常】sqlyog使用过程中的一些错误

1.在创建数据库的时候，报错Error Message: Access denied for user 'admin'@'%' to database 'db1'查看user表的create_routine_priv （确定用户是否可以更改或放弃存储过程和函数）权限，host=%对应的权限为N.更改权限重启mysqlps：关于user表权限问题，可以参考 https://www.cnblogs.c

2017-12-05 18:10:29 7103

原创【配置】sqlyog远程连接mysql数据库

一、mysql安装1.在节点上安装mysql2.启动mysql[root@node6 ~]# service mysqld start3.设置root用户密码4.重新登录4.创建一个新的账号5.查看mysql用户表，看新账号是否创建成功6.退出，使用创建的新账号登录mysql数据库二、连接sqlyog数据库管理工具1.下载sql

2017-12-05 16:53:28 5496

原创【配置】sqoop安装配置

一、安装前环境准备1.关闭防火墙1.chkconfig iptables off //关闭防火墙2.reboot //重启虚拟机3.service iptables status //查看防火墙状态处于关闭状态 iptables:firewall is not running2.绑定hostname与IPvi /etc/hosts3.创建hadooop用户和用户组4.配置ssh免密码登录5.安

2017-12-05 15:26:56 515

ZoeYen_