![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 81
机智的小狐狸
这个作者很懒,什么都没留下…
展开
-
CenOS7 Hadoop集群搭建(三):Zookeeper集群搭建
接上篇:CenOS7 Hadoop集群搭建(二):Hadoop集群搭建本篇主要介绍Zookeeper集群安装部署。文章目录1.下载安装包并上传2.解压安装包3.修改配置文件4.将安装文件夹复制到其他节点5.启动zookeeper集群6.zookeeper集群启动脚本1.下载安装包并上传先下载安装包:zookeeper-3.4.12alt+P打开SFTP,上传安装包:2.解压安装包...原创 2019-01-10 13:21:05 · 237 阅读 · 0 评论 -
CenOS7 Hadoop集群搭建(四):Hive安装
接上篇:CenOS7 Hadoop集群搭建(三):Zookeeper集群搭建文章目录1.下载并上传安装包2.安装Hive之前要先安装mysql3.解压Hive并配置环境变量4.修改Hive的配置文件5.上传mysql驱动包6.启动Hive7.使用beeline连接8.异常信息1.下载并上传安装包先下载安装包:hive-1.2.2 点击下载上传安装包至需要安装的节点:alt+P直接上传至...原创 2019-01-10 14:15:13 · 265 阅读 · 0 评论 -
HDFS读写数据流程
HDFS写流程客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本。写详细步骤:根namenode通信请求上传文件,namenode检查目标文件是否已存在,父目录是否存在 。n...原创 2019-01-10 16:44:04 · 503 阅读 · 0 评论 -
flume 总结:日常数据采集中配置文件
文章目录1. flume简介1.1 工作流程1.2 核心概念1.3 数据类型2. flume下载安装2.1 下载2.2 安装3. 配置文件3.1 常见的source3.1.1 avro source3.1.2 exec source3.1.3 spooling-directory source3.2 常见的channel3.2.1 memory channel3.3 常见的sink3.3.1 l...原创 2019-01-14 15:11:11 · 921 阅读 · 0 评论 -
CenOS7 Hadoop集群搭建(一):CentOS7虚拟机的创建
根据自己的学习工作进行总结: 搭建环境介绍: VMware 12.5.2 下载地址及激活码: CentOS-7-x86_64-Minimal-181 下载地址:清华大学开源软件镜像站文章目录1.安装VMware2.安装虚拟机3.使用SecureCRT连接虚拟机修改配置先修改网卡配置,修改为静态IP:4.规划集群,配置SSH免密登陆1.安装VMware还是相对来说非常简单的,在这里...原创 2019-01-09 14:03:32 · 620 阅读 · 0 评论 -
linux SSH免密登陆 附带免密登陆脚本
1.首先修改集群内的映射文件vi /etc/hosts 在里面最后添加集群内的映射192.168.43.120 master192.168.43.121 slave1192.168.43.122 slave22.分别在每个节点上执行下面的命令ssh-keygen -t rsa期间会敲三次回车3.进入用户的~目录下面cd ~ 里面有一个.ssh文件夹cd .ssh 文件夹里面就...原创 2019-01-09 18:55:23 · 2281 阅读 · 0 评论 -
Linux操作系统vim的安装和配置
1.vim安装CentOS系统:yum -y install vim*Ubuntu系统:sudo apt-get install vim-gtk以CentOS系统为例:出现上图的页面,说明安装完成,同时会显示安装的版本号。2.vim配置输入vim /etc/vimrc 命令移动光标到最后,输入一下内容:set nu // 在左侧...原创 2019-01-09 19:36:33 · 709 阅读 · 0 评论 -
CenOS7 Hadoop集群搭建(二):Hadoop集群搭建
接上篇:CenOS7 Hadoop集群搭建(一):CentOS7虚拟机的创建环境介绍:Hadoop2.7.7下载地址,点击下载 JDK1.8 jdk-8u191-linux-x64.tar.gz,点击下载文章目录1. 先克隆两台节点机2,配置SSH免密登陆1. 先克隆两台节点机在关机状态下,右键master选择管理 -->克隆:点击下一步:点击下一步:选择完整版克隆...原创 2019-01-09 21:20:04 · 673 阅读 · 0 评论 -
linux CentOS7安装mysql5.7
系统环境:CentOS7 mysql5.7.24 mysql下载地址注:centos7就下载el7, centos6就要下载el6版本。1.将安装包上传至虚拟机解压alt+P 直接将下载好的文件拖到窗口,即上传至用户~目录:tar -xvf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar注意是没有z,文件格式不是.tar.gz2.卸载冲突的组件2...原创 2019-01-09 23:31:36 · 228 阅读 · 0 评论