hadoop
文章平均质量分 54
hello_zzw
这个作者很懒,什么都没留下…
展开
-
hadoop高可用+mapreduce on yarn集群搭建
mapreduce on yarn+高可用搭建原创 2023-02-12 02:06:27 · 692 阅读 · 0 评论 -
hadoop读流程
读操作语言描述1.使用客户端Distributed FileSystem对象,通过RPC连接调用NameNode获取文件的block信息,对于每个block,NameNode会返回存有block副本信息的DataNode的地址,返回的地址会通过这些DataNode与客户端的距离进行排序2.Distribute FileSystem 会返回一个FSDataInputStream对象,该对象内封...原创 2019-04-11 20:48:13 · 156 阅读 · 0 评论 -
hadoop伪分布式搭建
1.修改主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=node12.添加主机名和IP的映射vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost ...原创 2019-04-08 21:28:18 · 118 阅读 · 0 评论 -
hadoop完全分布式配置
完全分布式配置1、node1,2,3,4做免密钥登录ssh-keygen -t dsa -P '' ssh-copy-id -i ~/.ssh/id_rsa.pub root@node22、安装和配置jdkrpm -ivh jdk-7u67-linux-x64.rpm vim /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67...原创 2019-04-16 09:09:48 · 218 阅读 · 0 评论 -
Hadoop独立(本地)模式
1.core_site.xml<configuration> <property> <name>fs.defaultFS</name> <value>file:///</value> </property></configuration>2.hdfs-site...原创 2019-04-20 21:23:49 · 362 阅读 · 0 评论 -
Mac Hadoop伪分布式配置
1.core-site.xml<configuration> <property> <name>hadoop.tmp.dir</name> <value>/Users/zzw/Documents/hadoop/hadoop-2.6.5/hadoop_tmp</value> </propert...原创 2019-04-20 22:38:37 · 163 阅读 · 0 评论 -
hadoop HA配置
1、zookeeper集群搭建a) 将zookeeper.tar.gz上传到node2、node3、node4b) 解压到/opt tar -zxf zookeeper-3.4.6.tar.gz -C /optc) 配置环境变量: export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.6 export PATH=$PATH:$ZOOKEEPER...原创 2019-04-17 09:06:11 · 361 阅读 · 2 评论 -
mapreduce on yarn搭建
节点分布在HA的基础上进行以下修改1.拷贝mapred-site.xml.template为mapred-site.xml文件,并进行修改<configuration> <property> <name>mapreduce.framework.name</name> <...原创 2019-04-17 20:27:30 · 296 阅读 · 2 评论