zycxnanwang的博客

zookeeper安装教程集群配置机器IP地址First192.168.56.4Second192.168.56.5Third192.168.56.6每台机器的配置切换到zookeeper的配置目录, 我的是zookeeper-3.4.13/conf, 执行以下命令#创建zoo.cfgcp zoo_sample.cfg zoo.cfg#修改...

YARN近期读了论文， Apache Hadoop YARN:Yet Another Resource Negotiator收益匪浅，故写了一篇简单的总结，其中难免有错误，望指正。有消息看到，会立即回复。上图是yarn的的框架图，解释一下三个主要的守护进程Resource Manager(RM), Node Manager(NM), Application Master(AM)...

最近看了The Hadoop Distributed File System,2010年发表的一篇关于HDFS的论文里面详细介绍了HDFS的各个方面，虽然里面有些技术已经被淘汰或者革新了，但是里面的设计思想还值得学习的，所以写下这篇笔记。技术有限，可能会有差错，希望指出。NameNode, DataNode文件和目录是以block的形式，存储在HDFS中的。为了实现数据的容错，H...

MapReduce前几天看了google的mapreduce论文，里面有很多学习的知识点，故在此记录。其中难免有错误，希望指出，有评论立即会回。mapreduce基本概念写过一些mapreduce程序之后，觉得mapreduce程序分为两部分map阶段，输入时的<key,value>对,key一般为文件的offset,value一般为一行的字符串经过自己编写的map...

Linux间实现ssh免密登入 在搭建hadoop环境时，要实现机器间的免登入，我通过网上查资料，差不多熟悉了实现的方法，所以整理一下, 避免自己忘记，也给别人一个参考！三台机器的属性：name:master ip:192.168.234.12 operatesystem:centos 6.3 主节点name:slave1 ip:192.1...

Virtual Box配置永久ip 在搭建hadoop环境时，一般是在虚拟机上搭建的。hadooop环境需要固定的ip 所以，每次重启就变ip的桥接网络模式肯定不行。这篇博客介绍了virtual box软件 下，配置永久ip的方法。NAT网络模式可以访问外网，但是不能访问宿主机里面的 其他虚拟机，所以要添加一个host-only的网络模式的网卡新建一个...

HBase 0.90.5安装三台主机配置（hadoop0.20.2环境已配置） HOST IP SYSTEM TYPE First 192.168.118.3 centos6.3 master Second 192.168.118.4 centos6.3 slave Third 192.168.118.5 c...

linux配置java环境下载jdkjdk1.8注意要同意license配置jdk解压jdk包 tar -zxvf /usr/java/jdk1.8.0_131 配置环境变量在/etc/profile加入以下三句export JAVA_HOME=/usr/share/jdk1.8.0_131 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH

​ 自己总结的配置虚拟机中的linux永久ip的方法，机器重启后，不会改变, 适用于VM WorkStation！​ 第一步：首先设置好虚拟机在虚拟机的设置里面，将网络适配器设置为NAT模式在“编辑”选项里面选择“虚拟网络编辑器”，打开界面，你可以看到有一个 名字为VMnat8的网卡，里面有个ip,比如我的是192.168.224.0，记住这个ip接下来要用第二步：...

Hadoop0.20.2完全分布式安装和配置三台linux虚拟机，搭建分布式环境，至少要三台虚拟机，才能展现分布式的效果，比如数据分布式存储给三台虚拟机联网并且是动态静态ip，具体操作可以参见 虚拟机配置静态ip三台虚拟机免秘钥登入, 具体操作可以参见 liunx集群实现免秘钥登入三台主机的配置如下 HOST IP SYSTEM TYPE(节点类型)...