hadoop安装

最新推荐文章于 2024-04-25 13:57:42 发布

贤云（xianyun）

最新推荐文章于 2024-04-25 13:57:42 发布

阅读量98

点赞数

分类专栏： hadoop 文章标签：大数据运维 java

本文链接：https://blog.csdn.net/zhengun/article/details/84544805

版权

hadoop 专栏收录该内容

18 篇文章 0 订阅

订阅专栏

mac中如何设置java 环境变量？
/Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/Contents/Home/
首先 cd ／Library／java／JavaVirtualMachines
mac下java默认安装到Library／java／JavaVirtualMachines，进去后查看安装的java的版本，修改下版本即可
参考文献：http://www.coderli.com/install-hadoop-on-mac
建立ssh无密码登录环境
做这一步之前首先建议所有的机子全部转换为hadoop用户，以防出现权限问题的干扰。
ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。
创建ssh-key，这里我们采用rsa方式；
ssh-keygen -t rsa -P ""
（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）
进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的；
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

可以使用ssh 主机名测试一下是否成功。
找到core-site.xml，配置信息如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
</configuration>

修改hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>
<property>
        <name>fs.default.name</name>
        <value>localhost:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

温馨提示：需要在本机器上创建/usr/local/hadoop/tmp文件夹

修改mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>

</configuration>

启动hadoop
在主机上的hadoop安装目录下的bin目录下，执行格式化
./hadoop namenode -format
启动所有结点：
./start-all.sh
在操作的过程中遇到了DataNode不能启动的问题，经过查看node的hadoop的日志，发现提示错误信息：
org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
经过查找是因为权限的问题，于是
sudo chmod 755 “你配置的data目录

参考文献：http://cache.baiducontent.com/c?m=9d78d513d99912f905b0d6690d67d471182497634bc0d1657fc39339c5371d12506692ac56280777d9d20d1316d93e48adb0687d6d4566f58cc9fb57c0fed76d388850652c4cd81c47920eafbc17789e3dd103a2f04efaf8ed3390a8d5d5da5e44ca245f3cdfae&p=8d66da5686cc41ac52bcc7710f5583&newp=aa7ec64ad4970af908e2947d075797231610db2151d2da152b9fc5&user=baidu&fm=sc&query=hadoop+1%2E2+data+%C8%A8%CF%DE&qid=&p1=8