单机版hadoop安装

Hadoop单机版安装注意事项

 

1.安装VMWare

2.在VMWare上创建虚拟机（选择后面再安装操作系统）

3.在虚拟机上安装centos（详情百度）

4.在centos上安装jdk(配置完后一定要reboot)

 先卸载系统自带的openjdk

以root账号登陆：rpm -qa|grep jdk或者rpm -qa|grep java

显示如下信息：

java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

卸载：

rpm-e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

还有一些其他的命令

rpm-qa | grep gcj 或rpm-qa | grep jdk

如果出现找不到openjdksource的话，那么还可以这样卸载

yum-y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

<1>#rpm -qa|grep jdk ← 查看jdk的信息或直接执行 
或 rpm-q jdk 或 java-version 这时就没有信息了

安装：先利用VMWare tools将文件共享到虚拟机上，在usr下创建java文件夹，将jdk安装文件拷贝至此。

进入java目录  cd /usr/java 
①jdk-1_5_0_14-linux-i586-rpm.bin文件安装 
# chmod 777 jdk-1_5_0_14-linux-i586-rpm.bin ← 修改为可执行 
# ./jdk-1_5_0_14-linux-i586-rpm.bin ← 选择yes同意上面的协议 
# rpm -ivh jdk-1_5_0_14-linux-i586.rpm ← 选择yes直到安装完毕 
②jdk-1_5_0_14-linux-i586.bin文件安装 
# chmod a+x jdk-1_5_0_14-linux-i586.bin ← 使当前用户拥有执行权限 
# ./jdk-1_5_0_14-linux-i586.bin ← 选择yes直到安装完毕 
第三步：配置环境变量 
<1># vi /etc/profile 
<2>在最后加入以下几行： 
export JAVA_HOME=/usr/java/jdk1.6.0_10 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar

  :$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin 
<3># reboot ← 重启机器配置生效

5.安装ssh

1)cd/root

2)ssh-keygen –t  rsa(回车后，遇到选择选yes)

3)cd.ssh

4)ls

5)cp id_sa.pub authorized_keys

 

6) service sshd start  ssh启动

7)ssh localhost  用户认证 //过程中出现yes/no，输入yes,回车

8）ps -e | grep ssh查看ssh服务有没有运行,如果有,可以看到类似以下内容:

        2254 ?             00:00:00 sshd

9）如果没有运行,可以通过以下命令运行之:

root]#/etc/rc.d/init.d/sshd start

root]#service sshd start

再看下这个ssh服务的网络连接情况: root]#netstat-ntlp 

如果看到如下内容:

tcp        0     0 0.0.0.0:22             0.0.0.0:*               LISTEN     22109/sshd

这说明sshd已经能够正常工作了,如果利用客户端(SecurCRT,putty等)连接不上,尝试关闭防火墙试试: service iptables stop

 

6.安装hadoop

1）从共享文件中拷贝至虚拟机的某个目录下

  解压 tar xzvfhadoop******

2)主要是配置几个文件，这个可参考网上

3)到hadoop的bin目录下，设置安全模式./hadoop dfsadmin-safemode leave

4)格式化文件系统到hadoop的bin目录下./hadoopnamenode –format

5)启动，start-all.sh 关闭stop-all.sh

6) jps 查看启动状态，如下

4302 Jps

3949 DataNode

4254 TaskTracker

4053 SecondaryNameNode

3859 NameNode

4125 JobTracker

7）测试(注意，每次重新启动客户端时，要先启动ssh，然后启动hadoop)

http://localhost:50070  --hadoop的管理接口，查看集群状态

http://localhost:50030  查看job状态

 

计数例子

/root/hadoop-0.20.2/bin/hadoopjar /root/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount input output

 

find / -name 文件名//通过文件名查找

 

hadoop hdfs常用命令

 hadoop常用命令： 

1）hadoop fs 查看Hadoop HDFS支持的所有命令 

 2)hadoop fs –ls 列出目录及文件信息 

 3)hadoop fs –lsr 循环列出目录、子目录及文件信息 

 4)hadoopfs–put 源目录/文件A  hdfs上的目的目录/文件A

将本地文件系统的文件A复制到HDFS文件系统的目录下 

 5)hadoop fs –get  /user/sunlightcs/test.txt 本地目录

   将HDFS中的test.txt复制到本地文件系统中，与-put命令相反 

 6)hadoop fs –cat /user/sunlightcs/test.txt 查看HDFS文件系统里test.txt的内容 

 7)hadoop fs –tail /user/sunlightcs/test.txt 查看最后1KB的内容 

8) hadoop fs –rm /user/sunlightcs/test.txt 

从HDFS文件系统删除test.txt文件，rm命令也可以删除空目录 

 9)hadoop fs –rmr /user/sunlightcs 删除/user/sunlightcs目录以及所有子目录 

 10)hadoop fs –copyFromLocal test.txt /user/sunlightcs/test.txt 

从本地文件系统复制文件到HDFS文件系统，等同于put命令 

 11)hadoop fs –copyToLocal /user/sunlightcs/test.txt test.txt 

从HDFS文件系统复制文件到本地文件系统，等同于get命令 

 12)hadoop fs –chgrp [-R] /user/sunlightcs 

修改HDFS系统中/user/sunlightcs目录所属群组，选项-R递归执行，跟linux命令一样 

 13)hadoop fs –chown [-R] /user/sunlightcs 

修改HDFS系统中/user/sunlightcs目录拥有者，选项-R递归执行 

 14)hadoop fs –chmod [-R] MODE /user/sunlightcs 

修改HDFS系统中/user/sunlightcs目录权限，MODE可以为相应权限的3位数或+/-{rwx}，选项-R递归执行 

 

15)hadoop fs –count [-q] PATH 

查看PATH目录下，子目录数、文件数、文件大小、文件名/目录名 

 16)hadoop fs –cp SRC [SRC…] DST     

将文件从SRC复制到DST，如果指定了多个SRC，则DST必须为一个目录 

 

17)hadoop fs –du PATH 显示该目录中每个文件或目录的大小 

 18)hadoop fs –dus PATH 类似于du，PATH为目录时，会显示该目录的总大小 

 19)hadoop fs –expunge 

清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除 

 20)hadoop fs –getmerge SRC [SRC…] LOCALDST [addnl]    

获取由SRC指定的所有文件，将它们合并为单个文件，并写入本地文件系统中的LOCALDST，选项addnl将在每个文件的末尾处加上一个换行符 

 21)hadoop fs –touchz PATH  创建长度为0的空文件 

 22)hadoop fs –test–[ezd] PATH    

对PATH进行如下类型的检查： 

-e PATH是否存在，如果PATH存在，返回0，否则返回1 

-z 文件是否为空，如果长度为0，返回0，否则返回1 

-d 是否为目录，如果PATH为目录，返回0，否则返回1 

 23)hadoop fs –text PATH 

显示文件的内容，当文件为文本文件时，等同于cat，文件为压缩格式（gzip以及hadoop的二进制序列文件格式）时，会先解压缩 

 24)hadoop fs –help ls 查看某个[ls]命令的帮助文档

ContOS 命令汇总

我的centso的root用户的密码zhoulifeng

登录centso的账号 zhoulifeng /zhoulifeng

安装好VMWare tools之后，通过虚拟机的setting的option共享文件。然后到centso的图形界面上，找到计算机，打开进入文件系统，找到mnt文件夹，共享文件在mnt的hdfs文件夹下。  ！！！找了好久有木有

netstat -nr //centso下查看虚拟机IP

ip link set eth0 up #eth0网卡启动

/etc/init.d/network restart 重新启动网络配置

ifconfig eth0 192.168.0.20 netmask255.255.255.0  修改ip地址

route add default gw 192.168.0.254  修改default gateway

 

ContOS 命令汇总

# hostname               # 查看计算机名

# fdisk -l               # 查看所有分区

# ps -ef                 # 查看所有进程

# top                    # 实时显示进程状态

# w                      # 查看活动用户

# id <用户名>            # 查看指定用户信息

# last                   # 查看用户登录日志

# rpm -qa                # 查看所有安装的软件包 gep|java。。。

# clear                  # 清屏

# date                   # 显示当前时间

# yum install yum yum-fastestmirror

注：安装fastestmirror插件，自动找到最快源，并升级yum

# yum upgrade 注：升级操作系统

#shutdown -r now 备注：立即重启计算机

#netstat-ntpl 查看下端口

#service 服务名start|restart|stop

备注：启动|重启|关闭服务，如network(网络服务),httpd(apache)

#ps -ef | grep 进程名(xxx) 备注：查找所有名称为xxx的进程

kill -9 #pid(进程号) 备注：杀死pid进程

df -h 查看磁盘使用情况

# hwclock --set --date="07/07/0610:19" （月/日/年时:分:秒）或clock --set --date="07/07/06 10:19" （月/日/年 时:分:秒） 设置硬件时间

# hwclock --show  或者# clock --show  查看硬件时间

# date --set “07/07/06 10:19"（月/日/年时:分:秒）

date   查看系统时间

rm -rf /var/log/httpd/access 将会删除/var/log/httpd/access目录以及其下所有文件、文件夹

rm -f /var/log/httpd/access.log 将会强制删除/var/log/httpd/access.log这个文件

#mv -f /tmp/test/* /tmp/ test目录下所有的东东（目录和文件，目录下还有目录）都剪切到/tmp下

mv CentOS-5.3-i386-bin-DVD.iso /data0/software 移动CentOS-5.3-i386-bin-DVD.iso到/data0/software目录下

shutdown -r now 重启

shutdown -h now 关机

login 的作用是登录系统，它的使用权限是所有用户。

 login [name][－p ][－h 主机名称] 

  主要参数   －p:通知login保持现在的环境参数。     －h:用来向远程登录的之间传输用户名。

logout logout命令和exit命令一样,都是注销用户.

reboot命令的作用是重新启动计算机，它的使用权限是系统管理者。

 reboot [－n] [－w] [－d] [－f] [－i]

  主要参数    －n: 在重开机前不做将记忆体资料写回硬盘的动作。    －w: 并不会真的重开机，只是把记录写到/var/log/wtmp文件里。

  －d: 不把记录写到/var/log/wtmp文件里（－n这个参数包含了－d）。    －i: 在重开机之前先把所有与网络相关的装置停止。

shutdown 

    可以安全地关闭或重启Linux系统，它在系统关闭之前给系统上的所有登录用户提示一条警告信息。该命令还允许用户指定一个时间参数，

    可以是一个精确的时间，也可以是从现在开始的一个时间段。精确时间的格式是hh:mm，表示小时和分钟；时间段由“+”和分钟数表示。

    系统执行该命令后，会自动进行数据同步的工作。

格式

   shutdown [选项] [时间] [警告信息]：

  - k并不真正关机，而只是发出警告信息给所有用户。

  - r关机后立即重新启动。

  - h关机后不重新启动。

  - f快速关机，重启动时跳过fsck。

  - n快速关机，不经过init程序。

  - c取消一个已经运行的shutdown。

halt功能说明：关闭系统。

  语法：halt[-dfinpw]

  补充说明：halt会先检测系统的runlevel。若runlevel为0或6，则关闭系统，否则即调用shutdown来关闭系统。

  参数：

 -d  不要在wtmp中记录。

 -f  不论目前的runlevel为何，不调用shutdown即强制关闭系统。

 -i  在halt之前，关闭全部的网络界面。

 -n  halt前，不用先执行sync。

 -p  halt之后，执行poweroff。

 -w  仅在wtmp中记录，而不实际结束系统。

 

VI编辑器Linux如何退出VI编辑器

:q退出  

:q!强行退出（不存盘）  

:qw or ZZ存盘退出  

用ESC键只能切换到命令状态

 

更加详细内容：

 

在 linux 底下最常使用的文书编辑器为 vi ，请问如何进入编辑模式？

在一般模式底下输入： i, I, a, A 为在本行当中输入新字符；（出现–Insert- ）

在一般模式当中输入： o, O 为在一个新的一行输入新字符；

在一般模式当中输入： r, R 为取代字符！（左下角出现–Replace-）

如何由编辑模式跳回一般模式？

[Esc]

若上下左右键无法使用时，请问如何在一般模式移动光标？

h, j, k, l

若 [pagedown] [ pageup] 在一般模式无法使用时，如何往前或往后翻一页？

[Ctrl] + [f]

[Ctrl] + [b]

如何到本档案的最后一行、第一行；本行的第一个字符、最后一个字符？

G, 1G, 0, $

如何删除一行、n行；如何删除一个字符？

dd, ndd, x 或 X （dG 及 d1G 分别表示删除到页首及页尾）

如何复制一行、n行并加以贴上？

yy, nyy, p 或 P

如何搜寻 string 这个字符串？

?string (往前搜寻)

/string (往后搜寻)

如何取代 word1 成为 word2，而若需要使用者确认机制，又该如何？

:1,$s/word1/word2/g 或

:1,$s/word1/word2/gc （需要使用者确认）

如何读取一个档案 filename 进来目前这个档案？

:r filename

如何另存新档成为 newfilename？

:w newfilename

如何存盘、离开、存盘后离开、强制存盘后离开？

:w； :q： :wq； :wq!

如何设定与取消行号？

:set nu

:set nonu