hadoop
文章平均质量分 77
_Zqqq
这个作者很懒,什么都没留下…
展开
-
Hadoop常用命令汇总
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。 执行sh bin/stop-all.sh1、查看指定目录下内容Hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打转载 2016-12-12 14:41:29 · 299 阅读 · 0 评论 -
hadoop中datanode无法启动
在配置过程中,从原来的一个主节点,一个从节点的hadoop集群,增加了一个从节点。但是在启动过程中总是有一个节点的datanode可以启动而另一个节点的无法启动,而且每次在主节点start-all.sh时,从节点的jps都可以看到datanode之后,datanode又瞬间被关闭。网上找了一点资料之后总结如下:首先需要关闭所有节点的防火墙:sudo ufw disable然后,删除原创 2016-12-08 12:46:30 · 1083 阅读 · 0 评论 -
Hive初探
CREATE DATABASE mydb;CREATE DATABASE IF NOT EXIST mydb;SHOW DATABASES;SHOW DATABASES LIKE 'm.*';CREATE DATABASE mydb LOCATION 'my/directory';CREATE DATABASE mydb COMMENT 'hello';DESCRIBE DATA原创 2016-11-20 14:33:02 · 319 阅读 · 0 评论 -
pig初探
安装了三个节点的hadoop之后又安装了pig,安装教程随便百度一下就可以,加一下环境变量就可以直接pig了,这里注意需要在配置中中加上HADOOP_HOME。原因是:pig在mapreduce模式中,Pig将查询转换为MapReduce作业提交给Hadoop,Pig会用到HADOOP_HOME环境变量。如果该变量没有设置,Pig也可以利用自带的Hadoop库,但是这样就无法保证其自带肯定库和原创 2016-12-12 14:09:43 · 390 阅读 · 0 评论 -
sqoop从mysql导入数据到hive中
首先安装sqoop(zookeeper等已经成功启动),配置好;1.下载安装包及解压tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tarmv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar sqoop 2.配置环境变量和配置文件cd %SQOOP_HOME%cp conf/sqoop原创 2016-12-28 13:20:25 · 417 阅读 · 0 评论