![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
再鹤
这个作者很懒,什么都没留下…
展开
-
hdfs 配置和启动
1:解压安装包: tar zxf hadoop-2.7.6.tar.gz 2: 创建软连接 ln -s hadoop-2.7.6 hadoop-current 3: ~/.bashrc用户家目录下的私有环境变量设定,将hadoop命令添加到path,这样可以直接使用hadoop命令 vi ~/.bashrc export PATH=/mnt/h...原创 2018-08-06 00:07:27 · 2948 阅读 · 0 评论 -
hdfs简单测试
1 :hadoop fs -ls / 使用本命令,如未报错则便是安装成功。 2 : hadoop fs -mkdir - p /user/hadoop/input 创建文件存放目录 3 :hadoop fs -put log0605.txt /user/hadoop/input 上传文件 4 :hadoop fs -ls -lht /user/hadoop/input 查看是否上传 ...原创 2018-08-14 11:03:33 · 1951 阅读 · 0 评论 -
yarn配置、启动、测试
1: yarn共用hdfs的core-site.xml和hdfs-site.xml 。 2 : yarn-site.xml 配置: <property> <name>yarn.resourcemanager.webapp.address</name> <value>bigdata0:8088&a原创 2018-08-14 12:04:50 · 3208 阅读 · 0 评论 -
datanode和namenode启动id不一致
执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保...原创 2018-08-15 21:18:12 · 2678 阅读 · 1 评论 -
vmware虚拟机使用静态IP上网的方法
https://www.cnblogs.com/flyfish919/p/7083523.html转载 2018-08-15 21:24:36 · 829 阅读 · 0 评论 -
文件压缩
这里写图片描述原创 2018-08-21 09:47:27 · 98 阅读 · 0 评论 -
flume
1:下载flume: wget http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 2:解压 :tar -zxf 3: 重命名 : mv 4: 启动命令:bin/flume-ng agent –conf conf –conf-file conf/flume-conf.prope...原创 2018-09-03 18:28:14 · 149 阅读 · 0 评论