Hadoop
Hadoop技术学习与记录
南洲.
写以致用,学以致深
展开
-
hadoop常用端口号
hadoop常用端口说明:hadoop2.xHDFS Namenode内部通常端口:8020/9000HDFS Namenode对用户的查询端口:50070Yarn查看任务运行情况的:8088历史服务器:19888hadoop3.xHDFS Namenode内部通常端口:8020/9000/9820HDFS Namenode对用户的査询端口:9870Yarn查看任务运行情况的:8088历史服务器:19888端口名称hadoop2.xhadoop3.xNamenod原创 2021-07-18 20:23:53 · 10078 阅读 · 1 评论 -
Hadoop集群操作相关命令总结
总结hadoop常用命令,供学习使用(持续更新)1、各个模块分开启动停止(配置ssh是前提,常用)(1)整体启动/停止 HDFSstart-dfs.sh/stop-dfs.sh(2)整体启动停止YARNstart-yarn.sh/stop-yarn sh2、各个服务组件逐一启动停止(1)分别启动停止HDFS组件hdfs --daemon start/stop namenode/datanode/secondarynamenode(2)启动停止 YARNyarn --daemon s原创 2021-07-18 18:59:38 · 226 阅读 · 0 评论 -
Hadoop 集群常用脚本
1、实现功能循环复制文件到所有集群节点的相同目录下。2、具体操作(1) 在/home/yasin/bin 目录下创建 xsync 文件[yasin@hadoop102 opt]$ cd /home/atguigu[yasin@hadoop102 ~]$ mkdir bin[yasin@hadoop102 ~]$ cd bin[yasin@hadoop102 bin]$ vim xsync实现脚本:#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then原创 2021-07-18 18:53:01 · 479 阅读 · 0 评论