大数据集群启动命令

hadoop:

在master节点，即hadoop102上：

sbin/start-dfs.sh

在resource manager上，即hadoop103上：

sbin/start-yarn.sh

http://hadoop102:50070/

yarn:http://hadoop103:8088/

zookeeper：

分别启动 Zookeeper 在各个机器上：

启动：

bin/zkServer.sh start

停止：

bin/zkServer.sh stop

查看状态：

 bin/zkServer.sh status 

kafka:

kafka启动之前需要启动zookeeper。

启动，在每个节点上：

bin/kafka-server-start.sh config/server.properties & 

依次关闭：

bin/kafka-server-stop.sh stop

HBase：

hbase启动需要依赖Zookeeper 和Hadoop 正常部署。

在hadoop102上：

启动：

bin/start-hbase.sh

结束：

 bin/stop-hbase.sh 

shell进入：

bin/hbase shell

http://hadoop102:16010/

 

Hive:

hive启动之前需要启动hadoop集群。

启动：

hive

 

flink:

启动：

bin/start-cluster.sh

关闭：

bin/stop-cluster.sh

http://hadoop102:8081/

 

flume启动：

bin/flume-ng agent --name a1 --conf-file conf/file-flume-kafka.conf & 

或者用脚本：

f1.sh start
f1.sh stop

Spark

standalone:

在hadoop102上启动全部节点

sbin/start-all.sh

在hadoop103上单独启动master节点

sbin/start-master.sh

spark HA集群访问

/opt/module/spark/bin/spark-shell \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2g \
--total-executor-cores 2

启动历史服务，在hadoop102上：

sbin/start-history-server.sh

查看历史服务

hadoop102:18080

spark访问网址：http://hadoop102:8081/

 

presto

在 hadoop102 的/opt/module/hive 目录下，启动 HiveMetastore

前台启动：

hive --service metastore

后台启动：

nohup bin/hive --service metastore >/dev/null 2>&1 & 

分别在 hadoop102、hadoop103、hadoop104 上启动 PrestoServer 

前台启动 Presto，控制台显示日志 

bin/launcher run 

后台启动 Presto 

 bin/launcher start 

日志查看路径： /opt/module/presto/data/var/log

客户端：

启动

./prestocli --server hadoop102:8881 --catalog hive --schema default

Presto 可视化 Client：

在/opt/module/yanagishima-18.0 路径下启动 yanagishima

nohup bin/yanagishima-start.sh >y.log 2>&1 & 

启动 web 页面 http://hadoop102:7080/ 可以看到界面