解决spark-shell启动，hdfs权限问题

环境

cdh6.3.2

问题

在启动spark-shell的时候，出现 /user/spark/driverLogs does not exist. Please create this dir in order to persist driver logs错误


虽然后面正常启动了，但是心中还是觉得创建一下这个日志路径比较好

尝试创建

hadoop dfs -mkdir -p /user/spark/driverLogs

可以看出我们权限被拒绝了，用户hdfs，用户组supergroup
，但是我们linux中默认是没有的supergroup，因此我们需要先添加用户组supergroup，然后将我们的用户添加到此用户组就能正常创建文件夹。同时也方便我们以后访问hdfs

groupadd supergroup
usermod -a -G supergroup gugu

创建文件夹

hadoop dfs -mkdir -p /user/spark/driverLogs

spark-shell访问

spark-shell