大数据
文章平均质量分 65
谷新龙001
故不积跬步,无以至千里。不积小流,无以成江海。
展开
-
hdfs一次一直处于安全模式检查与修复
hdfs一次一直处于安全模式检查与修复查找问题思考排查处理进入cm界面发现两个服务出现了异常查找问题二话不说,重启本地的服务哈,如果是线上的请跳过…反馈结果:问题依旧查看相关信息吧我们知道hive依赖hdfs,所以hive的问题有可能是hdfs导致两条信息HDFS Canary这个要读写hdfs验证hdfs的可用性。NameNode 当前处于 safe mode。所以是第二个问题导致的前面的验证不通过。所以我们需要排查一下namenode的sofemode命令行查询一下h原创 2020-12-09 22:50:31 · 1331 阅读 · 0 评论 -
Flink版本WC
Flink版本WCwc是一个非常经典的大数据例子,下面我们运行一下wcflink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.2.100:8020/data/tmp/wc/input/ --output hdfs://192.168.2.100:8020/data/tmp原创 2020-12-07 23:32:42 · 3149 阅读 · 0 评论 -
CDH6.3.1安装FLINK
CDH6.3.1安装FLINK1. 准备2. 将上面文件移动到master对应位置位置3. 重启cdh集群4. 添加Flink服务5. 可能出现的问题默认情况下我们安装好的cdh集群是不包含flink,但是我却又想使用flink集群。下面我就使用cdh6.3.1安装1. 准备下载下面三个文件FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarFLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcelFLINK-1.9.0-csa1.0.0.0-cdh原创 2020-12-07 23:17:59 · 4490 阅读 · 4 评论 -
解决spark-shell启动,hdfs权限问题
解决spark-shell启动,hdfs权限问题环境问题尝试创建创建文件夹环境cdh6.3.2问题在启动spark-shell的时候,出现 /user/spark/driverLogs does not exist. Please create this dir in order to persist driver logs错误虽然后面正常启动了,但是心中还是觉得创建一下这个日志路径比较好尝试创建hadoop dfs -mkdir -p /user/spark/driverLogs可原创 2020-10-26 23:35:34 · 1231 阅读 · 0 评论 -
dbeaver连接hive
dbeaver连接hive首先搭建好hive环境,启动hive的metastore和hiveserver2启动服务本地连接测试服务可用性说明服务可用设置连接驱动,移除到之前默认的(很大可能性下载失败),添加hive-jdbc-1.2.2-standalone.jar和hadoop-common-2.9.0.jar包点击测试连接...原创 2020-08-04 19:05:33 · 1944 阅读 · 0 评论 -
windows下安装hadoop
windows下安装hadoop背景环境搭建安装jdk安装Hadoop安装window下编译必须库文件启动Hadoop集群初始化namenode启动HadoopwebUI验证运行wc来进行测试遇见问题背景原本使用虚拟机搭建集群,后来因为某些原因,不能使用虚拟机。然后想在一台配置还行的云主机上搭建一下。结果遇见了小坑,希望能给小伙伴搭建的时候提供一些想法。环境windows 2019hadoop 2.9.0jdk 1.8搭建安装jdk必须依赖jdk,如果已经安装好以及配置好环境变量请跳过原创 2020-08-02 23:48:22 · 2448 阅读 · 1 评论 -
大数据面试之Spark Streaming
大数据面试之Spark Streaming1. Spark Streaming1.1 Spark Streaming工作原理1.1 Spark Streaming如何读取Kafka中数据?1.2 Spark Streaming编写步骤说明,感谢亮哥长期对我的帮助,此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权,请及时指出,我会立马停止该行为;如有不足之处,还请大佬不吝指教,以期共同进步。1. Spark StreamingSpark Streaming是Spark Core的扩展应用原创 2020-06-14 22:46:34 · 980 阅读 · 0 评论