hadoop
文章平均质量分 72
9随遇而安
这个作者很懒,什么都没留下…
展开
-
大数据平台数据脱敏方案
spark配置参数优先级:代码中的SparkConf>Spark-submit或Spark-Shell>配置文件(conf/spark-default.conf)中的参数原创 2019-07-30 21:37:31 · 1245 阅读 · 1 评论 -
问题综合大全
Hive1、java.lang.RuntimeException: Error caching map.xmlCaused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/zheng/953248bb-587a-4faa-b14a-fa26e6e8b05c/hive_2021-07-16_15-22-57_353_2201885990890795097-1/-mr-10005/c8ef7.原创 2020-09-15 22:25:20 · 792 阅读 · 0 评论 -
hadoop配置文件说明
原创 2020-09-07 20:47:52 · 125 阅读 · 0 评论 -
hadoop yarn公平调度配置
目录一、修改配置文件二、重启yarn三、确认是否已经正确配置四、执行报错查看一、修改配置文件修改/hadoop-3.2.1/etc/hadoop/yarn-site.xml<?xml version="1.0"?><configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>ma原创 2020-08-31 21:14:05 · 1079 阅读 · 1 评论 -
寻找hadoop、hive、spark对应版本
一开始装了hadoop3.2.1+hive3.1.2+spark3.0.0,整个安装虽然有一些些jar包版本冲突问题但都解决了,直到写spark-sql的时候执行,sparkSession.sql("……")的时候报了一个类找不到问题,一眼看过去就觉得应该又是包冲突了,然后,从pom.xml引入的包版本冲突开始解决,最后演变成,解决A问题,发现了B问题,又遇到D问题……一种坑越挖越大的感觉。 说白了是因为以前都是用公司搭建好的,自己没有完整搭建过,知道要版本兼容,但还是没找对兼容版...原创 2020-08-19 23:37:17 · 13821 阅读 · 2 评论 -
Spark Sql(on yarn,local,standalone)
执行如下代码报错import org.apache.spark.sql.SparkSession/** * Created by zheng on 2020/4/14. */object SparkSqlTest { def main(args: Array[String]): Unit = { val spark = SparkSession ...原创 2020-04-14 21:45:44 · 942 阅读 · 0 评论 -
大数据-部署、代码、设计
一、环境安装1、安装hadoop3.2.1(mac伪分布式)2、安装hive3.1.23、安装spark3.0.0二、代码连接1、java代码操作hdfs文件2、jdbc连接hive(hiveserver2)3、SparkLauncher提交jar任务到spark-yarn三、遇到的一些问题1、启动hiveserver2连接不上jdbc:hive2:...原创 2020-04-13 21:49:57 · 1071 阅读 · 1 评论 -
启动hiveserver2连接不上jdbc:hive2://localhost:10000
启动hiveserver2连接不上localhost:10000进入hive的bin目录$ cd /Users/zheng/hive/hive-3.1.2/bin#启动hivever2$ hiveserver2#显示如下表示已经成功打开2020-04-09 22:34:21: Starting HiveServer2SLF4J: Class path contains mult...原创 2020-04-09 23:09:53 · 13512 阅读 · 1 评论 -
安装hive3.1.2
从官网下载hive包#下载$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz#解压$ tar -zxvf apache-hive-3.1.2-bin.tar.gz$ mv apache-hive-3.1.2-bin/ hive-3.1.2...原创 2020-04-09 16:56:33 · 1689 阅读 · 3 评论 -
安装hadoop-3.2.1(mac伪分布式)
brew install hadoopps:homebrew默认源下载比较慢,网上找了下切到阿里的镜像,速度快很多,以下是网上找的镜像# 切到阿里镜像# 替换brew.git:cd "$(brew --repo)"git remote set-url origin https://mirrors.aliyun.com/homebrew/brew.git# 替换homebrew-cor...原创 2020-04-08 17:26:33 · 1410 阅读 · 1 评论