![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 52
9随遇而安
这个作者很懒,什么都没留下…
展开
-
spark调优
待补充原创 2021-10-25 21:55:09 · 577 阅读 · 0 评论 -
界面化执行spark sql
demo:https://github.com/zheng594/bigdata原创 2020-08-22 20:48:22 · 529 阅读 · 0 评论 -
spark-sql异常整理
执行 sparkSession.sql("select * from test").show(1)时报以下错误第一反应是包冲突,但是在idea里找了下,发现janino包只有一个后面搜了下,是版本兼容问题,到https://mvnrepository.com/artifact/org.codehaus.janino/janino搜了一圈,换了最新版本还是不行,有点懵逼不知道到底该用哪个版本,后面忽然想到/spark-3.0.0/jars目录下有这些包。改成如下,问题完美解决...原创 2020-08-18 22:22:08 · 356 阅读 · 0 评论 -
部署启动spark sql、thrift server
提前装好hadoop,hive,spark on yarn参考https://blog.csdn.net/zheng911209/article/details/105498505复制这几个文件到spark的conf目录cp /hadoop/hive-3.1.2/conf/hive-site.xml /spark-3.0.0/confcp /hadoop-3.2.1/etc/hadoop/core-site.xml /spark-3.0.0/confcp /hadoop-3.2.1/.原创 2020-08-13 22:12:15 · 1342 阅读 · 0 评论 -
启动spark thrif server
cp /hive-3.1.2/conf/hive-site.xml /spark-3.0.0/confcp /hadoop-3.2.1/etc/hadoop/hdfs-site.xml /spark-3.0.0/confcp /hadoop-3.2.1/etc/hadoop/core-site.xml /spark-3.0.0/conf-- 复制hadoop-yarn-server-re...原创 2020-05-06 21:35:56 · 221 阅读 · 0 评论 -
Spark Sql(on yarn,local,standalone)
执行如下代码报错import org.apache.spark.sql.SparkSession/** * Created by zheng on 2020/4/14. */object SparkSqlTest { def main(args: Array[String]): Unit = { val spark = SparkSession ...原创 2020-04-14 21:45:44 · 955 阅读 · 0 评论 -
大数据-部署、代码、设计
一、环境安装1、安装hadoop3.2.1(mac伪分布式)2、安装hive3.1.23、安装spark3.0.0二、代码连接1、java代码操作hdfs文件2、jdbc连接hive(hiveserver2)3、SparkLauncher提交jar任务到spark-yarn三、遇到的一些问题1、启动hiveserver2连接不上jdbc:hive2:...原创 2020-04-13 21:49:57 · 1083 阅读 · 1 评论 -
SparkLauncher提交jar任务到spark-yarn
import org.apache.spark.launcher.SparkLauncher;import java.io.IOException;/** * Created by zheng on 2020-04-07. */public class SparkClient { public static void main(String[] args) throws I...原创 2020-04-13 21:47:16 · 1165 阅读 · 0 评论 -
启动spark-shell遇到的一些问题
执行:spark-shell1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt原因是没有配置之前在/etc/profile下配置了hadoop的环境变量,但是没有配置HADOOP_CONF_DIR解决办法:vim /U...原创 2020-04-12 21:11:54 · 5317 阅读 · 1 评论 -
安装spark3.0.0
在这之前已经在本地安装了hadoop和hive,参考安装hive3.1.2,安装hadoop3.2.11、下载#下载$ wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop3.2.tgz#解压,路径为/Users/zheng/spark/spa...原创 2020-04-10 21:13:53 · 8372 阅读 · 2 评论 -
spark sql查询hive表实现脱敏
关于hive表查询脱敏,原理是select的时候在后台对sql进行处理,对每个要查询的字段都加一个自定义的mask脱敏函数。一开始的实现思路是类似 select col1,col2,col3 from mask_table,后台处理后sql改造成select m.col1,m.col2,m.col3 from (select mask(col1),mask(col2),mask(col3) fr...原创 2020-01-14 18:24:51 · 2072 阅读 · 0 评论