![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
zhangjunli
这个作者很懒,什么都没留下…
展开
-
hadoop-3.x、zookeeper-3.x、hbase-2.x、hive-3.x、sqoop1.x、spark3.x
直接上干货一、vim /etc/profileexport JAVA_HOME=/usr/local/java/jdk1.8.0_271export HADOOP_HOME=/usr/local/hadoop-3.3.0export HBASE_HOME=/usr/local/hbase-2.3.3export HIVE_HOME=/usr/local/hive-3.1.2export SQOOP_HOME=/usr/local/sqoop-1.4.7export SQOOP_SERVE原创 2020-12-17 10:05:03 · 550 阅读 · 0 评论 -
Spark应用程序无法写入在docker中运行的elasticsearch解决办法
报错如下:20/12/15 16:23:44 INFO EsRDDWriter: Writing to [spark/docs]20/12/15 16:24:05 INFO HttpMethodDirector: I/O exception (java.net.ConnectException) caught when processing request: Connection timed out: connect20/12/15 16:24:05 INFO HttpMethodDirect.原创 2020-12-15 16:27:16 · 236 阅读 · 2 评论 -
Unable to load native-hadoop library for your platform解决
启动spark后,运行bin/spark-shell会出现一个警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable>>提君博客原创 http://www.cnblogs.com/tijun/ <<虽然不影响运行,但是看着不舒服。下面我整理的解决方法。...原创 2020-12-14 12:29:27 · 1003 阅读 · 0 评论 -
Spark默认Derby数据库改为Mysql配置
在classpath下修改hive-site.xml<configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> ...原创 2020-07-10 15:20:48 · 630 阅读 · 0 评论 -
NullPointerException spark.storage.BlockManagerMaster.registerBlockManager
现象Java端报错:19/11/05 15:06:05 INFO SparkEnv: Registering OutputCommitCoordinator19/11/05 15:06:06 INFO Utils: Successfully started service 'SparkUI' on port 4040.19/11/05 15:06:06 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://DD-HP5500:4原创 2020-06-03 11:00:37 · 1097 阅读 · 0 评论 -
Spark2.x在Idea中运行在远程集群中并进行调试
方法1把自己的电脑作为Driver端,直接把jar包提交到集群,此时Spark的Master与Worker会一直和本机的Driver端保持连接,调试比较方便。import org.apache.spark.SparkContextimport org.apache.spark.SparkConfobject WordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().se...原创 2020-05-24 21:48:36 · 1163 阅读 · 1 评论 -
Permission denied: user=administrator, access=WRITE 问题解决
Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。(如果想看最终解决问题的方法拉到最后,如果想看我的问题解决思路请从上向下看)问题描述上传文件的代码:package com.cys.mapreduce;import java.io.IOException;import java.util.StringTokenizer;原创 2020-05-24 21:36:37 · 6090 阅读 · 4 评论 -
JAVA调用Scala
--------------------说明--------------------1)Java配置完成,版本在1.8以上;因为Scala是基于Java开发的,编译之后生成的class文件也可以远行在JVM上,并被Java调用。2)IntelliJ IDEA已安装完成(我的版本是:2017.2.2)3)开发环境:MacOS--------------------安装、配置Scala--------------------1. 安装Scala SDK先到htt.原创 2020-05-24 16:46:09 · 5067 阅读 · 0 评论 -
idea远程调试 spark
本地调试远端集群运行的spark项目,当spark项目在集群上报错,但是本地又查不出问题时,最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又不能像本地一样的调试。那么就试试这个调试方法吧。远程调试spark其实就四步:* 第一步jar包拷贝到集群master节点。* 第二步在 idea 中配置远程机器的IP 和调试端口号。* 第三步:启动远端的spark项目。* 第四步...原创 2020-04-03 00:13:12 · 916 阅读 · 0 评论 -
完美解决 Spark:java.net.URISyntaxException: Relative path in absolute URI: file:D:/XXX/
windows下使用intellij 开发 spark mllib 程序 发现如下错误。var spark=SparkSession.builder().master("local").appName("test").getOrCreate()运行时报错:6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\de...原创 2020-03-30 22:22:56 · 4130 阅读 · 0 评论 -
Spark2.x RDD, Dataframe Dataset API操作
Spark提供了三种主要的与数据相关的API:RDD、DataFrame、DatasetRDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)imageRDDRDD是Spark提供的最主要的一个抽象概念(Resilient Distributed Dataset),它是一个element的collec...原创 2020-02-17 20:07:37 · 691 阅读 · 0 评论 -
Spark2.X java.net.URISyntaxException完美解决办法
windows下使用intellij 开发 spark mllib 程序 发现如下错误。var spark=SparkSession.builder().master("local").appName("test").getOrCreate()运行时报错:6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\d...原创 2020-02-17 20:07:47 · 560 阅读 · 0 评论 -
Spark2.X CSV文件 创建DataFrame
一、需求分析将CSV文件转为DataFrame,其中CSV包括无头文件和有文件。二、数据展示无头文件的CSV1,张飞,21,北京,802,关羽,23,北京,823,赵云,20,上海,884,刘备,26,上海,835,曹操,30,深圳,90.8有头文件的CSVid,name,age,city,score1,张飞,21,北京,802,关羽,23,北京,823...原创 2020-02-16 19:00:25 · 791 阅读 · 0 评论 -
Spark2.x Scala Class创建DataFrame
一、问题分析注:此处的普通类指的是scala中定义的非case class的类框架在底层将其视作java定义的标准bean类型来处理而scala中定义的普通bean类,不具备字段的java标准getters和setters,因而会处理失败,可以通过【@BeanProperty】来解决二、@BeanProperty分析package scala.beans/** Wh...原创 2020-02-16 18:55:34 · 718 阅读 · 0 评论 -
SparkSQL通过Mysql创建DataFrame
一、数据源CREATE TABLE student( id int not null primary key, name varchar(20), age int(20), city varchar(20), score double(20,2))ENGINE=InnoDB DEFAULT CHARSET=utf8;insert into student(id,...原创 2020-02-16 18:51:46 · 210 阅读 · 0 评论 -
SparkSQL通过Hive创建DataFrame
SparkSQL通过Hive创建DataFrame问题分析问题一Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'stu' not found in database 'default';分析:确实没有临时表View,并且没有开启Hive支持解决:开启Hive...原创 2020-02-16 18:47:58 · 768 阅读 · 0 评论 -
Scala和Sbt配置
...原创 2020-02-16 11:55:02 · 2402 阅读 · 0 评论