zhangjunli的博客

直接上干货 一、vim /etc/profile export JAVA_HOME=/usr/local/java/jdk1.8.0_271 export HADOOP_HOME=/usr/local/hadoop-3.3.0 export HBASE_HOME=/usr/local/hbase-2.3.3 export HIVE_HOME=/usr/local/hive-3.1.2 export SQOOP_HOME=/usr/local/sqoop-1.4.7 export SQOOP_SERVE

报错如下： 20/12/15 16:23:44 INFO EsRDDWriter: Writing to [spark/docs] 20/12/15 16:24:05 INFO HttpMethodDirector: I/O exception (java.net.ConnectException) caught when processing request: Connection timed out: connect 20/12/15 16:24:05 INFO HttpMethodDirect.

启动spark后，运行bin/spark-shell会出现一个警告 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable >>提君博客原创 http://www.cnblogs.com/tijun/ << 虽然不影响运行，但是看着不舒服。下面我整理的解决方法。 ...

在classpath下修改hive-site.xml <configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> ...

现象 Java端报错： 19/11/05 15:06:05 INFO SparkEnv: Registering OutputCommitCoordinator 19/11/05 15:06:06 INFO Utils: Successfully started service 'SparkUI' on port 4040. 19/11/05 15:06:06 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://DD-HP5500:4

方法1 把自己的电脑作为Driver端，直接把jar包提交到集群，此时Spark的Master与Worker会一直和本机的Driver端保持连接，调试比较方便。 import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().se...

Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看） 问题描述 上传文件的代码： package com.cys.mapreduce; import java.io.IOException; import java.util.StringTokenizer;

-------------------- 说明 -------------------- 1）Java配置完成，版本在1.8以上； 因为Scala是基于Java开发的，编译之后生成的class文件也可以远行在JVM上，并被Java调用。 2）IntelliJ IDEA已安装完成（我的版本是:2017.2.2） 3）开发环境：MacOS -------------------- 安装、配置Scala -------------------- 1. 安装Scala SDK 先到htt.

本地调试远端集群运行的spark项目，当spark项目在集群上报错，但是本地又查不出问题时，最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又不能像本地一样的调试。那么就试试这个调试方法吧。 远程调试spark其实就四步： * 第一步jar包拷贝到集群master节点。 * 第二步在 idea 中配置远程机器的IP 和调试端口号。 * 第三步：启动远端的spark项目。 * 第四步...

windows下使用intellij 开发 spark mllib 程序 发现如下错误。 var spark=SparkSession.builder().master("local").appName("test").getOrCreate() 运行时报错： 6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\de...

Spark提供了三种主要的与数据相关的API：RDD、DataFrame、Dataset RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) image RDD RDD是Spark提供的最主要的一个抽象概念（Resilient Distributed Dataset），它是一个element的collec...

windows下使用intellij 开发 spark mllib 程序 发现如下错误。 var spark=SparkSession.builder().master("local").appName("test").getOrCreate() 运行时报错： 6/08/11 15:39:20 INFO SharedState: Warehouse path is 'file:D:\d...

一、需求分析 将CSV文件转为DataFrame，其中CSV包括无头文件和有文件。 二、数据展示 无头文件的CSV 1,张飞,21,北京,80 2,关羽,23,北京,82 3,赵云,20,上海,88 4,刘备,26,上海,83 5,曹操,30,深圳,90.8 有头文件的CSV id,name,age,city,score 1,张飞,21,北京,80 2,关羽,23,北京,82 3...

一、问题分析 注：此处的普通类指的是scala中定义的非case class的类框架在底层将其视作java定义的标准bean类型来处理而scala中定义的普通bean类，不具备字段的java标准getters和setters，因而会处理失败，可以通过【@BeanProperty】来解决 二、@BeanProperty分析 package scala.beans /** Wh...

一、数据源 CREATE TABLE student( id int not null primary key, name varchar(20), age int(20), city varchar(20), score double(20,2) )ENGINE=InnoDB DEFAULT CHARSET=utf8; insert into student(id,...

SparkSQL通过Hive创建DataFrame问题分析 问题一 Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'stu' not found in database 'default'; 分析：确实没有临时表View，并且没有开启Hive支持 解决：开启Hive...

...