zp1220的专栏

原创 spark 自定义数据源

1、创建hbase数据源表node1> bin/hbase shellcreate 'spark_hbase_sql','cf'put 'spark_hbase_sql','0001','cf:name','zhangsan'put 'spark_hbase_sql','0001','cf:score','80'put 'spark_hbase_sql','0002','cf:n...

原创 hive 自定义 udf udtf 函数

hive 自定义UDF 函数package com.atguigu.udf;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.apache.hadoop.hive.ql.exec.UDF;/** * @author cherish * @create 2020-0...

原创 spark的map和mapPartitions

1、map是对数据1对1的遍历，传输效率相对比较差，相比起mapPartitions不会出现内存溢出2、mapPartitions 对一个rdd里所有分区遍历 效率优于map算子，减少了发送到执行器执行的交互次数，mapPartitions是批量将分区数据一次发送 但是执行器内存不够的则可能会出现内存溢出(OOM) 假设有N个元素，有M个分区，那么map的函数的将被...

原创 maven 包冲突解决

原创 spark 累加器 ,共享变量

spark中 3大数据结构RDD : (弹性分布,分布式数据集)广播变量 : 分布式的 只读共享变量累加器 : 分布式的只写共享变量 在某些情况下用rdd计算不是很好,所以有了 广播变量和累加器 例: val ints: RDD[Int] = spark.sparkContext.makeRDD(Array(1, 2, 3, 4), 2) ...

原创 Scala中的集合排序

Scala中的集合排序在scala中，排序不再像java中的那么复杂，除了Map之外，其他的集合类型都可以使用自己的排序方法，排序方法主要有三个：1、sorted2、sortWith3、sortBy4、如果是任何类型调用上述三中方法时候都不会对源数据进行修改，而是返回一个新的集合。但是如果是使用的数组，那么可以使用scala.util.Sorting包中的排序方法来对源数据修改，并且不会返回新的数...

原创 flume 1.8 详解

Flume日志采集框架一、准备安装好对应版本的hadoop集群二、主题本堂课主要围绕flume的知识点进行讲解。主要包括以下几个方面flume的核心概念flume的应用场景flume的安装部署flume的企业案例三、目标掌握flume的应用场景掌握flume中常用的source、channel、sink使用掌握flume的企业案例四、知识要点1. Flume...

原创 hbase 安装

#hbase安装1.前期准备hadoop集群（3节点或5节点）(前面有写)zookeeper集群 (前面有写)2.hbase安装步骤1、下载安装包http://archive.apache.org/dist/hbase/1.2.1/hbase-1.2.1-bin.tar.gzhbase-1.2.1-bin.tar.gz2、规划安装目录/opt/bigdata...

原创 zookeeper 高可用 搭建

1 搭建zookeeper​ hadoop做高可用时需要使用zookeeper,所以在此先安装它.1.1 配置zookeeper下载zookeeper-3.4.2.tar1.把zookeeper的压缩安装包解压到/opt/bigdata/目录下 [root@node1 ~]# tar -xzvf zookeeper-3.4.2.tar.gz -C /opt/bigdata/ #输入完命...

原创 hadoop 3节点虚拟机安装

说明:1.教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.1.下载CentOS71.百度搜索centos–>2.点击centos官网连接–>3.点击DVD ISO–>4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64...

原创 hadoop 2.x 安装及使用

一、准备要求安装好hadoop 2.x版本的三节点集群,并配置好JAVA_HOME和HADOOP_HOME两个环境变量。如果还没准备好请参考【三节点hadoop2大数据环境安装教程】，有些同学可能会在hadoop3环境下安装1.2.2，但是在启动hive的时候会报错提示版本不兼容的问题。二、主题讲解hive1.2.2版本的三种常见安装部署模式三、目标熟练搭建内嵌式hive环境熟练...

原创 1.利用idea创建 maven web 项目

1. 创建 project 选择 maven-archetype-webapp 这个插件 来创建项目 ，点击下一步2.填写完下一步###### 3. 选择maven版本 ，以及 maven 下载插件所在位置4. 完成此时项目就创建完成了...

原创 spring + mybatis 运行流程

一.pom.xml1.里面配置都是项目依赖配置2. spring框架配置，Mybatis的配置，整合配置，3. 数据圆的依赖p配置，数据库驱动的配置等等。二.项目启动去寻找web.xmlweb.xml文件中，需要配置Spring的核心监听器 1.web容器已启动就会被监听到 （通过<listener> ...

原创 window 手动刷新环境变量 不用重启电脑

先到我的电脑&gt;属性&gt;高级&gt;环境变量，添加新环境变量或修改已有的环境变量，然后运行“DOS命令提示符”或run cmd，假设要修改PATH变量，不管PATH的原值是什么，在DOS窗口直接把PATH修改为任意值，如：输入：set PATH=C:，关闭DOS窗口。再次打开DOS窗口，输入：echo %PATH% ，这时可以发现，我的电脑&gt;属 性&gt;高级&gt;环境变量里...

原创 图解 eclipse 查看原始类出现 the JAR file rt.jar has no source attachment

.1 . 进入eclipse界面，依次点击 Window – Preferences – Java – Installed JREs 2.选中 D:\java\lib\rt.jar ，然后选择 Source Attachment

原创 java 下载文件 && 下载文件名中文乱码问题

package com.itheima.login;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URLEncoder;import javax.servlet.ServletException;import java...

原创 max pro javaee tomcat 安装

3.1 安装tomcat 服务器 下载地址： apache下载地址： 2 . 解压下载好的apache 文件到 下方目录中：/Users/cherish/Library/apache-tomcat-8.5.31启动与关闭apache：&gt;_ cd /Users/cherish/Library/apache-tomcat-8.5.31/bin&gt;_ ./sta...

原创 PHP去掉诡异的BOM \ufeff

最近在做一个项目时，出现了一个诡异的问题，就是AJAX从后台获取JSON数据时，怎么都识别不了JSON数据，打开浏览器的开发工具，发现原来是数据中出现了莫名其妙的小红点，如下图：很明显就是这几个小红点惹的祸，直觉告诉我这几个小红点应该是空格之类的字符，可是接下来我使尽了各种手段，排除了程序中所有可能出现空格的地方，可是小红点依旧，快抓狂了，僵持了一天完全不知道到底是哪儿的问题。在调试中无意间把...

原创 java 对象向上转型&&向下转型

2.对象的转型面向对象程序设计的特点:分装,继承,多态多态分为对象多态和行为多态对象多态是指对象具有不同的状态对象多态是通过对象的转型实现的2.1 对象向上转型 让父类的引用指向子类的对象,这就是对象的向上转型2.1 对象的想下转型对象向下转型是对象向上转型的逆操作.先有向上转型才能向下转型2.3 instanceof

原创 java 多态

3.多态 多态分为对象多态和行为多态 行为多态是指相同的语句有不同的实现,执行相同的语句不用的操作 行为多态分为静态多态和动态多态. 静态多态是通过方法的重载实现的,在编译阶段就确定了要执行的代码,又称为编译时多态. 动态多态是在继承中,子类重写父类的方法,用过父类的引用调用被重写的方法,实际上执行的是子类的方法. public cla

原创 类的访问权限

5.1类的访问权限在定义类时,可以使用public 修饰为公共类.A包中的A类想使用B包中的B类,B类就需要定义公共类如果累定义时,没有使用public 修饰为公共类,这个类就只能在当前包中使用.5.2类成员的访问权限 访问权限修饰符 当前类 当前包 派生类 任意位置 private(私有的) 可以 不 不 不 defau

原创 java 继承

继承中的构造方法1.在继承时，构造方法不能被继承 2.通过子类创建对象时，要调用子类的构造方法，在调用子类的构造方法之前会调用父类的构造方法 3.默认情况下，子类构造方法会调用父类的无惨构造，如果父类没有无参构造，系统编译报错 4.在子类的构造方法中，可以使用super()来显示的调用父类的构造方法 5.super()必须作为子类构造方法的第一条语句 6.子类构造方法中也可以使用th

原创 java 继承

继承中的构造方法1.在继承时，构造方法不能被继承 2.通过子类创建对象时，要调用子类的构造方法，在调用子类的构造方法之前会调用父类的构造方法 3.默认情况下，子类构造方法会调用父类的无惨构造，如果父类没有无参构造，系统编译报错 4.在子类的构造方法中，可以使用super()来显示的调用父类的构造方法 5.super()必须作为子类构造方法的第一条语句 6.子类构造方法中也可以使用th

原创 file_get_contents('php://input')

$data = file_get_contents("php://input"); php://input 是个可以访问请求的原始数据的只读流。 POST 请求的情况下，最好使用 php://input 来代替 $HTTP_RAW_POST_DATA，因为它不依赖于特定的 php.ini 指令。 而且，这样的情况下 $HTTP_RAW_POST_DATA 默认没有填充， 比激活 always

转载 MySQ基础入门系列之——字符与日期数据处理

今天这一篇分享MySQL中的字符串处理工具与日期时间处理，这一部分内容虽然看似不多，但是往往是输出处理中的的痛点。我的MySQL数据库中已经建好了一个包含两列日期与一列薪资范围字段。（深感通过R或者Python建表然后写入MySQL的效率要比使用MySQL自己的编辑器写方便！）MySQL中的日期与时间操作涉及到的函数相当多，实际应用需要按照需要和场景来选择该使用哪一类函数，这一篇我只挑选了三类重要的

原创 larebel 数据表迁移

新增字段: 查看用户表相关的迁移文件：database/migrations/2014_10_12_000000_create_users_table.php... public function up() { Schema::create('users', function (Blueprint $table) { $table->i

原创 java运算

找零计算/* 挣钱兑换零钱,如果一个小数2.99 显示包含了多少个1元,5毛,1毛,5分,2分,1分*/import java.util.Scanner;class Demo01 { public static void main(String[] args) { Scanner sc = new Scanner(System.in);

原创 java 类型转换

自动类型转换 byte->short->int->long->float->double char -> int->long->float->double强制类型转换 不能进行自动类型转换时就可以进行强制类型转换class demo { public static void main(String[] arg){ byte b = 123; // -128--12

原创 java数据类型之小数类型

小数类型 数据类型 所占字节数 精度 float 4 7 double 8 15 class Demo { public static void main () { //1)小数字字面量默认double类型 //2)定义一个double类型变量 double dd =

原创 java数据类型之整数类型

java数据类型数据类型的作用 数据类型就是一组值,以及这一组值上的操作. 数据类型可以决定数据的存储方式,取值范围,允许的操作.数据类型的分类 java中的数据分为基本类型和引用类型两大类 变量名锁表示的存储空间中存储的内容就是变量的值,这就是基本类型 变量名锁标识的存储空间的内容是另一块存储空间的起始地址,这就是引用数据类型.

转载 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

原创 laravel5.5 常用 artisan 命令

1.清楚缓存view  : php artisan  view:clear

原创 laravel 5.5 创建用户对象 - tinker 的使用

Tinker 是一个 REPL (read-eval-print-loop)，REPL 指的是一个简单的、可交互式的编程环境，通过执行用户输入的命令，并将执行结果直接打印到命令行界面上来完成整个操作。$ php artisan tinker crtl + c  退出通过提下命令轻松创建一个用户对象:>>> App\Models\User::create(['name'=>'zp

原创 php ffmepg.php 扩展

关于 php ffmep.php 扩展1、下载扩展包（不同的 php 版本对应的扩展不同）2、解压所下载下来的安装包，你可以看到如下几个文件：    pthreadGC2.dll    php_ffmpeg.dll    avutil-49.dll    avformat-51.dll    avcodec-51.dll     将php_ffmpeg.dll复制到

原创 static 关键字

Static关键字在类中，用static申明的成员变量为静态变量，或者叫做：类属性，类变量。         它为该类的功用变量，属于类，被该类的所有实例共享，在类被载入是被显示初始化         对于该类的所有对象来说，static成员标量只有一份，该类的所有对象共享！         可以使用“对象.类属性”来调用。不过，一般都是用“类名.类属性”         St