自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

汝知否

技术控

  • 博客(25)
  • 收藏
  • 关注

原创 SPARK RDD常用算子介绍

常用的RDD转换操作API:常用的RDD转换操作API 操作 含义 filter(func) 筛选出满足函数func的元素,并返回一个新的数据集 map(func) 将每个元素传递到函数func中,并将结果返回为一个新的数据集,一对一进行转换 flatmap(func) 与map()相似,但每个输入元素都可以映射到0或多个输出结果

2020-11-19 20:37:29 338

原创 SPARK算子ReduceByKey和GroupByKey详解

Spark常用的键值对RDD转换操作spark易混算子详解:reduceByKey和groupByKey reduceByKey:方法原体:def reduceByKey(func: (V, V) ⇒ V): RDD[(K, V)]功 能:使用func函数合并具有相同键的值 reduceByKey按照key相同的进行归类形如:<"spark",<1,1>> ; 归类后按照key对value-list进行求和 g...

2020-11-18 17:13:42 1077

原创 Linux系统SPARK集群搭建手册

SPARK安装一、安装scala(spark源码采用scala进行编写,所以我们需要安装scala) 1.上传scala压缩包并进行解压[root@centos11 tools]# rz //上传命令[root@centos11 tools]# tar –zxvf scala-2.11.8.tgz //解压命令,scala可以从官网进行下载说明:如果rz命令不存在,请参考: 2.配置环境变量(有多少个节点就要配置多少个环境变量)并生效...

2020-11-18 17:09:34 239

原创 Redis主从复制模式详解

Redis主从复制1、主从简介 配置多台 Redis 服务器,以主机和备机的身份分开。主机数据更新后,根据配置和策略,自动同步到备机的 master/salver 机制,Master 以写为主,Slave 以读为主,二者之间自动同步数据。Redis主从复制目的:读写分离提高 Redis 性能;避免单点故障,容灾快速恢复。2、主从原理 每次从机联通后,都会给主机发送 sync 指令,主机立刻进行存盘操作,发送 RDB 文件给从机,从机收到 RDB 文件后,进行全盘加载...

2020-11-16 17:41:54 197

原创 Redis持久化策略详解

RDB(Redis DataBase)AOF(Append Only File)

2020-11-15 15:12:57 520 2

原创 Linux系统KAFKA集群搭建手册

Kafka安装注:各个节点都要进行kafka安装及环境变量的配置一、上传压缩包并进行解压(rz上传) kafka_2.11-0.10.1.1.tgz[root@centos11 toos]# rz //上传文件命令说明:如果没有rz命令。请参考:https://blog.csdn.net/zyp13781913772/article/details/109519067 解压缩:[root@centos11 too...

2020-11-13 09:49:22 120

原创 Linux系统FLUME集群搭建手册

Flume安装注:所有节点均安装,环境变量均配置,这是为解决 Flume 瓶颈问题而铺垫一、上传文件到Linux系统中并解压 apache-flume-1.8.0-bin.tar.gz[root@centos11 tools]# rz //上传命令 解压命令: [root@centos11 tools]# tar -zxvf apache-flume-1.8.0-bin.tar.gz二、修改环境变量并生效 ...

2020-11-13 08:50:21 231

原创 Linux系统HBASE集群搭建手册

HBase安装说明:hbase需要zookeeper来管理集群,所以安装hbase前需要先安装zookeeper。安装zookeeper请参考:https://blog.csdn.net/zyp13781913772/article/details/109647375一、上传压缩文件并解压 hbase-1.2.0-bin.tar.gz 解压: tar –zxvf hbase-1.2.0-bin.tar.gz二、配置环境变量并生效 [roo...

2020-11-12 18:05:52 279

原创 Linux系统ZOOKEEPER集群搭建手册

ZooKeeper安装一、首先准备三台服务器(IP和hostname一一对应) 192.168.100.11centos11 192.168.100.12centos12 192.168.100.13centos13 在每台服务器的/etc/hosts中添加(every one): 192.168.100.11centos11 192.168.100.12centos12 ...

2020-11-12 17:16:16 134

原创 HIVE自定义UDF函数详解

当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。按实现方式,UDF分如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出(一个输入对应一个输出)。 用户定义聚集函数UDAF(User-Defined Aggregating Functions),用于接受多个输入数据行,并产生一个输出数据行(多个输入对应一个输出)。 用户定义表生成函数UDTF(User-D

2020-11-12 15:46:33 2104

原创 HADOOP常用指令

HDFS调用指令:hdfs dfs <args>hdfs dfs=hadoop dfs=hadoop fs(版本先后造成的差异,但不影响正常使用)appendToFile //追加文件内容到hdfs文件 //用法 Usage: hadoop fs -appendToFile <localsrc> ... <dst> eg: //本地单个文件内容追加到hdfs文件 h

2020-11-12 09:50:54 835

原创 HIVE调优(性能优化)

HIVE调优(性能优化)HIVE调优涉及到压缩和存储调优,参数调优,sql调优,数据倾斜调优,小文件问题调优等 -1- 数据压缩和存储格式数据压缩编码为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示:压缩性能的比较:1.map阶段输出数据压缩,在这个阶段,优先选择一个低CPU开...

2020-11-11 15:47:47 848 1

原创 Redis配置文件及常用命令

redis启动前需要设置配置文件(redis.conf)中的参数################################# GENERAL ###################################### By default Redis does not run as a daemon. Use 'yes' if you need it.# Note that Redis will write a pid file in /var/run/redis.pid when da

2020-11-10 20:05:09 240

原创 Linux系统Redis单机版安装手册

一、下载redis安装包(稳定版) 下载官网:https://redis.io/download二、上传文件并解压[root@localhost tools]# tar -zxvf redis-6.0.9.tar.gz 三、进入redis解压目录并执行make命令进行安装[root@centos102 redis-6.0.9]# makecd src && make allmake[1]: Entering directory `/usr/tool...

2020-11-08 17:23:57 389

原创 HIVE常用参数配置

HIVE参数配置--查看参数使用:set 或者set -v;--设置参数使用:set key=value;--设置reduce个数(默认-1)mapreduce.job.reduces=-1--控制最大的reducer的数量(默认1009)hive.exec.reducers.max=1009--每个reduce处理的数据量(默认300000000)hive.exec.reducers.bytes.per.reducer=256000000--设置任务名称,...

2020-11-07 20:07:56 1362

原创 HIVE基础函数手册

一、关系运算1.等值比较: =语法:A=B操作类型:所有基本类型描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE举例:hive>select 1 from lxw_dual where 1=1;12.不等值比较: <>语法: A <> B操作类型:所有基本类型描述:如果表达式A为NULL,...

2020-11-07 20:00:16 621

原创 Linux系统HIVE数据仓库安装手册

注:HIVE安装(hive的启动需要启动整个Hadoop集群,因为hive的数据存储在hdfs上;并且计算是mapreduce)一、安装mysql元数据 1、把以前安装的mysql全部卸载完毕,需要三管齐下 rpm -qa | grep mysql rpm -e mysql rpm -e --nodeps mysql 2、安装(必须得有网络,否则可能会失败) 命令: yum instal...

2020-11-07 19:32:10 272

原创 Linux系统HADOOP集群搭建手册

HADOOP集群搭建一、配置服务器 1个主节点:master(192.168.100.31) 2个(从)子节点:slaver1(192.168.100.32),slaver2(192.168.100.33) 配置主节点(192.168.100.31):vi /etc/sysconfig/network 添加内容(如果有则不用添加):NETWORKING=yesHOSTNAME=master 配置两台子节点名(192.168...

2020-11-05 21:28:13 444

原创 CentOS6.5/CentOS7.0防火墙设置

CentOS6.5/CentOS7.0防火墙设置CentOS6.5版本: 查看防火墙当前状态: service iptables status 关闭防火墙: service iptables stop 永久关闭防火墙: chkconfig iptables off 永久性开启防火墙 chkconfig iptables on 开启防火墙 service iptables startCentOS7.0版本...

2020-11-05 20:40:19 89

原创 Centos7.0安装FTP服务

在线安装ftp服务Centos7安装vsftpd (FTP服务器)一、通过yum安装vsftpdyum install -y vsftpd二、修改vsftpd的配置文件vi /etc/vsftpd/vsftpd.conf修改配置文件如下:1.不允许匿名访问anonymous_enable=NO2.允许使用本地帐户进行FTP用户登录验证local_enable=YES3.使用户不能离开主目录当chroot_list_enable=YES,chroo

2020-11-05 20:36:54 308

原创 Linux系统安装RAR命令

Linux安装rar命令,目的是解压文件一、下载 http://www.rarsoft.com/download.htm二、解压 tar -xzvf rarlinux-5.5.0.tar.gz三、安装 cd rar 编译:make 安装:make install四、命令 压缩:rar a etc.rar /etc 解压:unrar -e etc.rar...

2020-11-05 20:01:41 274

原创 Telnet安装手册

1、linux部分系统自带Telnet安装包(寻包) [root@centos10 home]# yum list telnet Loaded plugins: fastestmirror, refresh-packagekit, security telnet.x86_64 1:0.17-48.el6 base2、安装包 [root@centos10 home]# yum install telnet.x86_643、测试安...

2020-11-05 19:58:36 723

原创 LRZSZ相关命令

LRZSZ命令rz [选项] sz[选项]选项说明:-+, --append:将文件内容追加到已存在的同名文件-a,--ascii:以文本方式传输-b, --binary:以二进制方式传输,推荐使用--delay-startup N:等待N秒-e, --escape:对所有控制字符转义,建议使用-E, --rename:已存在同名文件则重命名新上传的文件,以点和数字作为后缀-p, --protect:对ZMODEM协议有效,如果目标文件已存在则跳过 -q, --...

2020-11-05 19:53:35 507

原创 LRZSZ在线(离线)安装手册

一、在线安装(如果成功,二三步即不用执行) 搜索安装包 [root@master /]yum list lrzsz *base:mirror.bit.edu.cn lrzsz.x86_64 [root@master /]yum (-y) installlrzsz.x86_64二、离线安装 下载lrzsz安装包(下载路径: https://www.ohse.de/uwe/software/lrzsz.html) 解压文件并进入...

2020-11-05 19:51:46 1085

原创 Scala之Array的方法

Scala:Array(集合、序列)Scala开篇(目录)数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示Java中的数组形式 T[]。val numbers = Array(1, 2, 3, 4) //声明一个数组对象val first = numbers(0) // 读取第一个元素numbers(3) = 100 // 替换第四个元素为100...

2018-08-05 11:06:14 36300 9

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除