- 博客(25)
- 收藏
- 关注
RSS订阅原创 SPARK RDD常用算子介绍
常用的RDD转换操作API：常用的RDD转换操作API 操作 含义 filter(func) 筛选出满足函数func的元素，并返回一个新的数据集 map(func) 将每个元素传递到函数func中，并将结果返回为一个新的数据集，一对一进行转换 flatmap(func) 与map()相似，但每个输入元素都可以映射到0或多个输出结果
2020-11-19 20:37:29
339
原创 SPARK算子ReduceByKey和GroupByKey详解
Spark常用的键值对RDD转换操作spark易混算子详解：reduceByKey和groupByKey reduceByKey：方法原体：def reduceByKey(func: (V, V) ⇒ V): RDD[(K, V)]功 能：使用func函数合并具有相同键的值 reduceByKey按照key相同的进行归类形如：<"spark",<1,1>> ； 归类后按照key对value-list进行求和 g...
2020-11-18 17:13:42
1078
原创 Linux系统SPARK集群搭建手册
SPARK安装一、安装scala(spark源码采用scala进行编写，所以我们需要安装scala) 1.上传scala压缩包并进行解压[root@centos11 tools]# rz //上传命令[root@centos11 tools]# tar –zxvf scala-2.11.8.tgz //解压命令，scala可以从官网进行下载说明：如果rz命令不存在，请参考： 2.配置环境变量（有多少个节点就要配置多少个环境变量）并生效...
2020-11-18 17:09:34
239
原创 Redis主从复制模式详解
Redis主从复制1、主从简介 配置多台 Redis 服务器，以主机和备机的身份分开。主机数据更新后，根据配置和策略，自动同步到备机的 master/salver 机制，Master 以写为主，Slave 以读为主，二者之间自动同步数据。Redis主从复制目的：读写分离提高 Redis 性能；避免单点故障，容灾快速恢复。2、主从原理 每次从机联通后，都会给主机发送 sync 指令，主机立刻进行存盘操作，发送 RDB 文件给从机，从机收到 RDB 文件后，进行全盘加载...
2020-11-16 17:41:54
198
原创 Linux系统KAFKA集群搭建手册
Kafka安装注：各个节点都要进行kafka安装及环境变量的配置一、上传压缩包并进行解压(rz上传) kafka_2.11-0.10.1.1.tgz[root@centos11 toos]# rz //上传文件命令说明：如果没有rz命令。请参考：https://blog.csdn.net/zyp13781913772/article/details/109519067 解压缩：[root@centos11 too...
2020-11-13 09:49:22
121
原创 Linux系统FLUME集群搭建手册
Flume安装注：所有节点均安装，环境变量均配置，这是为解决 Flume 瓶颈问题而铺垫一、上传文件到Linux系统中并解压 apache-flume-1.8.0-bin.tar.gz[root@centos11 tools]# rz //上传命令 解压命令： [root@centos11 tools]# tar -zxvf apache-flume-1.8.0-bin.tar.gz二、修改环境变量并生效 ...
2020-11-13 08:50:21
232
原创 Linux系统HBASE集群搭建手册
HBase安装说明：hbase需要zookeeper来管理集群，所以安装hbase前需要先安装zookeeper。安装zookeeper请参考：https://blog.csdn.net/zyp13781913772/article/details/109647375一、上传压缩文件并解压 hbase-1.2.0-bin.tar.gz 解压： tar –zxvf hbase-1.2.0-bin.tar.gz二、配置环境变量并生效 [roo...
2020-11-12 18:05:52
279
原创 Linux系统ZOOKEEPER集群搭建手册
ZooKeeper安装一、首先准备三台服务器(IP和hostname一一对应) 192.168.100.11centos11 192.168.100.12centos12 192.168.100.13centos13 在每台服务器的/etc/hosts中添加(every one)： 192.168.100.11centos11 192.168.100.12centos12 ...
2020-11-12 17:16:16
134
原创 HIVE自定义UDF函数详解
当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。按实现方式，UDF分如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出(一个输入对应一个输出)。 用户定义聚集函数UDAF（User-Defined Aggregating Functions），用于接受多个输入数据行，并产生一个输出数据行(多个输入对应一个输出)。 用户定义表生成函数UDTF(User-D
2020-11-12 15:46:33
2106
原创 HADOOP常用指令
HDFS调用指令：hdfs dfs <args>hdfs dfs=hadoop dfs=hadoop fs（版本先后造成的差异，但不影响正常使用）appendToFile //追加文件内容到hdfs文件 //用法 Usage: hadoop fs -appendToFile <localsrc> ... <dst> eg: //本地单个文件内容追加到hdfs文件 h
2020-11-12 09:50:54
836
原创 HIVE调优(性能优化)
HIVE调优(性能优化)HIVE调优涉及到压缩和存储调优，参数调优，sql调优，数据倾斜调优，小文件问题调优等 -1- 数据压缩和存储格式数据压缩编码为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：压缩性能的比较：1.map阶段输出数据压缩，在这个阶段，优先选择一个低CPU开...
2020-11-11 15:47:47
848
1
原创 Redis配置文件及常用命令
redis启动前需要设置配置文件(redis.conf)中的参数################################# GENERAL ###################################### By default Redis does not run as a daemon. Use 'yes' if you need it.# Note that Redis will write a pid file in /var/run/redis.pid when da
2020-11-10 20:05:09
240
原创 Linux系统Redis单机版安装手册
一、下载redis安装包(稳定版) 下载官网：https://redis.io/download二、上传文件并解压[root@localhost tools]# tar -zxvf redis-6.0.9.tar.gz 三、进入redis解压目录并执行make命令进行安装[root@centos102 redis-6.0.9]# makecd src && make allmake[1]: Entering directory `/usr/tool...
2020-11-08 17:23:57
390
原创 HIVE常用参数配置
HIVE参数配置--查看参数使用：set 或者set -v;--设置参数使用：set key=value;--设置reduce个数(默认-1)mapreduce.job.reduces=-1--控制最大的reducer的数量(默认1009)hive.exec.reducers.max=1009--每个reduce处理的数据量(默认300000000)hive.exec.reducers.bytes.per.reducer=256000000--设置任务名称，...
2020-11-07 20:07:56
1364
原创 HIVE基础函数手册
一、关系运算1.等值比较: =语法：A=B操作类型：所有基本类型描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE举例：hive>select 1 from lxw_dual where 1=1;12.不等值比较: <>语法: A <> B操作类型:所有基本类型描述:如果表达式A为NULL，...
2020-11-07 20:00:16
624
原创 Linux系统HIVE数据仓库安装手册
注：HIVE安装(hive的启动需要启动整个Hadoop集群，因为hive的数据存储在hdfs上；并且计算是mapreduce)一、安装mysql元数据 1、把以前安装的mysql全部卸载完毕,需要三管齐下 rpm -qa | grep mysql rpm -e mysql rpm -e --nodeps mysql 2、安装(必须得有网络，否则可能会失败） 命令： yum instal...
2020-11-07 19:32:10
272
原创 Linux系统HADOOP集群搭建手册
HADOOP集群搭建一、配置服务器 1个主节点：master(192.168.100.31) 2个(从)子节点：slaver1(192.168.100.32)，slaver2(192.168.100.33) 配置主节点(192.168.100.31):vi /etc/sysconfig/network 添加内容(如果有则不用添加)：NETWORKING=yesHOSTNAME=master 配置两台子节点名(192.168...
2020-11-05 21:28:13
444
原创 CentOS6.5/CentOS7.0防火墙设置
CentOS6.5/CentOS7.0防火墙设置CentOS6.5版本: 查看防火墙当前状态: service iptables status 关闭防火墙: service iptables stop 永久关闭防火墙: chkconfig iptables off 永久性开启防火墙 chkconfig iptables on 开启防火墙 service iptables startCentOS7.0版本...
2020-11-05 20:40:19
89
原创 Centos7.0安装FTP服务
在线安装ftp服务Centos7安装vsftpd (FTP服务器)一、通过yum安装vsftpdyum install -y vsftpd二、修改vsftpd的配置文件vi /etc/vsftpd/vsftpd.conf修改配置文件如下：1.不允许匿名访问anonymous_enable=NO2.允许使用本地帐户进行FTP用户登录验证local_enable=YES3.使用户不能离开主目录当chroot_list_enable=YES，chroo
2020-11-05 20:36:54
308
原创 Linux系统安装RAR命令
Linux安装rar命令，目的是解压文件一、下载 http://www.rarsoft.com/download.htm二、解压 tar -xzvf rarlinux-5.5.0.tar.gz三、安装 cd rar 编译：make 安装：make install四、命令 压缩：rar a etc.rar /etc 解压：unrar -e etc.rar...
2020-11-05 20:01:41
276
原创 Telnet安装手册
1、linux部分系统自带Telnet安装包（寻包） [root@centos10 home]# yum list telnet Loaded plugins: fastestmirror, refresh-packagekit, security telnet.x86_64 1:0.17-48.el6 base2、安装包 [root@centos10 home]# yum install telnet.x86_643、测试安...
2020-11-05 19:58:36
731
原创 LRZSZ相关命令
LRZSZ命令rz [选项] sz[选项]选项说明：-+, --append:将文件内容追加到已存在的同名文件-a,--ascii:以文本方式传输-b, --binary:以二进制方式传输，推荐使用--delay-startup N:等待N秒-e, --escape:对所有控制字符转义，建议使用-E, --rename:已存在同名文件则重命名新上传的文件，以点和数字作为后缀-p, --protect:对ZMODEM协议有效，如果目标文件已存在则跳过 -q, --...
2020-11-05 19:53:35
508
原创 LRZSZ在线（离线）安装手册
一、在线安装(如果成功,二三步即不用执行) 搜索安装包 [root@master /]yum list lrzsz *base:mirror.bit.edu.cn lrzsz.x86_64 [root@master /]yum (-y) installlrzsz.x86_64二、离线安装 下载lrzsz安装包(下载路径: https://www.ohse.de/uwe/software/lrzsz.html) 解压文件并进入...
2020-11-05 19:51:46
1089
原创 Scala之Array的方法
Scala：Array（集合、序列）Scala开篇（目录）数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示Java中的数组形式 T[]。val numbers = Array(1, 2, 3, 4) //声明一个数组对象val first = numbers(0) // 读取第一个元素numbers(3) = 100 // 替换第四个元素为100...
2018-08-05 11:06:14
36330
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人